Teljesítmény éles környezetben
Ezen az oldalon
A gyorsítótáron túl: Átfogó teljesítmény
A gyorsítótár csökkenti a költségeket, de az éles környezeti integráció sikeressége nem csupán a számlán múlik: számít a felhasználó által érzékelt késleltetés, a fenntartható átviteli sebesség, a megbízhatóság az átmeneti hibákkal szemben, valamint a teljesítményromlás diagnosztizálásának képessége. Egy alkalmazás, amely olcsó ugyan, de 12 másodperc alatt válaszol, vagy minden ötvenedik alkalommal meghibásodik, nem tekinthető teljesítményorientáltnak. Ez a lecke azt a négy dimenziót tárgyalja, amelyek számítanak, miután már elsajátítottad a költséghatékonyságot.
Streamelés: Időmegtakarítás anélkül, hogy ténylegesen időt spórolnál
Bármely olyan felület esetén, ahol egy ember várakozik a válaszra, az SSE (Server-Sent Events) alapú streamelés gyökeresen megváltoztatja az érzékelést. Enélkül a felhasználó a villogó kurzort bámulja, miközben a modell 500 tokent generál; vele viszont az első szavak már néhány száz milliszekundum után megjelennek, és az olvasás a generálás közben megkezdődhet. A teljes idő ugyanaz marad, de az érzékelt idő többszörösére csökken.
import requests
import json
def appel_streaming(messages, model="grok-4.20"):
reponse = requests.post(
"https://api.x.ai/v1/chat/completions",
headers={
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
},
json={
"model": model,
"messages": messages,
"stream": True
},
stream=True
)
for ligne in reponse.iter_lines():
if ligne and ligne.startswith(b"data: "):
donnees = ligne[6:]
if donnees == b"[DONE]":
break
chunk = json.loads(donnees)
token = chunk["choices"][0]["delta"].get("content", "")
yield token
A stream: True paraméter sem a számlázott tokenek számát, sem azok díjazását nem befolyásolja. Amit javítasz, az a TTFT – az első tokenig eltelt idő. Vegyed figyelembe, hogy a függvény egy generátor: tokkenként adja vissza az irányítást, így közvetlenül írhatod ki a tartalmat a szervered HTTP-válaszába anélkül, hogy a teljes generálást a memóriában kellene tartanod.
Modellszámítás a késleltetés érdekében
A második késleltetési tényező a modellválasztás, amely elsősorban a következtetési erőfeszítéstől függ. Egy következtető modell láthatatlan következtetési tokeneket hoz létre, mielőtt megfogalmazná a választ: a minőség nő, de a késés is. A skála végletein a grok-build-0.1 a leggyorsabb a katalógusban, így valós idejű felhasználásokra, például menet közbeni osztályozásra vagy automatikus kiegészítésre alkalmas; a grok-4.20-0309 nem következtető változata és a grok-4.3 ésszerű kompromisszumot kínál a minőség és a sebesség között; a mély következtetésre képes grok-4.5 a másik végleten helyezkedik el, és csak olyan feladatokra tartogatott, amelyek ezt valóban megkövetelik.
A gyakorlati következmény az, hogy nem egy alkalmazáshoz, hanem egy adott lépéshez választasz modellt. Egy gyakori minta, hogy egy gyors kezdeti hívás eldönti: ez a kérés triviális, félreérthető vagy összetett? – majd csak azokat az eseteket küldi tovább egy következtető modellnek, amelyek ezt indokolttá teszik. Így csökkented az átlagos késleltetést és az átlagos költséget is anélkül, hogy rontanád a nehéz esetek kezelését.
Hibakezelés a helyzet súlyosbítása nélkül
A 3. leckében tárgyalt 429-es kód nem az egyetlen, amivel találkozhatsz. A kulcsfontosságú különbség azon hibák között van, amelyek érdemesek egy újrapróbálkozásra, és azok között, ahol az újrapróbálkozás csak felesleges forgalmat generál.
| Kód | Jelleg | Teendő |
|---|---|---|
| 429 Too Many Requests | Helyreállítható | Exponenciális visszalépés (3. lecke) |
| 500 Internal Server Error | Helyreállítható | Újrapróbálkozás visszalépéssel; a hiba szerveroldali |
| 502 / 503 Service Unavailable | Helyreállítható | Újrapróbálkozás néhány másodperc múlva |
| 400 Bad Request | Végleges | Rosszul formázott kérés; javítsd a hasznos adatot (payload) |
| 401 Unauthorized | Végleges | Érvénytelen vagy lejárt API-kulcs |
| 413 Payload Too Large | Végleges | A prompt meghaladja a kontextus korlátját |
Ezt a szabályt három sorban kódolhatod le, és érdemes egy külön függvénybe kiemelni, ahelyett, hogy if utasításokat szórj szét mindenhol:
def classifier_erreur(status_code):
recuperable = {429, 500, 502, 503}
return status_code in recuperable
Időtúllépések és rugalmasság
A rosszul beállított időtúllépés két ellentétes problémát okoz: ha túl rövid, akkor megszakít olyan kéréseket, amelyek sikeresek lettek volna; ha túl hosszú, akkor blokkolja a munkafolyamataidat, miközben a várólista hossza nő. Három értéket állíts be külön-külön. A kapcsolatnak 10 másodpercen belül létre kell jönnie; ezen túl a probléma a hálózattal van. Nem streamelt módban az olvasási idő a modelltől függ: 120 másodperc egy következtető modellnél, 60 másodperc a grok-build-0.1 esetén. Streamelés esetén a releváns küszöbérték nem a teljes időtartam, hanem a chunkok közötti intervallum, amelyet körülbelül 30 másodpercre érdemes állítani.
Egy pont különös óvatosságot igényel: amikor egy hosszú generálás során időtúllépés történik, ne indítsd el automatikusan újra a folyamatot. Előfordulhat, hogy a modell már felhasznált következtetési tokeneket, amelyekért másodszor is fizetned kell, és semmi sem garantálja, hogy az első kérés nem járt sikerrel a szerver oldalán. Egy idempotencia-mechanizmus – egy olyan kéréskulcs, amellyel felismered a duplikátumot – vagy egy explicit folytatás jobb megoldás, mint a vak újrapróbálkozás.
Mit érdemes monitorozni?
Négy metrikacsalád elegendő a legtöbb incidens diagnosztizálásához.
| Metrika | Mit tár fel | Célérték |
|---|---|---|
| TTFT | Érzékelt kezdeti késleltetés | Monitorozás modellenként |
| Sikerráta | Integrációs megbízhatóság | Nagyobb, mint 99,5% |
| Gyorsítótárazási ráta | Prompt-struktúra minősége | Nagyobb, mint 50% |
| Költség kérésenként | Költségvetési eltérés, gördülő átlag | Időben stabil |
Vedd hozzá a késleltetést a 95. percentilisnél. Az átlag mindig elfedi a szélsőséges eseteket, pedig ezek okozzák az ügyfélszolgálati jegyeket: egy 8 másodperces P95 azt jelenti, hogy minden huszadik felhasználó 8 másodpercet vár, amit egyetlen 1,2 másodperces átlag sem tárna fel.
Főbb megállapítások
- Az SSE streamelés csökkenti az érzékelt késleltetést anélkül, hogy befolyásolná a költségeket
- Valós idejű használathoz válassz gyors modellt, minőséghez pedig következtető modellt
- Tedd különbséget a helyreállítható hibák (429, 500, 502/503) és a végleges hibák (400, 401) között
- A használt modellhez igazított időtúllépéseket konfigurálj
- Monitorozd a TTFT-t, a sikerrátát, a gyorsítótárazási rátát és a kérésenkénti átlagos költséget