Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Teljesítmény éles környezetben

11. lecke 14 közül Frissítve 2026. július 29. Haladó
Ezen az oldalon
  1. A gyorsítótáron túl: Átfogó teljesítmény
  2. Streamelés: Időmegtakarítás anélkül, hogy ténylegesen időt spórolnál
  3. Modellszámítás a késleltetés érdekében
  4. Hibakezelés a helyzet súlyosbítása nélkül
  5. Időtúllépések és rugalmasság
  6. Mit érdemes monitorozni?
  7. Főbb megállapítások

A gyorsítótáron túl: Átfogó teljesítmény

A gyorsítótár csökkenti a költségeket, de az éles környezeti integráció sikeressége nem csupán a számlán múlik: számít a felhasználó által érzékelt késleltetés, a fenntartható átviteli sebesség, a megbízhatóság az átmeneti hibákkal szemben, valamint a teljesítményromlás diagnosztizálásának képessége. Egy alkalmazás, amely olcsó ugyan, de 12 másodperc alatt válaszol, vagy minden ötvenedik alkalommal meghibásodik, nem tekinthető teljesítményorientáltnak. Ez a lecke azt a négy dimenziót tárgyalja, amelyek számítanak, miután már elsajátítottad a költséghatékonyságot.

Streamelés: Időmegtakarítás anélkül, hogy ténylegesen időt spórolnál

Bármely olyan felület esetén, ahol egy ember várakozik a válaszra, az SSE (Server-Sent Events) alapú streamelés gyökeresen megváltoztatja az érzékelést. Enélkül a felhasználó a villogó kurzort bámulja, miközben a modell 500 tokent generál; vele viszont az első szavak már néhány száz milliszekundum után megjelennek, és az olvasás a generálás közben megkezdődhet. A teljes idő ugyanaz marad, de az érzékelt idő többszörösére csökken.

import requests
import json

def appel_streaming(messages, model="grok-4.20"):
    reponse = requests.post(
        "https://api.x.ai/v1/chat/completions",
        headers={
            "Authorization": f"Bearer {api_key}",
            "Content-Type": "application/json"
        },
        json={
            "model": model,
            "messages": messages,
            "stream": True
        },
        stream=True
    )

    for ligne in reponse.iter_lines():
        if ligne and ligne.startswith(b"data: "):
            donnees = ligne[6:]
            if donnees == b"[DONE]":
                break
            chunk = json.loads(donnees)
            token = chunk["choices"][0]["delta"].get("content", "")
            yield token

A stream: True paraméter sem a számlázott tokenek számát, sem azok díjazását nem befolyásolja. Amit javítasz, az a TTFT – az első tokenig eltelt idő. Vegyed figyelembe, hogy a függvény egy generátor: tokkenként adja vissza az irányítást, így közvetlenül írhatod ki a tartalmat a szervered HTTP-válaszába anélkül, hogy a teljes generálást a memóriában kellene tartanod.

Modellszámítás a késleltetés érdekében

A második késleltetési tényező a modellválasztás, amely elsősorban a következtetési erőfeszítéstől függ. Egy következtető modell láthatatlan következtetési tokeneket hoz létre, mielőtt megfogalmazná a választ: a minőség nő, de a késés is. A skála végletein a grok-build-0.1 a leggyorsabb a katalógusban, így valós idejű felhasználásokra, például menet közbeni osztályozásra vagy automatikus kiegészítésre alkalmas; a grok-4.20-0309 nem következtető változata és a grok-4.3 ésszerű kompromisszumot kínál a minőség és a sebesség között; a mély következtetésre képes grok-4.5 a másik végleten helyezkedik el, és csak olyan feladatokra tartogatott, amelyek ezt valóban megkövetelik.

A gyakorlati következmény az, hogy nem egy alkalmazáshoz, hanem egy adott lépéshez választasz modellt. Egy gyakori minta, hogy egy gyors kezdeti hívás eldönti: ez a kérés triviális, félreérthető vagy összetett? – majd csak azokat az eseteket küldi tovább egy következtető modellnek, amelyek ezt indokolttá teszik. Így csökkented az átlagos késleltetést és az átlagos költséget is anélkül, hogy rontanád a nehéz esetek kezelését.

Hibakezelés a helyzet súlyosbítása nélkül

A 3. leckében tárgyalt 429-es kód nem az egyetlen, amivel találkozhatsz. A kulcsfontosságú különbség azon hibák között van, amelyek érdemesek egy újrapróbálkozásra, és azok között, ahol az újrapróbálkozás csak felesleges forgalmat generál.

KódJellegTeendő
429 Too Many RequestsHelyreállíthatóExponenciális visszalépés (3. lecke)
500 Internal Server ErrorHelyreállíthatóÚjrapróbálkozás visszalépéssel; a hiba szerveroldali
502 / 503 Service UnavailableHelyreállíthatóÚjrapróbálkozás néhány másodperc múlva
400 Bad RequestVéglegesRosszul formázott kérés; javítsd a hasznos adatot (payload)
401 UnauthorizedVéglegesÉrvénytelen vagy lejárt API-kulcs
413 Payload Too LargeVéglegesA prompt meghaladja a kontextus korlátját

Ezt a szabályt három sorban kódolhatod le, és érdemes egy külön függvénybe kiemelni, ahelyett, hogy if utasításokat szórj szét mindenhol:

def classifier_erreur(status_code):
    recuperable = {429, 500, 502, 503}
    return status_code in recuperable

Időtúllépések és rugalmasság

A rosszul beállított időtúllépés két ellentétes problémát okoz: ha túl rövid, akkor megszakít olyan kéréseket, amelyek sikeresek lettek volna; ha túl hosszú, akkor blokkolja a munkafolyamataidat, miközben a várólista hossza nő. Három értéket állíts be külön-külön. A kapcsolatnak 10 másodpercen belül létre kell jönnie; ezen túl a probléma a hálózattal van. Nem streamelt módban az olvasási idő a modelltől függ: 120 másodperc egy következtető modellnél, 60 másodperc a grok-build-0.1 esetén. Streamelés esetén a releváns küszöbérték nem a teljes időtartam, hanem a chunkok közötti intervallum, amelyet körülbelül 30 másodpercre érdemes állítani.

Egy pont különös óvatosságot igényel: amikor egy hosszú generálás során időtúllépés történik, ne indítsd el automatikusan újra a folyamatot. Előfordulhat, hogy a modell már felhasznált következtetési tokeneket, amelyekért másodszor is fizetned kell, és semmi sem garantálja, hogy az első kérés nem járt sikerrel a szerver oldalán. Egy idempotencia-mechanizmus – egy olyan kéréskulcs, amellyel felismered a duplikátumot – vagy egy explicit folytatás jobb megoldás, mint a vak újrapróbálkozás.

Mit érdemes monitorozni?

Négy metrikacsalád elegendő a legtöbb incidens diagnosztizálásához.

MetrikaMit tár felCélérték
TTFTÉrzékelt kezdeti késleltetésMonitorozás modellenként
SikerrátaIntegrációs megbízhatóságNagyobb, mint 99,5%
Gyorsítótárazási rátaPrompt-struktúra minőségeNagyobb, mint 50%
Költség kérésenkéntKöltségvetési eltérés, gördülő átlagIdőben stabil

Vedd hozzá a késleltetést a 95. percentilisnél. Az átlag mindig elfedi a szélsőséges eseteket, pedig ezek okozzák az ügyfélszolgálati jegyeket: egy 8 másodperces P95 azt jelenti, hogy minden huszadik felhasználó 8 másodpercet vár, amit egyetlen 1,2 másodperces átlag sem tárna fel.

Főbb megállapítások

  • Az SSE streamelés csökkenti az érzékelt késleltetést anélkül, hogy befolyásolná a költségeket
  • Valós idejű használathoz válassz gyors modellt, minőséghez pedig következtető modellt
  • Tedd különbséget a helyreállítható hibák (429, 500, 502/503) és a végleges hibák (400, 401) között
  • A használt modellhez igazított időtúllépéseket konfigurálj
  • Monitorozd a TTFT-t, a sikerrátát, a gyorsítótárazási rátát és a kérésenkénti átlagos költséget