Ydelse i produktion
På denne side
Ud over cache: Samlet ydelse
Cache reducerer omkostningerne, men integration i produktion afhænger af mere end bare regningen: brugeroplevet ventetid, vedvarende gennemstrømning, pålidelighed over for midlertidige fejl og evnen til at diagnosticere forringelser. En applikation, der koster lidt, men svarer på 12 sekunder eller fejler én gang ud af 50, er ikke performant. Denne lektion dækker de fire dimensioner, der betyder noget, når du har styr på omkostningerne.
Streaming: At spare tid uden faktisk at spare tid
For enhver grænseflade, hvor et menneske venter på et svar, ændrer SSE-streaming (Server-Sent Events) opfattelsen radikalt. Uden det stirrer brugeren på en markør, mens modellen genererer 500 tokens; med det vises de første ord efter få hundrede millisekunder, og læsningen begynder under genereringen. Den samlede tid er den samme, men den oplevede tid reduceres med en faktor på flere.
import requests
import json
def appel_streaming(messages, model="grok-4.20"):
reponse = requests.post(
"https://api.x.ai/v1/chat/completions",
headers={
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
},
json={
"model": model,
"messages": messages,
"stream": True
},
stream=True
)
for ligne in reponse.iter_lines():
if ligne and ligne.startswith(b"data: "):
donnees = ligne[6:]
if donnees == b"[DONE]":
break
chunk = json.loads(donnees)
token = chunk["choices"][0]["delta"].get("content", "")
yield token
Parameteren stream: True ændrer hverken antallet af fakturerede tokens eller deres hastighed. Det, du forbedrer, er TTFT – time to first token. Bemærk, at funktionen er en generator: den afgiver kontrol token for token, så du kan skrive direkte til din servers HTTP-svar uden at beholde hele genereringen i hukommelsen.
Valg af model til lav ventetid
Den anden håndtag for ventetid er modelvalget, og det afhænger primært af ræsonnementsindsatsen. En ræsonnementsmodel producerer usynlige ræsonnementstokens, før den udarbejder sit svar: kvaliteten stiger, men forsinkelsen stiger også. I yderpunkterne er grok-build-0.1 den hurtigste i kataloget, hvilket gør den velegnet til realtidsbrug som klassificering i flyet eller autoudfyldning; grok-4.20-0309 i ikke-ræsonnerende variant og grok-4.3 tilbyder et rimeligt kompromis mellem kvalitet og hastighed; grok-4.5 med dyb ræsonnement sidder i den anden ende og er reserveret til opgaver, der virkelig kræver det.
Den praktiske konsekvens er, at du ikke vælger en model til en applikation, men til et trin. Et almindeligt mønster er at have et hurtigt indledende kald, der afgør: Er denne anmodning triviel, tvetydig eller kompleks? Send derefter kun den brøkdel af tilfælde, der berettiger det, til en ræsonnementsmodel. Du dividerer både den gennemsnitlige ventetid og de gennemsnitlige omkostninger uden at forringe svære tilfælde.
Håndtering af fejl uden at gøre tingene værre
Kode 429, der blev dækket i lektion 3, er ikke den eneste, du vil støde på. Den centrale sondring ligger mellem fejl, der fortjener et genforsøg, og dem, hvor genforsøg blot tilføjer unødvendig trafik.
| Kode | Natur | Handling |
|---|---|---|
| 429 Too Many Requests | Gendannelig | Eksponentiel backoff (lektion 3) |
| 500 Internal Server Error | Gendannelig | Genforsøg med backoff; fejlen er serverside |
| 502 / 503 Service Unavailable | Gendannelig | Genforsøg efter få sekunder |
| 400 Bad Request | Endelig | Forkert udformet anmodning; ret payloaden |
| 401 Unauthorized | Endelig | Ugyldig eller udløbet API-nøgle |
| 413 Payload Too Large | Endelig | Prompten overskrider kontekstgrænsen |
Du kan kode denne regel på tre linjer, og det er værd at isolere den i en funktion i stedet for at sprede if-sætninger overalt:
def classifier_erreur(status_code):
recuperable = {429, 500, 502, 503}
return status_code in recuperable
Tidsudløb og modstandsdygtighed
Et dårligt indstillet tidsudløb skaber to modsatte problemer: Er det for kort, opgives anmodninger, der ville være lykkedes; er det for langt, blokerer det dine arbejdere, mens kølængden vokser. Indstil tre separat. Forbindelsen skal etableres på 10 sekunder; ud over det er problemet netværket. Læsning i ikke-streaming-tilstand skalerer med modellen: 120 sekunder til en ræsonnementsmodel, 60 sekunder til grok-build-0.1. Ved streaming er den relevante tærskel ikke den samlede varighed, men intervallet mellem chunks, sat til omkring 30 sekunder.
Ét punkt fortjener virkelig forsigtighed: Når et tidsudløb udløber ved en lang generering, så genstart ikke automatisk. Modellen har måske allerede brugt ræsonnementstokens, som du vil betale for en anden gang, og intet garanterer, at den første anmodning ikke lykkedes på serversiden. En idempotensmekanisme – en anmodningsnøgle, du beholder for at genkende en duplikat – eller en eksplicit genoptagelse virker bedre end et blindt genforsøg.
Hvad du skal instrumentere
Fire metrikfamilier er nok til at diagnosticere de fleste hændelser.
| Metrik | Hvad det afslører | Mål |
|---|---|---|
| TTFT | Oplevet indledende ventetid | Overvåg pr. model |
| Succesrate | Integrationspålidelighed | Større end 99,5 % |
| Cache-rate | Kvalitet af prompt-struktur | Større end 50 % |
| Omkostning pr. anmodning | Budgetafvigelse, rullende gennemsnit | Stabil over tid |
Tilføj ventetid ved 95. percentilen. Gennemsnittet maskerer altid ekstreme tilfælde, og det er dem, der udløser supportbilletter: En P95 på 8 sekunder betyder, at én bruger ud af 20 venter 8 sekunder, hvilket intet gennemsnit på 1,2 sekund ville afsløre.
Vigtige pointer
- SSE-streaming reducerer oplevet ventetid uden at påvirke omkostningerne
- Vælg en hurtig model til realtid og en ræsonnementsmodel til kvalitet
- Skeln mellem gendannelige fejl (429, 500, 502/503) og endelige fejl (400, 401)
- Konfigurer tidsudløb, der passer til den model, der bruges
- Overvåg TTFT, succesrate, cache-rate og gennemsnitlige omkostninger pr. anmodning