Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Ydelse i produktion

Lektion 11 af 14 Opdateret 29. juli 2026 Avanceret
På denne side
  1. Ud over cache: Samlet ydelse
  2. Streaming: At spare tid uden faktisk at spare tid
  3. Valg af model til lav ventetid
  4. Håndtering af fejl uden at gøre tingene værre
  5. Tidsudløb og modstandsdygtighed
  6. Hvad du skal instrumentere
  7. Vigtige pointer

Ud over cache: Samlet ydelse

Cache reducerer omkostningerne, men integration i produktion afhænger af mere end bare regningen: brugeroplevet ventetid, vedvarende gennemstrømning, pålidelighed over for midlertidige fejl og evnen til at diagnosticere forringelser. En applikation, der koster lidt, men svarer på 12 sekunder eller fejler én gang ud af 50, er ikke performant. Denne lektion dækker de fire dimensioner, der betyder noget, når du har styr på omkostningerne.

Streaming: At spare tid uden faktisk at spare tid

For enhver grænseflade, hvor et menneske venter på et svar, ændrer SSE-streaming (Server-Sent Events) opfattelsen radikalt. Uden det stirrer brugeren på en markør, mens modellen genererer 500 tokens; med det vises de første ord efter få hundrede millisekunder, og læsningen begynder under genereringen. Den samlede tid er den samme, men den oplevede tid reduceres med en faktor på flere.

import requests
import json

def appel_streaming(messages, model="grok-4.20"):
    reponse = requests.post(
        "https://api.x.ai/v1/chat/completions",
        headers={
            "Authorization": f"Bearer {api_key}",
            "Content-Type": "application/json"
        },
        json={
            "model": model,
            "messages": messages,
            "stream": True
        },
        stream=True
    )

    for ligne in reponse.iter_lines():
        if ligne and ligne.startswith(b"data: "):
            donnees = ligne[6:]
            if donnees == b"[DONE]":
                break
            chunk = json.loads(donnees)
            token = chunk["choices"][0]["delta"].get("content", "")
            yield token

Parameteren stream: True ændrer hverken antallet af fakturerede tokens eller deres hastighed. Det, du forbedrer, er TTFT – time to first token. Bemærk, at funktionen er en generator: den afgiver kontrol token for token, så du kan skrive direkte til din servers HTTP-svar uden at beholde hele genereringen i hukommelsen.

Valg af model til lav ventetid

Den anden håndtag for ventetid er modelvalget, og det afhænger primært af ræsonnementsindsatsen. En ræsonnementsmodel producerer usynlige ræsonnementstokens, før den udarbejder sit svar: kvaliteten stiger, men forsinkelsen stiger også. I yderpunkterne er grok-build-0.1 den hurtigste i kataloget, hvilket gør den velegnet til realtidsbrug som klassificering i flyet eller autoudfyldning; grok-4.20-0309 i ikke-ræsonnerende variant og grok-4.3 tilbyder et rimeligt kompromis mellem kvalitet og hastighed; grok-4.5 med dyb ræsonnement sidder i den anden ende og er reserveret til opgaver, der virkelig kræver det.

Den praktiske konsekvens er, at du ikke vælger en model til en applikation, men til et trin. Et almindeligt mønster er at have et hurtigt indledende kald, der afgør: Er denne anmodning triviel, tvetydig eller kompleks? Send derefter kun den brøkdel af tilfælde, der berettiger det, til en ræsonnementsmodel. Du dividerer både den gennemsnitlige ventetid og de gennemsnitlige omkostninger uden at forringe svære tilfælde.

Håndtering af fejl uden at gøre tingene værre

Kode 429, der blev dækket i lektion 3, er ikke den eneste, du vil støde på. Den centrale sondring ligger mellem fejl, der fortjener et genforsøg, og dem, hvor genforsøg blot tilføjer unødvendig trafik.

KodeNaturHandling
429 Too Many RequestsGendanneligEksponentiel backoff (lektion 3)
500 Internal Server ErrorGendanneligGenforsøg med backoff; fejlen er serverside
502 / 503 Service UnavailableGendanneligGenforsøg efter få sekunder
400 Bad RequestEndeligForkert udformet anmodning; ret payloaden
401 UnauthorizedEndeligUgyldig eller udløbet API-nøgle
413 Payload Too LargeEndeligPrompten overskrider kontekstgrænsen

Du kan kode denne regel på tre linjer, og det er værd at isolere den i en funktion i stedet for at sprede if-sætninger overalt:

def classifier_erreur(status_code):
    recuperable = {429, 500, 502, 503}
    return status_code in recuperable

Tidsudløb og modstandsdygtighed

Et dårligt indstillet tidsudløb skaber to modsatte problemer: Er det for kort, opgives anmodninger, der ville være lykkedes; er det for langt, blokerer det dine arbejdere, mens kølængden vokser. Indstil tre separat. Forbindelsen skal etableres på 10 sekunder; ud over det er problemet netværket. Læsning i ikke-streaming-tilstand skalerer med modellen: 120 sekunder til en ræsonnementsmodel, 60 sekunder til grok-build-0.1. Ved streaming er den relevante tærskel ikke den samlede varighed, men intervallet mellem chunks, sat til omkring 30 sekunder.

Ét punkt fortjener virkelig forsigtighed: Når et tidsudløb udløber ved en lang generering, så genstart ikke automatisk. Modellen har måske allerede brugt ræsonnementstokens, som du vil betale for en anden gang, og intet garanterer, at den første anmodning ikke lykkedes på serversiden. En idempotensmekanisme – en anmodningsnøgle, du beholder for at genkende en duplikat – eller en eksplicit genoptagelse virker bedre end et blindt genforsøg.

Hvad du skal instrumentere

Fire metrikfamilier er nok til at diagnosticere de fleste hændelser.

MetrikHvad det afslørerMål
TTFTOplevet indledende ventetidOvervåg pr. model
SuccesrateIntegrationspålidelighedStørre end 99,5 %
Cache-rateKvalitet af prompt-strukturStørre end 50 %
Omkostning pr. anmodningBudgetafvigelse, rullende gennemsnitStabil over tid

Tilføj ventetid ved 95. percentilen. Gennemsnittet maskerer altid ekstreme tilfælde, og det er dem, der udløser supportbilletter: En P95 på 8 sekunder betyder, at én bruger ud af 20 venter 8 sekunder, hvilket intet gennemsnit på 1,2 sekund ville afsløre.

Vigtige pointer

  • SSE-streaming reducerer oplevet ventetid uden at påvirke omkostningerne
  • Vælg en hurtig model til realtid og en ræsonnementsmodel til kvalitet
  • Skeln mellem gendannelige fejl (429, 500, 502/503) og endelige fejl (400, 401)
  • Konfigurer tidsudløb, der passer til den model, der bruges
  • Overvåg TTFT, succesrate, cache-rate og gennemsnitlige omkostninger pr. anmodning