Performance in Production
Auf dieser Seite
Über den Cache hinaus: Gesamtleistung
Der Cache senkt die Kosten, doch die Integration in die Produktion hängt von mehr als nur der Rechnung ab: wahrgenommene Latenz durch den Nutzer, durchgehendes Durchsatzvolumen, Zuverlässigkeit gegenüber vorübergehenden Fehlern und die Fähigkeit, Verschlechterungen zu diagnostizieren. Eine Anwendung, die zwar wenig kostet, aber 12 Sekunden braucht, um zu reagieren, oder bei 50 Versuchen einmal fehlschlägt, ist nicht leistungsfähig. In dieser Lektion werden die vier Dimensionen behandelt, die wichtig sind, sobald Sie die Kostenbeherrschung gemeistert haben.
Streaming: Zeit sparen, ohne tatsächlich Zeit zu sparen
Bei jeder Schnittstelle, bei der ein Mensch auf eine Antwort wartet, ändert SSE (Server-Sent Events) Streaming die Wahrnehmung radikal. Ohne diese Funktion starrt der Nutzer auf einen Cursor, während das Modell 500 Token generiert; mit dieser Funktion erscheinen die ersten Worte nach wenigen hundert Millisekunden, und das Lesen beginnt bereits während der Generierung. Die Gesamtzeit bleibt gleich, die wahrgenommene Zeit wird jedoch um einen Faktor von mehreren reduziert.
import requests
import json
def appel_streaming(messages, model="grok-4.20"):
reponse = requests.post(
"https://api.x.ai/v1/chat/completions",
headers={
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
},
json={
"model": model,
"messages": messages,
"stream": True
},
stream=True
)
for ligne in reponse.iter_lines():
if ligne and ligne.startswith(b"data: "):
donnees = ligne[6:]
if donnees == b"[DONE]":
break
chunk = json.loads(donnees)
token = chunk["choices"][0]["delta"].get("content", "")
yield token
Der Parameter stream: True ändert weder die Anzahl der abgerechneten Token noch deren Rate. Was Sie verbessern, ist die TTFT – die time to first token (Zeit bis zum ersten Token). Beachten Sie, dass die Funktion ein Generator ist: Sie gibt die Kontrolle Token für Token ab, sodass Sie direkt in die HTTP-Antwort Ihres Servers schreiben können, ohne die gesamte Generierung im Arbeitsspeicher zu halten.
Auswahl Ihres Modells für Latenz
Der zweite Hebel für Latenz ist die Modellauswahl und hängt hauptsächlich vom Rechenaufwand ab. Ein Reasoning-Modell generiert unsichtbare Reasoning-Token, bevor es seine Antwort entwirft: Die Qualität steigt, die Verzögerung ebenfalls. An den Extremen ist grok-build-0.1 das schnellste Modell im Katalog und eignet sich daher für Echtzeit-Anwendungen wie die Klassifizierung auf dem Fly oder Autovervollständigung; die nicht-reasoning-Varianten von grok-4.20-0309 und grok-4.3 bieten einen vernünftigen Kompromiss zwischen Qualität und Geschwindigkeit; grok-4.5 mit tiefem Reasoning befindet sich am anderen Ende und ist für Aufgaben vorbehalten, die dies wirklich erfordern.
Die praktische Konsequenz ist, dass Sie ein Modell nicht für eine gesamte Anwendung auswählen, sondern für einen einzelnen Schritt. Ein häufiges Muster besteht darin, einen schnellen ersten Aufruf zu verwenden, um zu entscheiden – ist dieser Antrag trivial, mehrdeutig oder komplex? – und dann nur den Anteil der Fälle, der dies rechtfertigt, an ein Reasoning-Modell weiterzuleiten. Sie teilen sowohl die durchschnittliche Latenz als auch die durchschnittlichen Kosten, ohne die schwierigen Fälle zu verschlechtern.
Fehlerbehandlung ohne Verschlechterung der Situation
Der Code 429, der in Lektion 3 behandelt wurde, ist nicht der einzige, den Sie antreffen werden. Der entscheidende Unterschied liegt zwischen Fehlern, die einen Neustart verdienen, und solchen, bei denen ein Neustart nur unnötigen Datenverkehr hinzufügt.
| Code | Art | Maßnahme |
|---|---|---|
| 429 Too Many Requests | Wiederherstellbar | Exponentieller Backoff (Lektion 3) |
| 500 Internal Server Error | Wiederherstellbar | Mit Backoff neu versuchen; Fehler liegt auf Server-Seite |
| 502 / 503 Service Unavailable | Wiederherstellbar | Nach wenigen Sekunden neu versuchen |
| 400 Bad Request | Endgültig | Falsch formatierter Antrag; Lastdatenkorrektur erforderlich |
| 401 Unauthorized | Endgültig | Ungültiger oder abgelaufener API-Schlüssel |
| 413 Payload Too Large | Endgültig | Prompt überschreitet Kontextlimit |
Sie können diese Regel in drei Zeilen coden, und es lohnt sich, sie in einer Funktion zu isolieren, statt if-Anweisungen überall zu streuen:
def classifier_erreur(status_code):
recuperable = {429, 500, 502, 503}
return status_code in recuperable
Timeouts und Resilienz
Ein schlecht eingestellter Timeout erzeugt zwei gegensätzliche Probleme: Ist er zu kurz, werden Anträge aufgegeben, die erfolgreich gewesen wären; ist er zu lang, blockiert er Ihre Worker, während sich die Warteschlangenlänge vergrößert. Stellen Sie drei Werte separat ein. Die Verbindung muss sich innerhalb von 10 Sekunden herstellen; darüber hinaus liegt das Problem im Netzwerk. Das Lesen im nicht-streaming-Modell skaliert mit dem Modell: 120 Sekunden für ein Reasoning-Modell, 60 Sekunden für grok-build-0.1. Beim Streaming ist der relevante Schwellenwert nicht die Gesamtdauer, sondern das Intervall zwischen den Chunks, das bei etwa 30 Sekunden eingestellt werden sollte.
Ein Punkt verdient besondere Vorsicht: Wenn ein Timeout bei einer langen Generierung abläuft, starten Sie nicht automatisch neu. Das Modell könnte bereits Reasoning-Token verbraucht haben, für die Sie erneut bezahlen würden, und es gibt keine Garantie, dass der erste Antrag nicht bereits serverseitig erfolgreich war. Ein Idempotenz-Mechanismus – ein Anforderungsschlüssel, den Sie behalten, um Duplikate zu erkennen – oder ein expliziter Fortsetzungsmechanismus funktioniert besser als ein blinder Neustart.
Was zu instrumentieren ist
Vier Metrikfamilien reichen aus, um die meisten Vorfälle zu diagnostizieren.
| Metrik | Was sie enthüllt | Ziel |
|---|---|---|
| TTFT | Wahrgenommene initiale Latenz | Pro Modell überwachen |
| Success Rate | Integrationszuverlässigkeit | Größer als 99,5% |
| Cache Rate | Qualität der Prompt-Struktur | Größer als 50% |
| Kosten pro Antrag | Budgetabweichung, gleitender Durchschnitt | Stabil über die Zeit |
Fügen Sie die Latenz zum 95. Perzentil hinzu. Der Durchschnitt maskiert immer extreme Fälle, und genau diese lösen Support-Tickets aus: Ein P95 von 8 Sekunden bedeutet, dass ein Nutzer von 20 acht Sekunden wartet, was ein Durchschnitt von 1,2 Sekunden nicht offenlegen würde.
Kernaussagen
- SSE-Streaming reduziert die wahrgenommene Latenz, ohne die Kosten zu beeinflussen
- Wählen Sie ein schnelles Modell für Echtzeitanwendungen und ein Reasoning-Modell für Qualität
- Unterscheiden Sie zwischen wiederherstellbaren Fehlern (429, 500, 502/503) und endgültigen Fehlern (400, 401)
- Konfigurieren Sie Timeouts, die dem eingesetzten Modell entsprechen
- Überwachen Sie TTFT, Erfolgsquote, Cache-Rate und durchschnittliche Kosten pro Antrag