Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Latenz reduzieren mit vorhergesagten Ausgaben

Lektion 5 von 16 Aktualisiert am 29. Juli 2026 Fortgeschritten
Auf dieser Seite
  1. Das Latenzproblem in der Produktion
  2. Das Konzept: Vorhersagen zur Beschleunigung
  3. Funktionsweise im technischen Detail
  4. Kompatible Modelle
  5. Wann Vorhergesagte Ausgaben verwenden
  6. Auswirkungen auf die Preisgestaltung
  7. Kernaussagen

Das Latenzproblem in der Produktion

In der Produktion zählt jede Millisekunde. Wenn ein Benutzer auf eine Antwort eines LLM wartet, um eine kleine Code- oder Textänderung vorzunehmen, kann die Standard-Latenz der tokenweise Generierung als übermäßig empfunden werden. Wenn bereits 90 % des erwarteten Outputs bekannt sind, warum sollte das Modell ihn dann vollständig neu generieren?

Vorhergesagte Ausgaben lösen dieses Problem. Indem Sie dem Modell eine Vorhersage des Outputs mitteilen, lassen Sie es Rechenressourcen ausschließlich für die Teile zuweisen, die sich tatsächlich unterscheiden, was die Antwortzeit drastisch reduziert.

Das Konzept: Vorhersagen zur Beschleunigung

Das Prinzip ist einfach. Sie kennen bereits den Großteil der erwarteten Antwort – beispielsweise eine existierende Code-Datei, die Sie nur geringfügig ändern möchten. Anstatt das Modell alles neu generieren zu lassen, übermitteln Sie den erwarteten Inhalt über den Parameter prediction:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[...],
    prediction={
        "type": "content",
        "content": expected_content
    }
)

Das Modell verwendet diesen Inhalt als Basislinie. Es widmet seine Rechenressourcen den Tokens, die sich von der Vorhersage unterscheiden, was die Generierung erheblich beschleunigt.

Funktionsweise im technischen Detail

Der Mechanismus beruht auf einer beschleunigten Validierung statt auf einer verkürzten Generierung. Das Modell erhält Ihre Vorhersage als Arbeitsmaterial und fährt mit der Generierung fort, indem es seinen Output mit dem vorhergesagten Inhalt vergleicht. Sobald der Token, den es gerade produzieren möchte, mit der Vorhersage übereinstimmt, ist die Validierung nahezu instantan – die volle Generierungsrechenleistung findet nicht statt. Sobald sich sein Output von der Vorhersage unterscheidet, schaltet es auf die normale tokenweise Generierung um, bis es sich möglicherweise wieder mit dem vorhergesagten Inhalt ausrichtet.

Das praktische Ergebnis ist zweifach. Erstens bleibt die Antwortqualität strikt erhalten: Das Modell kopiert Ihre Vorhersage nicht; es validiert oder weicht davon ab, basierend auf seiner eigenen Einschätzung. Zweitens sind die Zeitersparnisse proportional zum Überlappungsgrad: Eine Vorhersage mit 90 % Genauigkeit beschleunigt die Prozesse erheblich, während eine Vorhersage mit nur 40 % Genauigkeit kaum einen Nutzen bietet.

Kompatible Modelle

Stand April 2026 unterstützen zwei Modelle Vorhergesagte Ausgaben: mistral-large-latest für komplexe Bearbeitungs- und Aufgaben zur Reasoning sowie codestral-latest, optimiert für Code-Bearbeitung. Letzteres deckt den Großteil der realen Anwendungsfälle ab, da Code-Bearbeitung die ideale Szenario für Vorhersagen ist.

Wann Vorhergesagte Ausgaben verwenden

Das Kriterium lässt sich auf eine einzige Frage reduzieren: Kennen Sie bereits den Großteil des Outputs? Wenn Sie Codestral bitten, eine Variable in einer 400-Zeilen-Datei umzubenennen, ist die erwartete Antwort dieselbe Datei mit nur wenigen veränderten Vorkommen – übermitteln Sie die ursprüngliche Datei als Vorhersage, und die Generierung wird nahezu instantan. Dieselbe Logik gilt für das Korrigieren eines Satzes in einem langen Dokument, das Ausfüllen einer Vorlage mit einer festen Struktur oder das Ändern eines Schlüssels in einer großen JSON-Datei: In all diesen Fällen ist mehr als 90 % des Outputs im Voraus bekannt, und genau das nutzt die Vorhersage.

Umgekehrt verliert die Funktion jeglichen Wert, wenn der Output unvorhersehbar ist – kreative Antworten, Brainstorming oder offene Zusammenfassungen. Wenn der tatsächliche Inhalt für mehr als die Hälfte der Tokens von der Vorhersage abweicht, verschwindet der Nutzen, und das Modell verbringt seine Zeit damit, Diskrepanzen festzustellen. Beachten Sie zudem eine technische Einschränkung: Vorhergesagte Ausgaben funktionieren nicht mit dem Parameter n (mehrere Generierungen).

Auswirkungen auf die Preisgestaltung

Gute Nachricht: Vorhergesagte Ausgaben haben keinen Einfluss auf die Preisgestaltung. Sie zahlen keinen Aufpreis dafür, eine Vorhersage bereitzustellen. Sie zahlen nur für die tatsächlich generierten Tokens, wie üblich.

Kernaussagen

  • Vorhergesagte Ausgaben reduzieren die Latenz durch Ausnutzung vorhersehbaren Inhalts
  • Der Parameter prediction stellt dem Modell den erwarteten Output als Basislinie zur Verfügung
  • Zwei kompatible Modelle: mistral-large-latest und codestral-latest
  • Ideal für Code-Bearbeitung, Textänderungen und Vorlagen
  • Keine zusätzlichen Kosten – Qualität bleibt erhalten