Snižte latenci pomocí předpovězených výstupů
Na této stránce
Problém latence v produkci
V produkci záleží na každé milisekundě. Když uživatel čeká na odpověď LLM, aby provedl drobnou úpravu kódu nebo textu, může se standardní latence generování token po tokenu zdát nepřiměřeně vysoká. Pokud je již 90 % očekávaného výstupu známé, proč by ho model měl znovu generovat v celém rozsahu?
Předpovězené výstupy tento problém řeší. Poskytnutím předpovědi výstupu modelu umožníte alokovat výpočetní zdroje pouze částem, které se skutečně liší, čímž drasticky zkrátíte dobu odezvy.
Koncept: Předpověď pro zrychlení
Princip je jednoduchý. Většinu očekávané odpovědi již znáte – například existující soubor s kódem, který chcete mírně upravit. Místo toho, abyste nechali model vygenerovat vše znovu, předáte očekávaný obsah prostřednictvím parametru prediction:
response = client.chat.complete(
model="mistral-large-latest",
messages=[...],
prediction={
"type": "content",
"content": expected_content
}
)
Model tento obsah použije jako výchozí bod. Svou výpočetní kapacitu věnuje tokenům, které se od předpovědi liší, což generování výrazně zrychlí.
Technické fungování
Mechanismus spoléhá na akcelerovanou validaci, nikoliv na zkrácení samotného generování. Model obdrží vaši předpověď jako pracovní materiál a následně přistoupí ke generování porovnáním svého výstupu s předpovězeným obsahem. Kdykoli se token, který se chystá vyprodukovat, shoduje s předpovědí, je validace téměř okamžitá – nedochází k plnému výpočtu generování. Jakmile se jeho výstup od předpovědi odchýlí, vrátí se k běžnému generování token po tokenu, dokud se případně znovu nesrovná s předpovězeným obsahem.
Praktickým výsledkem jsou dvě věci. Zaprvé, kvalita odpovědi zůstává striktně zachována: model vaši předpověď ne„zkopíruje“, ale na základě vlastního úsudku ji buď validuje, nebo se od ní odchýlí. Zadruhé, úspora času je úměrná míře překryvu – předpověď s 90% přesností věci výrazně zrychlí, zatímco předpověď s pouze 40% přesností nepřinese téměř žádný užitek.
Kompatibilní modely
K dubnu 2026 podporují předpovězené výstupy dva modely: mistral-large-latest pro složité úlohy editace a logického uvažování a codestral-latest, který je optimalizován pro editaci kódu. Právě druhý zmíněný model pokrývá většinu reálných případů použití, protože editace kódu je pro predikci ideálním scénářem.
Kdy používat předpovězené výstupy
Kritérium se redukuje na jednu otázku: znáte již většinu výstupu? Když požádáte Codestral o přejmenování proměnné ve 400řádkovém souboru, očekávanou odpovědí je tentýž soubor s několika změněnými výskyty – předáte původní soubor jako předpověď a generování se stane téměř okamžitým. Stejná logika platí pro opravu věty v dlouhém dokumentu, vyplnění šablony s pevnou strukturou nebo úpravu klíče ve velkém JSON souboru: ve všech těchto případech je více než 90 % výstupu předem známé a právě toho predikce využívá.
Naopak tato funkce ztrácí veškerou hodnotu, když je výstup nepředvídatelný – tvůrčí odpovědi, brainstorming nebo shrnutí s otevřeným koncem. Pokud se skutečný obsah od předpovědi liší u více než poloviny tokenů, přínos mizí a model tráví čas pouze zaznamenáváním neshod. Všimněte si také technického omezení: předpovězené výstupy nefungují s parametrem n ( Vícenásobná generování).
Dopad na ceny
Dobrá zpráva: předpovězené výstupy nemají žádný dopad na ceny. Za poskytnutí předpovědi neplatíte nic navíc. Platíte pouze za skutečně vygenerované tokeny, jako obvykle.
Klíčové poznatky
- Předpovězené výstupy snižují latenci využitím předvídatelného obsahu
- Parametr
predictionposkytuje modelu očekávaný výstup jako výchozí bod - Dva kompatibilní modely:
mistral-large-latestacodestral-latest - Ideální pro editaci kódu, úpravy textu a šablony
- Žádné dodatečné náklady – kvalita zůstává zachována