Znížte latenciu pomocou predpovedaných výstupov
Na tejto strane
Problém latencie v produkcii
V produkcii záleží na každej milisekunde. Keď používateľ čaká na odpoveď od LLM, aby vykonal drobnú úpravu kódu alebo textu, štandardná latencia generovania token po tokene sa môže zdať príliš vysoká. Ak je už 90 % očakávaného výstupu známych, prečo by mal model všetko znovu generovať?
Predpovedané výstupy tento problém riešia. Poskytnutím predpovede výstupu modelu umožníte, aby alokoval výpočtové zdroje len na časti, ktoré sa skutočne líšia, čím drasticky znížite čas odozvy.
Koncept: Predpovedaj na urýchlenie
Princíp je jednoduchý. Väčšinu očakávanej odpovede už poznáte – napríklad existujúci súbor s kódom, ktorý chcete mierne upraviť. Namiesto toho, aby ste nechali model vygenerovať všetko odznova, odovzdáte očakávaný obsah cez parameter prediction:
response = client.chat.complete(
model="mistral-large-latest",
messages=[...],
prediction={
"type": "content",
"content": expected_content
}
)
Model potom použije tento obsah ako východiskový bod. Svoje výpočtové zdroje venuje tokenom, ktoré sa líšia od predpovede, čo výrazne urýchli generovanie.
Ako to technicky funguje
Mechanizmus sa spolieha na akcelerovanú validáciu, nie na skrátené generovanie. Model dostane vašu predpoveď ako pracovný materiál a následne pokračuje v generovaní porovnávaním svojho výstupu s predpovedaným obsahom. Kedykoľvek sa token, ktorý sa chystá vyprodukovať, zhoduje s predpoveďou, je validácia takmer okamžitá – nedochádza k plnému výpočtu generovania. Akonáhle sa jeho výstup začne líšiť od predpovede, prejde späť na bežné generovanie token po tokene, kým sa prípadne opäť nezrovná s predpovedaným obsahom.
Praktickým výsledkom sú dve veci. Po prvé, kvalita odpovede zostáva striktne zachovaná: model vašu predpoveď ne„kopíruje“; validuje ju alebo sa od nej odkloní na základe vlastného úsudku. Po druhé, úspora času je úmerná miere prekrytia – predpoveď, ktorá je z 90 % presná, veci výrazne urýchli, zatiaľ čo predpoveď s presnosťou len 40 % neprinesie takmer žiadny úžitok.
Kompatibilné modely
K aprílu 2026 podporujú predpovedané výstupy dva modely: mistral-large-latest pre komplexné úlohy editácie a logického uvažovania a codestral-latest, optimalizovaný na editáciu kódu. Ten druhý pokrýva väčšinu reálnych prípadov použitia, keďže editácia kódu je ideálnym scenárom pre predikciu.
Kedy používať predpovedané výstupy
Kritérium sa redukuje na jednu otázku: poznáte už väčšinu výstupu? Keď požiadate Codestral o premenovanie premennej v súbore so 400 riadkami, očakávanou odpoveďou je ten istý súbor s zmenenými len niekoľkými výskytmi – odovzdajte pôvodný súbor ako predpoveď a generovanie sa stane takmer okamžitým. Rovnaká logika platí pre opravu vety v dlhom dokumente, vypĺňanie šablóny s pevnou štruktúrou alebo úpravu kľúča vo veľkom súbore JSON: vo všetkých týchto prípadoch je viac ako 90 % výstupu vopred známych a presne to predikcia využíva.
Naopak, táto funkcia stráca všetku hodnotu, keď je výstup nepredvídateľný – kreatívne odpovede, brainstorming alebo otvorené zhrnutia. Ak sa skutočný obsah líši od predpovede vo viac ako polovici tokenov, výhoda zmizne a model stráca čas zaznamenávaním nezrovnalostí. Všimnite si aj technické obmedzenie: predpovedané výstupy nefungujú s parametrom n (viacnásobné generovania).
Vplyv na ceny
Dobrá správa: predpovedané výstupy nemajú žiadny vplyv na ceny. Za poskytnutie predpovede neplatíte navyše. Platíte len za skutočne vygenerované tokeny, ako zvyčajne.
Kľúčové poznatky
- Predpovedané výstupy znižujú latenciu využitím predvídateľného obsahu
- Parameter
predictionposkytuje modelu očakávaný výstup ako východiskový bod - Dva kompatibilné modely:
mistral-large-latestacodestral-latest - Ideálne na editáciu kódu, úpravu textu a šablóny
- Žiadne dodatočné náklady – kvalita zostáva zachovaná