Výstupy s predikcí: Rychlejší odpovědi
Na této stránce
Lekce aktualizována 3. listopadu 2026 na základě příručky Predicted Outputs a stránky OpenAI o ukončování podpory: tato funkce existuje pouze v rozhraní Chat Completions (parametr
predictionnení přijímán API Responses, takže předchozí verze této lekce by selhala) a pouze s modely GPT-4o, GPT-4o mini, GPT-4.1 a GPT-4.1 mini, které OpenAI vyřadí z provozu 14. ledna 2027 (GPT-4.1 nano byl vyřazen již 23. října). Příručka neuvádí žádné novější kompatibilní modely: nestav na této funkci nové produkty bez plánu B. Zdroje: Predicted Outputs · Deprecations.
Zrychlení odpovědí, když už znáš strukturu
Výstupy s predikcí řeší velmi častý scénář v produkci: požádáš model o úpravu existujícího obsahu a předem víš, že většina výsledku bude totožná se vstupem. Bez predikce model regeneruje každý token od nuly, včetně řádků, kterých se nikdo nedotkl. S predikcí poskytneš očekávaný text; model ověří, co sedí, a skutečně vygeneruje pouze části, které se liší. Latence tím odpovídajícím způsobem klesá.
Tento posun zásadně mění profil úloh spojených s editací. Asistent, který přepisuje dvousetřádkový soubor, aby změnil signaturu funkce, již neplatí za generování celého souboru, ale pouze za změněné řádky: většina práce se redukuje na porovnání. Relevantní případy vypadají všechny podobně: editace kódu, kde pošleš celý soubor pro cílenou změnu; částečný přepis, kde je třeba přeformulovat pouze jediný odstavec dlouhého dokumentu; doplňování šablon, kde se mění pouze proměnná pole; a aktualizace strukturovaných dat, kde se v JSON změní dvě či tři hodnoty, zatímco zbytek struktury zůstává. V každém z těchto případů očekávaná odpověď již existuje s pouze drobnými rozdíly.
Příklad editace kódu
Volání je sestaveno jako standardní volání Chat Completions, rozšířené o parametr prediction, který nese obsah, jenž očekáváš.
import openai
client = openai.OpenAI()
code_original = """
def calculate_price(quantity, unit_price, vat=0.20):
subtotal = quantity * unit_price
total = subtotal * (1 + vat)
return total
def format_invoice(client, items):
lines = []
for item in items:
price = calculate_price(item["qty"], item["price"])
lines.append(f"{item['name']}: {price:.2f}€")
return "\n".join(lines)
"""
# Predikujeme, že většina kódu zůstane totožná
instruction = (
"Modify the calculate_price function to add a discount parameter "
"with a default value of 0. Apply the discount before VAT. "
"Respond with code only."
)
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": instruction},
{"role": "user", "content": code_original},
],
prediction={
"type": "content",
"content": code_original, # Predikce
},
)
print(completion.choices[0].message.content)
# Model regeneruje pouze změněné řádky — snížená latence
Funkce format_invoice není žádostí dotčena: bude ověřena tak, jak je, bez nákladů na generování. Skutečně vyprodukovány budou pouze řádky funkce calculate_price, které pojmou nový parametr.
Mechanismus ověřování
Pochopení toho, co se děje pod kapotou, ti pomůže vyhnout se dvěma častým nedorozuměním. Model porovnává svou vlastní generaci, token po tokenu, s predikcí, kterou jsi poskytl; dokud se obě shodují, jsou tokeny okamžitě ověřeny a obcházejí plný výpočet generování. Jakmile se rozcházejí, přebírá řízení běžná generace. Konečný výsledek tedy zůstává správný: predikce věci urychluje, nic nenutí. Pokud je tvá predikce špatná, stejně dostaneš správnou odpověď, pouze bez zisku na rychlosti.
Druhé nedorozumění se týká ceny. Odmítnuté predikované tokeny jsou účtovány, což činí operaci kontraproduktivní, když očekávaná odpověď nemá s predikcí nic společného. Před generalizací tohoto vzorce proto změř míru akceptace.
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": "Add a discount parameter to the calculate_price function."},
{"role": "user", "content": code_original},
],
prediction={
"type": "content",
"content": code_original,
},
)
usage = completion.usage
print(f"Output tokens: {usage.completion_tokens}")
print(f"Accepted tokens (prediction): "
f"{usage.completion_tokens_details.accepted_prediction_tokens}")
print(f"Rejected tokens (prediction): "
f"{usage.completion_tokens_details.rejected_prediction_tokens}")
# Čím vyšší poměr přijatých/celkových, tím větší zisk
Automatizované rozhodování
Protože zisk závisí výhradně na typu požadavku, rozhodnutí, zda predikci zapnout či nikoliv, by mělo být kodifikováno, nikoliv ponecháno na každém vývojáři zvlášť. Níže uvedená heuristika odmítá predikci u textů, které jsou příliš krátké (kde režie jejího odeslání anuluje přínos), a vyhrazuje ji pro instrukce, které vyjadřují úpravu.
def should_use_prediction(original_text: str, instruction: str) -> bool:
"""Heuristika pro rozhodnutí, zda se Výstupy s predikcí vyplatí."""
# Text musí být dostatečně dlouhý
if len(original_text) < 200:
return False
# Instrukce musí být cílená úprava
edit_words = ["modify", "change", "replace", "add", "fix"]
is_edit = any(word in instruction.lower() for word in edit_words)
return is_edit
Stejná logika platí pro strukturovaná data, kde je návratnost ještě lepší: konfigurační JSON si zachovává své klíče, odsazení a pořadí, mění se pouze hodnoty.
import json
original_data = {
"company": "Corsen AI",
"employees": 42,
"departments": ["Engineering", "Sales", "Marketing"],
"address": {
"street": "123 Avenue de la République",
"city": "Paris",
"zip_code": "75011",
},
}
json_original = json.dumps(original_data, indent=2, ensure_ascii=False)
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": (
"Update the following JSON: change the number of employees "
"to 58 and add the Data Science department. Respond with JSON only."
)},
{"role": "user", "content": json_original},
],
prediction={
"type": "content",
"content": json_original,
},
)
Než nasadíš řešení do provozu, měj na paměti tři upozornění. Streamování je kompatibilní a právě zde je zisk na latenci nejznatelnější. Několik parametrů však kompatibilních není: n větší než 1, logprobs, kladné presence_penalty nebo frequency_penalty, audio, jiné modality než text, max_completion_tokens a nástroje (volání funkcí). Nakonec je funkce svázána s modely na konci životního cyklu: GPT-4o, GPT-4o mini, GPT-4.1 a GPT-4.1 mini končí 14. ledna 2027 a žádný novější model není oznámen jako kompatibilní. Pro rychlé editace na současných modelech je udržitelnou cestou požádat model o diff nebo patch namísto celého souboru.
Klíčové poznatky
- Výstupy s predikcí urychlují odpovědi, když znáš očekávanou strukturu – pouze v Chat Completions
- Ideální pro editaci kódu, aktualizace JSON, částečný přepis
- Pro měření skutečného zisku kontroluj
accepted_prediction_tokens - Odmítnuté predikované tokeny jsou účtovány: nepredikuj náhodně
- Nepoužívej je pro zcela nová generování
- Kompatibilní modely (GPT-4o, GPT-4.1 a jejich mini verze) budou vyřazeny 14. ledna 2027: naplánuj alternativu, jako je generování diffů