Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Výstupy s predikciou: Rýchlejšie odpovede

Lekcia 4 z 20 Aktualizované 3. novembra 2026 Pokročilý
Na tejto strane
  1. Urýchlenie odpovedí, keď už poznáš štruktúru
  2. Mechanizmus overovania
  3. Automatické rozhodovanie
  4. Kľúčové poznatky

Lekcia aktualizovaná 3. novembra 2026 na základe príručky Predicted Outputs a stránky o ukončení podpory od OpenAI: táto funkcia existuje iba v rozhraní Chat Completions (parameter prediction nie je akceptovaný rozhraním Responses API, takže predchádzajúca verzia tejto lekcie by zlyhala) a iba s modelmi GPT-4o, GPT-4o mini, GPT-4.1 a GPT-4.1 mini, ktoré OpenAI vyradí 14. januára 2027 (GPT-4.1 nano bol vyradený 23. októbra). Príručka neuvádza žiadne novšie kompatibilné modely: nestavaj nové produkty na tejto funkcii bez plánu odchodu. Zdroje: Predicted Outputs · Deprecations.

Urýchlenie odpovedí, keď už poznáš štruktúru

Výstupy s predikciou riešia veľmi častý produkčný scenár: požiadaš model o úpravu existujúceho obsahu a vopred vieš, že väčšina výsledku bude totožná so vstupom. Bez predikcie model regeneruje každý token od nuly, vrátane riadkov, ktoré nikto nežiadal zmeniť. S predikciou poskytneš očakávaný text; model overí, čo sedí, a skutočne vygeneruje iba časti, ktoré sa líšia. Latencia sa tým primerane zníži.

Tento posun mení najmä profil úloh editácie. Asistent, ktorý prepisuje dvestoriadkový súbor, aby zmenil signatúru funkcie, už neplatí za generovanie celého súboru, ale iba za dotknuté riadky: väčšina práce sa redukuje na porovnanie. Príslušné prípady vyzerajú všetko rovnako: editácia kódu, kde pošleš celý súbor pre cielenú zmenu; čiastočné prepisovanie, kde treba preformulovať iba jeden odsek dlhého dokumentu; vypĺňanie šablón, kde sa menia iba premenné polia; a aktualizácie štruktúrovaných dát, kde sa v JSON menia dve alebo tri hodnoty, zatiaľ čo zvyšok štruktúry zostáva. V každom z týchto prípadov očakávaná odpoveď už existuje s iba malými rozdielmi.

Príklad editácie kódu

Volanie je zostavené ako štandardné volanie Chat Completions, rozšírené o parameter prediction, ktorý nesie obsah, ktorý očakávaš.

import openai

client = openai.OpenAI()

code_original = """
def calculate_price(quantity, unit_price, vat=0.20):
    subtotal = quantity * unit_price
    total = subtotal * (1 + vat)
    return total

def format_invoice(client, items):
    lines = []
    for item in items:
        price = calculate_price(item["qty"], item["price"])
        lines.append(f"{item['name']}: {price:.2f}€")
    return "\n".join(lines)
"""

# Predpovedáme, že väčšina kódu zostane totožná
instruction = (
    "Uprav funkciu calculate_price tak, aby pridala parameter discount "
    "s predvolenou hodnotou 0. Aplikuj zľavu pred DPH. "
    "Odpovedz iba kódom."
)

completion = client.chat.completions.create(
    model="gpt-4.1",
    messages=[
        {"role": "user", "content": instruction},
        {"role": "user", "content": code_original},
    ],
    prediction={
        "type": "content",
        "content": code_original,  # Predikcia
    },
)

print(completion.choices[0].message.content)
# Model regeneruje iba upravené riadky — znížená latencia

Funkcia format_invoice nie je požiadavkou ovplyvnená: bude overená tak, ako je, bez nákladov na generovanie. Skutočne vygenerované budú iba riadky funkcie calculate_price, ktoré zohľadňujú nový parameter.

Mechanizmus overovania

Pochopenie toho, čo sa deje pod kapotou, ti pomôže vyhnúť sa dvom častým nedorozumeniam. Model porovnáva svoju vlastnú generáciu, token po tokene, s predikciou, ktorú si poskytol; kým sa obe zhodujú, tokeny sú okamžite overené, čím sa obíde úplný výpočet generovania. Akonáhle sa rozídu, preberá kontrolu bežné generovanie. Konečný výsledok preto zostáva správny: predikcia veci urýchľuje, nič nevynucuje. Ak je tvoja predikcia nesprávna, stále dostaneš správnu odpoveď, jednoducho bez zisku na rýchlosti.

Druhé nedorozumenie sa týka ceny. Odmietnuté predikčné tokeny sa fakturujú, čo robí operáciu kontraproduktívnou, keď očakávaná odpoveď nemá s predikciou nič spoločné. Preto pred všeobecným nasadením tohto vzorca zmeraj mieru akceptácie.

completion = client.chat.completions.create(
    model="gpt-4.1",
    messages=[
        {"role": "user", "content": "Pridaj parameter discount do funkcie calculate_price."},
        {"role": "user", "content": code_original},
    ],
    prediction={
        "type": "content",
        "content": code_original,
    },
)

usage = completion.usage
print(f"Výstupné tokeny: {usage.completion_tokens}")
print(f"Akceptované tokeny (predikcia): "
      f"{usage.completion_tokens_details.accepted_prediction_tokens}")
print(f"Odmietnuté tokeny (predikcia): "
      f"{usage.completion_tokens_details.rejected_prediction_tokens}")

# Čím vyšší je pomer akceptované/celkom, tým väčší je zisk

Automatické rozhodovanie

Keďže zisk závisí výlučne od typu požiadavky, rozhodnutie, či povoliť predikciu alebo nie, by malo byť zakódované, než ponechané na každého vývojára zvlášť. Nižšie uvedená heuristika odmieta predikciu pri textoch, ktoré sú príliš krátke, kde režijné náklady na ich odoslanie anulujú prínos, a vyhradzuje ju pre inštrukcie, ktoré vyjadrujú úpravu.

def should_use_prediction(original_text: str, instruction: str) -> bool:
    """Heuristika na rozhodnutie, či sa Výstupy s predikciou oplatia."""
    # Text musí byť dostatočne dlhý
    if len(original_text) < 200:
        return False

    # Inštrukcia musí byť cielená úprava
    edit_words = ["modify", "change", "replace", "add", "fix"]
    is_edit = any(word in instruction.lower() for word in edit_words)

    return is_edit

Rovnaké uvažovanie platí pre štruktúrované dáta, kde je výnos ešte lepší: konfiguračný JSON si zachováva kľúče, odsadenie a poradie, menia sa iba hodnoty.

import json

original_data = {
    "company": "Corsen AI",
    "employees": 42,
    "departments": ["Engineering", "Sales", "Marketing"],
    "address": {
        "street": "123 Avenue de la République",
        "city": "Paris",
        "zip_code": "75011",
    },
}

json_original = json.dumps(original_data, indent=2, ensure_ascii=False)

completion = client.chat.completions.create(
    model="gpt-4.1",
    messages=[
        {"role": "user", "content": (
            "Aktualizuj nasledujúci JSON: zmeň počet zamestnancov "
            "na 58 a pridaj oddelenie Data Science. Odpovedz iba JSON."
        )},
        {"role": "user", "content": json_original},
    ],
    prediction={
        "type": "content",
        "content": json_original,
    },
)

Pred nasadením si uvedom tri obmedzenia. Streamovanie je kompatibilné a práve tam je zisk na latencii najvýraznejší. Niekoľko parametrov však kompatibilných nie je: n väčšie ako 1, logprobs, kladné presence_penalty alebo frequency_penalty, audio, iné módy než text, max_completion_tokens a nástroje (volanie funkcií). Nakoniec, funkcia je viazaná na modely s koncom životnosti: GPT-4o, GPT-4o mini, GPT-4.1 a GPT-4.1 mini končia 14. januára 2027 a žiadny novší model nie je oznámený ako kompatibilný. Pre rýchlu editáciu na súčasných modeloch je udržateľnou cestou požiadať model o diff alebo patch namiesto celého súboru.

Kľúčové poznatky

  • Výstupy s predikciou urýchľujú odpovede, keď poznáš očakávanú štruktúru – iba v Chat Completions
  • Ideálne na editáciu kódu, aktualizácie JSON, čiastočné prepisovanie
  • Skontroluj accepted_prediction_tokens, aby si zmeral skutočný zisk
  • Odmietnuté predikčné tokeny sa fakturujú: nepredpovedaj naslepo
  • Nepoužívaj ich na úplne nové generácie
  • Kompatibilné modely (GPT-4o, GPT-4.1 a ich mini verzie) budú vyradené 14. januára 2027: naplánuj si alternatívu, ako je generovanie diff