Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Izhodi napovedi: hitrejši odzivi

Lekcija 4 od 20 Posodobljeno 3. november 2026 Napredni
Na tej strani
  1. Pospeši odzive, ko strukturo že poznaš
  2. Mehanizem preverjanja
  3. Samodejno odločanje
  4. Ključne ugotovitve

Lekcija posodobljena 3. novembra 2026 na podlagi vodnika Predicted Outputs in strani OpenAI o opustitvah: ta funkcija obstaja le v Chat Completions (parameter prediction ni sprejet v API-ju Responses, zato bi prejšnja različica te lekcije odpovedala) in le z modeli GPT-4o, GPT-4o mini, GPT-4.1 in GPT-4.1 mini, ki jih bo OpenAI umaknil 14. januarja 2027 (GPT-4.1 nano je bil umaknjen 23. oktobra). Vodnik ne navaja novejših združljivih modelov: ne gradi novih produktov na tej funkciji brez izhodnega načrta. Viri: Predicted Outputs · Deprecations.

Pospeši odzive, ko strukturo že poznaš

Izhodi napovedi (Predicted Outputs) naslavljajo zelo pogost produkcijski scenarij: model prosiš, naj spremeni obstoječo vsebino, vnaprej pa veš, da bo večina rezultata enaka vhodnim podatkom. Brez napovedi model znova ustvari vsak žeton od začetka, vključno z vrsticami, ki jih nihče ni prosil, naj se jih dotakne. Z napovedjo priskrbiš pričakovano besedilo; model preveri, kaj se ujema, in resnično ustvari le dele, ki se razlikujejo. Zakasnitev se s tem ustrezno zmanjša.

Ta premik še posebej spremeni profil nalog urejanja. Pomočnik, ki prepíše dvestovrstično datoteko, da spremeni podpis funkcije, ne plača več za generiranje celotne datoteke, temveč le za spremenjene vrstice: večina dela se zreducira na primerjavo. Ustrezni primeri so si vsi podobni: urejanje kode, kjer pošlješ celotno datoteko za ciljno spremembo; delovno prepisovanje, kjer je treba ponovno oblikovati le en odstavek dolgega dokumenta; dopolnjevanje predlog, kjer se spreminjajo le polja spremenljivk; in posodobitve strukturiranih podatkov, kjer se v JSON-u spremenita dve ali tri vrednosti, preostala struktura pa ostane enaka. V vsakem od teh primerov pričakovani odgovor že obstaja z le manjšimi razlikami.

Primer urejanja kode

Klic je sestavljen kot standardni klic Chat Completions, dopolnjen s parametrom prediction, ki nosi vsebino, ki jo pričakuješ.

import openai

client = openai.OpenAI()

code_original = """
def calculate_price(quantity, unit_price, vat=0.20):
    subtotal = quantity * unit_price
    total = subtotal * (1 + vat)
    return total

def format_invoice(client, items):
    lines = []
    for item in items:
        price = calculate_price(item["qty"], item["price"])
        lines.append(f"{item['name']}: {price:.2f}€")
    return "\n".join(lines)
"""

# Napovemo, da večina kode ostane enaka
instruction = (
    "Modify the calculate_price function to add a discount parameter "
    "with a default value of 0. Apply the discount before VAT. "
    "Respond with code only."
)

completion = client.chat.completions.create(
    model="gpt-4.1",
    messages=[
        {"role": "user", "content": instruction},
        {"role": "user", "content": code_original},
    ],
    prediction={
        "type": "content",
        "content": code_original,  # Napoved
    },
)

print(completion.choices[0].message.content)
# Model ponovno ustvari le spremenjene vrstice — zmanjšana zakasnitev

Funkcija format_invoice na zahtevo ne vpliva: potrjena bo takšna, kot je, brez stroška generiranja. Resnično ustvarjene bodo le vrstice funkcije calculate_price, ki sprejmejo nov parameter.

Mehanizem preverjanja

Razumevanje dogajanja v ozadju prepreči dva pogosta nesporazuma. Model primerja svoje lastno generiranje, žeton za žetonom, z napovedjo, ki si jo priskrbel; dokler se oba ujemata, so žetoni takoj potrjeni in obidejo popoln izračun generiranja. Takoj ko se razideta, prevzame nadzor običajno generiranje. Končni rezultat zato ostane pravilen: napoved stvari pospeši, ničesar ne vsili. Če je tvoja napoved napačna, še vedno dobiš pravilen odgovor, preprosto brez prihranka.

Drugi nesporazum se nanaša na ceno. Zavrnjeni žetoni napovedi se zaračunajo, zaradi česar je operacija kontraproduktivna, ko pričakovani odgovor nima nič skupnega z napovedjo. Zato pred posplošitvijo vzorca izmeri stopnjo sprejetosti.

completion = client.chat.completions.create(
    model="gpt-4.1",
    messages=[
        {"role": "user", "content": "Add a discount parameter to the calculate_price function."},
        {"role": "user", "content": code_original},
    ],
    prediction={
        "type": "content",
        "content": code_original,
    },
)

usage = completion.usage
print(f"Output tokens: {usage.completion_tokens}")
print(f"Accepted tokens (prediction): "
      f"{usage.completion_tokens_details.accepted_prediction_tokens}")
print(f"Rejected tokens (prediction): "
      f"{usage.completion_tokens_details.rejected_prediction_tokens}")

# Višje kot je razmerje med sprejetimi in skupnimi žetoni, večji je prihranek

Samodejno odločanje

Ker je prihranek v celoti odvisen od vrste zahteve, mora biti odločitev o vklopu ali izklopu napovedi kodificirana in ne prepuščena vsakemu razvijalcu posebej. Spodnja hevristika zavrne napoved pri besedilih, ki so prekratka, kjer strošek pošiljanja izniči korist, in jo rezervira za navodila, ki izražajo spremembo.

def should_use_prediction(original_text: str, instruction: str) -> bool:
    """Hevristika za odločitev, ali se Izhodi napovedi splačajo."""
    # Besedilo mora biti dovolj dolgo
    if len(original_text) < 200:
        return False

    # Navodilo mora biti ciljna sprememba
    edit_words = ["modify", "change", "replace", "add", "fix"]
    is_edit = any(word in instruction.lower() for word in edit_words)

    return is_edit

Enako razmišljanje velja za strukturirane podatke, kjer je donos še boljši: konfiguracijski JSON ohrani svoje ključe, zamike in vrstni red, spremenijo se le vrednosti.

import json

original_data = {
    "company": "Corsen AI",
    "employees": 42,
    "departments": ["Engineering", "Sales", "Marketing"],
    "address": {
        "street": "123 Avenue de la République",
        "city": "Paris",
        "zip_code": "75011",
    },
}

json_original = json.dumps(original_data, indent=2, ensure_ascii=False)

completion = client.chat.completions.create(
    model="gpt-4.1",
    messages=[
        {"role": "user", "content": (
            "Update the following JSON: change the number of employees "
            "to 58 and add the Data Science department. Respond with JSON only."
        )},
        {"role": "user", "content": json_original},
    ],
    prediction={
        "type": "content",
        "content": json_original,
    },
)

Pred uvedbo bodi pozoren na tri opozorila. Pretakanje (streaming) je združljivo in prav tam je prihranek pri zakasnitvi najbolj opazen. Nekateri parametri pa niso združljivi: n večji od 1, logprobs, pozitiven presence_penalty ali frequency_penalty, zvok, modalitete, ki niso besedilne, max_completion_tokens in orodja (klicanje funkcij). Nazadnje, funkcija je vezana na modele s koncem življenjske dobe: GPT-4o, GPT-4o mini, GPT-4.1 in GPT-4.1 mini prenehajo delovati 14. januarja 2027, noben novejši model pa ni napovedan kot združljiv. Za hitro urejanje na trenutnih modelih je trajnostna pot, da model prosiš za diff ali popravek (patch), namesto za celotno datoteko.

Ključne ugotovitve

  • Izhodi napovedi pospešijo odzive, ko poznaš pričakovano strukturo – le v Chat Completions
  • Idealno za urejanje kode, posodobitve JSON-a, delovno prepisovanje
  • Preveri accepted_prediction_tokens, da izmeriš dejanski prihranek
  • Zavrnjeni žetoni napovedi se zaračunajo: ne napoveduj naključno
  • Ne uporabljaj jih za popolnoma nova generiranja
  • Združljivi modeli (GPT-4o, GPT-4.1 in njihove mini različice) umaknjeni 14. januarja 2027: načrtuj alternativo, kot je generiranje diff-a