Izlazi predviđanja: Brži odgovori
Na ovoj stranici
Lekcija ažurirana 3. studenog 2026. na temelju vodiča Predicted Outputs i OpenAI-jeve stranice o zastari: ova značajka postoji samo u Chat Completions (parametar
predictionnije prihvaćen od strane Responses API-ja, pa bi prethodna verzija ove lekcije bila neuspješna) i samo s modelima GPT-4o, GPT-4o mini, GPT-4.1 i GPT-4.1 mini, koje će OpenAI povući 14. siječnja 2027. (GPT-4.1 nano povučen je 23. listopada). Vodič ne navodi novije kompatibilne modele: ne gradi nove proizvode na ovoj značajci bez plana izlaska. Izvori: Predicted Outputs · Deprecations.
Ubrzaj odgovore kada već znaš strukturu
Izlazi predviđanja (Predicted Outputs) rješavaju vrlo čest produkcijski scenarij: tražiš od modela da modificira postojeći sadržaj, a unaprijed znaš da će većina rezultata biti identična ulazu. Bez predviđanja, model iznova generira svaki token od nule, uključujući retke koje nitko nije tražio da dira. Uz predviđanje, dostavljaš očekivani tekst; model validira ono što se podudara i stvarno generira samo dijelove koji se razlikuju. Latencija se sukladno tome smanjuje.
Ovaj pomak posebno mijenja profil zadataka uređivanja. Asistent koji prepisuje datoteku od dvjesto redaka kako bi promijenio potpis funkcije više ne plaća generiranje cijele datoteke, već samo diranih redaka: većina posla svodi se na usporedbu. Relevantni slučajevi svi izgledaju slično: uređivanje koda, gdje šalješ cijelu datoteku za ciljane promjene; djelomično prepisivanje, gdje je potrebno preformulirati samo jedan odlomak dugog dokumenta; dovršavanje predložaka, gdje se mijenjaju samo polja s varijablama; i ažuriranje strukturiranih podataka, gdje se dvije ili tri vrijednosti u JSON-u mijenjaju dok ostatak strukture ostaje. U svakom od ovih slučajeva, očekivani odgovor već postoji uz samo manje razlike.
Primjer uređivanja koda
Poziv se gradi kao standardni poziv Chat Completions, proširen parametrom prediction koji nosi sadržaj koji očekuješ.
import openai
client = openai.OpenAI()
code_original = """
def calculate_price(quantity, unit_price, vat=0.20):
subtotal = quantity * unit_price
total = subtotal * (1 + vat)
return total
def format_invoice(client, items):
lines = []
for item in items:
price = calculate_price(item["qty"], item["price"])
lines.append(f"{item['name']}: {price:.2f}€")
return "\n".join(lines)
"""
# Predviđamo da većina koda ostaje identična
instruction = (
"Modify the calculate_price function to add a discount parameter "
"with a default value of 0. Apply the discount before VAT. "
"Respond with code only."
)
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": instruction},
{"role": "user", "content": code_original},
],
prediction={
"type": "content",
"content": code_original, # Predviđanje
},
)
print(completion.choices[0].message.content)
# Model generira samo modificirane retke — smanjena latencija
Funkcija format_invoice nije pogođena zahtjevom: ona će biti validirana kakva jest, bez troška generiranja. Samo će se retci funkcije calculate_price koji prilagođavaju novi parametar stvarno proizvesti.
Mehanizam validacije
Razumijevanje onoga što se događa ispod haube izbjegava dva česta nesporazuma. Model uspoređuje svoju vlastitu generaciju, token po token, s predviđanjem koje si dostavio/la; sve dok se ta dva podudaraju, tokeni se trenutno validiraju, zaobilazeći puni izračun generiranja. Čim se razilaze, preuzima normalno generiranje. Konačni rezultat stoga ostaje točan: predviđanje ubrzava stvari, ne nameće ništa. Ako je tvoje predviđanje pogrešno, i dalje dobivaš točan odgovor, jednostavno bez dobiti.
Drugi nesporazum tiče se cijene. Odbačeni tokeni predviđanja se naplaćuju, što operaciju čini kontraproduktivnom kada očekivani odgovor nema veze s predviđanjem. Stoga izmjeri stopu prihvaćanja prije generalizacije ovog obrasca.
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": "Add a discount parameter to the calculate_price function."},
{"role": "user", "content": code_original},
],
prediction={
"type": "content",
"content": code_original,
},
)
usage = completion.usage
print(f"Output tokens: {usage.completion_tokens}")
print(f"Accepted tokens (prediction): "
f"{usage.completion_tokens_details.accepted_prediction_tokens}")
print(f"Rejected tokens (prediction): "
f"{usage.completion_tokens_details.rejected_prediction_tokens}")
# Što je veći omjer prihvaćeno/ukupno, to je veća dobit
Automatsko odlučivanje
Budući da dobit u potpunosti ovisi o vrsti zahtjeva, odluku o omogućavanju predviđanja ili ne treba kodificirati, a ne ostaviti svakom programeru/ki. Donja heuristika odbija predviđanje na tekstovima koji su prekratki, gdje trošak slanja poništava korist, i rezervira ga za upute koje izražavaju modifikaciju.
def should_use_prediction(original_text: str, instruction: str) -> bool:
"""Heuristika za odluku isplati li se koristiti Predicted Outputs."""
# Tekst mora biti dovoljno dug
if len(original_text) < 200:
return False
# Uputa mora biti ciljana modifikacija
edit_words = ["modify", "change", "replace", "add", "fix"]
is_edit = any(word in instruction.lower() for word in edit_words)
return is_edit
Isto razmišljanje vrijedi i za strukturirane podatke, gdje je prinos još bolji: JSON konfiguracija zadržava svoje ključeve, uvlačenje i redoslijed, a mijenjaju se samo vrijednosti.
import json
original_data = {
"company": "Corsen AI",
"employees": 42,
"departments": ["Engineering", "Sales", "Marketing"],
"address": {
"street": "123 Avenue de la République",
"city": "Paris",
"zip_code": "75011",
},
}
json_original = json.dumps(original_data, indent=2, ensure_ascii=False)
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": (
"Update the following JSON: change the number of employees "
"to 58 and add the Data Science department. Respond with JSON only."
)},
{"role": "user", "content": json_original},
],
prediction={
"type": "content",
"content": json_original,
},
)
Tri upozorenja prije implementacije. Streaming je kompatibilan, a upravo je tamo dobitak u latenciji najuočljiviji. Nekoliko parametara, međutim, nije: n veći od 1, logprobs, pozitivni presence_penalty ili frequency_penalty, audio, modaliteti drugačiji od teksta, max_completion_tokens i alati (pozivanje funkcija). Konačno, značajka je vezana uz modele na kraju životnog vijeka: GPT-4o, GPT-4o mini, GPT-4.1 i GPT-4.1 mini prestaju s radom 14. siječnja 2027., a nijedan noviji model nije najavljen kao kompatibilan. Za brzo uređivanje na trenutnim modelima, održiv put je tražiti od modela diff ili patch, a ne cijelu datoteku.
Ključne točke
- Izlazi predviđanja ubrzavaju odgovore kada znaš očekivanu strukturu — samo u Chat Completions
- Idealno za uređivanje koda, ažuriranje JSON-a, djelomično prepisivanje
- Provjeri
accepted_prediction_tokensza mjerenje stvarne dobiti - Odbačeni tokeni predviđanja se naplaćuju: ne predviđaj nasumično
- Ne koristi ih za potpuno nove generacije
- Kompatibilni modeli (GPT-4o, GPT-4.1 i njihove mini verzije) povučeni su 14. siječnja 2027.: planiraj alternativu, poput generiranja diff-a