Uitvoer voorspellen: snellere reacties
Op deze pagina
Les bijgewerkt op 3 november 2026 op basis van de gids Predicted Outputs en de deprecatiepagina van OpenAI: deze functie bestaat alleen binnen Chat Completions (de parameter
predictionwordt niet geaccepteerd door de Responses API, dus de vorige versie van deze les zou hebben gefaald) en alleen met de modellen GPT-4o, GPT-4o mini, GPT-4.1 en GPT-4.1 mini, die OpenAI zal uitfaseren op 14 januari 2027 (GPT-4.1 nano is al uitgefaseerd op 23 oktober). De gids noemt geen nieuwere compatibele modellen: bouw geen nieuwe producten op deze functie zonder een exit-strategie. Bronnen: Predicted Outputs · Deprecations.
Reacties versnellen wanneer u de structuur al kent
Predicted Outputs lossen een zeer veelvoorkomend productiescenario op: u vraagt het model om bestaande inhoud aan te passen, en u weet vooraf dat het grootste deel van het resultaat identiek zal zijn aan de invoer. Zonder voorspelling genereert het model elk token opnieuw vanaf nul, inclusief regels waar niemand om heeft gevraagd. Met voorspelling levert u de verwachte tekst aan; het model valideert wat overeenkomt en genereert alleen echt de delen die verschillen. De latentie neemt dienovereenkomstig af.
Deze verschuiving verandert vooral het profiel van bewerkingstaken. Een assistent die een bestand van tweehonderd regels herschrijft om een functiesignatuur aan te passen, betaalt niet langer voor het genereren van het hele bestand, maar alleen voor de gewijzigde regels: het meeste werk reduceert tot een vergelijking. De relevante casussen lijken allemaal op elkaar: code-bewerking, waarbij u het volledige bestand stuurt voor een gerichte wijziging; gedeeltelijk herschrijven, waarbij slechts één alinea van een lang document herformuleerd moet worden; sjabloon-aanvulling, waarbij alleen variabele velden veranderen; en updates van gestructureerde gegevens, waarbij twee of drie waarden in een JSON evolueren terwijl de rest van de structuur gelijk blijft. In elk van deze gevallen bestaat de verwachte respons al, met slechts kleine verschillen.
Een voorbeeld van code-bewerking
De oproep wordt opgebouwd als een standaard Chat Completions-oproep, uitgebreid met een prediction-parameter die de inhoud bevat die u verwacht.
import openai
client = openai.OpenAI()
code_original = """
def calculate_price(quantity, unit_price, vat=0.20):
subtotal = quantity * unit_price
total = subtotal * (1 + vat)
return total
def format_invoice(client, items):
lines = []
for item in items:
price = calculate_price(item["qty"], item["price"])
lines.append(f"{item['name']}: {price:.2f}€")
return "\n".join(lines)
"""
# We voorspellen dat het grootste deel van de code identiek blijft
instruction = (
"Wijzig de calculate_price-functie om een discount-parameter toe te voegen "
"met een standaardwaarde van 0. Pas de korting toe voordat de BTW wordt berekend. "
"Antwoord alleen met code."
)
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": instruction},
{"role": "user", "content": code_original},
],
prediction={
"type": "content",
"content": code_original, # De voorspelling
},
)
print(completion.choices[0].message.content)
# Het model genereert alleen de gewijzigde regels opnieuw — verminderde latentie
De format_invoice-functie wordt niet beïnvloed door het verzoek: deze wordt als zodanig gevalideerd, zonder generatiekosten. Alleen de regels van calculate_price die ruimte maken voor de nieuwe parameter, worden daadwerkelijk geproduceerd.
Het validatiemechanisme
Inzicht in wat er onder de motorkap gebeurt, voorkomt twee veelvoorkomende misverstanden. Het model vergelijkt zijn eigen generatie, token voor token, met de voorspelling die u heeft aangeleverd; zolang de twee overeenkomen, worden tokens direct gevalideerd, waarbij de volledige generatieberekening wordt overgeslagen. Zodra ze divergeren, neemt de normale generatie het over. Het eindresultaat blijft daarom correct: voorspelling versnelt de zaken, het forceert niets. Als uw voorspelling fout is, krijgt u nog steeds het juiste antwoord, simpelweg zonder de winst.
Het tweede misverstand betreft de prijs. Afgewezen voorspelde tokens worden in rekening gebracht, wat de operatie contraproductief maakt wanneer de verwachte respons niets te maken heeft met de voorspelling. Meet daarom eerst de acceptatiegraad voordat u dit patroon generaliseert.
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": "Voeg een discount-parameter toe aan de calculate_price-functie."},
{"role": "user", "content": code_original},
],
prediction={
"type": "content",
"content": code_original,
},
)
usage = completion.usage
print(f"Output tokens: {usage.completion_tokens}")
print(f"Geaccepteerde tokens (voorspelling): "
f"{usage.completion_tokens_details.accepted_prediction_tokens}")
print(f"Afgewezen tokens (voorspelling): "
f"{usage.completion_tokens_details.rejected_prediction_tokens}")
# Hoe hoger de verhouding geaccepteerd/totaal, hoe groter de winst
Automatisch beslissen
Omdat de winst volledig afhangt van het type verzoek, moet de beslissing om voorspelling wel of niet in te schakelen worden gecodificeerd in plaats van aan elke ontwikkelaar over te laten. De onderstaande heuristiek weigert voorspelling bij teksten die te kort zijn, waarbij de overhead van het verzenden ervan het voordeel tenietdoet, en reserveert het voor instructies die een wijziging uitdrukken.
def should_use_prediction(original_text: str, instruction: str) -> bool:
"""Heuristiek om te beslissen of Predicted Outputs de moeite waard zijn."""
# De tekst moet lang genoeg zijn
if len(original_text) < 200:
return False
# De instructie moet een gerichte wijziging zijn
edit_words = ["modify", "change", "replace", "add", "fix"]
is_edit = any(word in instruction.lower() for word in edit_words)
return is_edit
Dezelfde redenering geldt voor gestructureerde gegevens, waar het rendement nog beter is: een configuratie-JSON behoudt zijn sleutels, inspringing en volgorde, en alleen de waarden veranderen.
import json
original_data = {
"company": "Corsen AI",
"employees": 42,
"departments": ["Engineering", "Sales", "Marketing"],
"address": {
"street": "123 Avenue de la République",
"city": "Paris",
"zip_code": "75011",
},
}
json_original = json.dumps(original_data, indent=2, ensure_ascii=False)
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": (
"Update de volgende JSON: verander het aantal werknemers "
"naar 58 en voeg de afdeling Data Science toe. Antwoord alleen met JSON."
)},
{"role": "user", "content": json_original},
],
prediction={
"type": "content",
"content": json_original,
},
)
Drie waarschuwingen voordat u dit implementeert. Streaming is compatibel, en dat is zelfs waar de winst in latentie het meest opvalt. Verschillende parameters zijn dat echter niet: n groter dan 1, logprobs, positieve presence_penalty of frequency_penalty, audio, modaliteiten anders dan tekst, max_completion_tokens, en tools (function calling). Tot slot is de functie gekoppeld aan modellen die het einde van hun levenscyclus naderen: GPT-4o, GPT-4o mini, GPT-4.1 en GPT-4.1 mini stoppen op 14 januari 2027, en er is geen nieuwer model aangekondigd als compatibel. Voor snel bewerken op huidige modellen is de duurzame route om het model om een diff of een patch te vragen in plaats van het hele bestand.
Belangrijkste punten
- Predicted Outputs versnellen reacties wanneer u de verwachte structuur kent — alleen in Chat Completions
- Ideaal voor code-bewerking, JSON-updates, gedeeltelijk herschrijven
- Controleer
accepted_prediction_tokensom de echte winst te meten - Afgewezen voorspelde tokens worden in rekening gebracht: voorspel niet willekeurig
- Gebruik ze niet voor volledig nieuwe generaties
- Compatibele modellen (GPT-4o, GPT-4.1 en hun mini-versies) uitgefaseerd op 14 januari 2027: plan een alternatief, zoals diff-generatie