Output previsti: risposte più veloci
In questa pagina
Lezione aggiornata il 3 novembre 2026 sulla base della guida Predicted Outputs e della pagina di deprecazione di OpenAI: questa funzionalità esiste solo nelle Chat Completions (il parametro
predictionnon è accettato dalle Responses API, quindi la versione precedente di questa lezione avrebbe fallito) e solo con i modelli GPT-4o, GPT-4o mini, GPT-4.1 e GPT-4.1 mini, che OpenAI ritirerà il 14 gennaio 2027 (GPT-4.1 nano è stato ritirato il 23 ottobre). La guida non elenca modelli più recenti compatibili: non costruire nuovi prodotti su questa funzionalità senza un piano di uscita. Fonti: Predicted Outputs · Deprecations.
Accelera le risposte quando conosci già la struttura
Gli Output previsti affrontano uno scenario produttivo molto comune: chiedi al modello di modificare contenuti esistenti e sai in anticipo che la maggior parte del risultato sarà identica all’input. Senza previsione, il modello rigenera ogni token da zero, incluse le righe che nessuno gli ha chiesto di toccare. Con la previsione, fornisci il testo atteso; il modello convalida ciò che corrisponde e genera genuinamente solo le parti che differiscono. La latenza diminuisce di conseguenza.
Questo cambiamento altera soprattutto il profilo delle attività di modifica. Un assistente che riscrive un file di duecento righe per cambiare la firma di una funzione non paga più per la generazione dell’intero file, ma solo per le righe toccate: la maggior parte del lavoro si riduce a un confronto. I casi rilevanti sono tutti simili: modifica del codice, dove invii l’intero file per una modifica mirata; riscrittura parziale, dove solo un singolo paragrafo di un lungo documento deve essere riformulato; completamento di modelli, dove cambiano solo i campi variabili; e aggiornamenti di dati strutturati, dove due o tre valori in un JSON evolvono mentre il resto della struttura rimane immutato. In ciascuno di questi casi, la risposta attesa esiste già con solo piccole differenze.
Un esempio di modifica del codice
La chiamata è costruita come una normale chiamata Chat Completions, arricchita con un parametro prediction contenente il contenuto che anticipi.
import openai
client = openai.OpenAI()
code_original = """
def calculate_price(quantity, unit_price, vat=0.20):
subtotal = quantity * unit_price
total = subtotal * (1 + vat)
return total
def format_invoice(client, items):
lines = []
for item in items:
price = calculate_price(item["qty"], item["price"])
lines.append(f"{item['name']}: {price:.2f}€")
return "\n".join(lines)
"""
# Prevediamo che la maggior parte del codice rimanga identica
instruction = (
"Modifica la funzione calculate_price per aggiungere un parametro discount "
"con un valore predefinito di 0. Applica lo sconto prima dell'IVA. "
"Rispondi solo con il codice."
)
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": instruction},
{"role": "user", "content": code_original},
],
prediction={
"type": "content",
"content": code_original, # La previsione
},
)
print(completion.choices[0].message.content)
# Il modello rigenera solo le righe modificate — latenza ridotta
La funzione format_invoice non è interessata dalla richiesta: verrà convalidata così com’è, senza costi di generazione. Solo le righe di calculate_price che accolgono il nuovo parametro verranno prodotte genuinamente.
Il meccanismo di convalida
Comprendere cosa accade sotto il cofano evita due comuni equivoci. Il modello confronta la propria generazione, token per token, con la previsione che hai fornito; finché i due coincidono, i token vengono convalidati istantaneamente, bypassando il calcolo completo della generazione. Non appena divergono, subentra la generazione normale. Il risultato finale rimane quindi corretto: la previsione accelera le cose, non forza nulla. Se la tua previsione è sbagliata, ottieni comunque la risposta giusta, semplicemente senza il guadagno.
Il secondo equivoco riguarda il prezzo. I token di previsione rifiutati vengono fatturati, il che rende l’operazione controproducente quando la risposta attesa non ha nulla a che fare con la previsione. Pertanto, misura il tasso di accettazione prima di generalizzare il pattern.
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": "Aggiungi un parametro discount alla funzione calculate_price."},
{"role": "user", "content": code_original},
],
prediction={
"type": "content",
"content": code_original,
},
)
usage = completion.usage
print(f"Token di output: {usage.completion_tokens}")
print(f"Token accettati (previsione): "
f"{usage.completion_tokens_details.accepted_prediction_tokens}")
print(f"Token rifiutati (previsione): "
f"{usage.completion_tokens_details.rejected_prediction_tokens}")
# Più alto è il rapporto accettati/totale, maggiore è il guadagno
Decidere automaticamente
Poiché il guadagno dipende interamente dal tipo di richiesta, la decisione di abilitare o meno la previsione dovrebbe essere codificata piuttosto che lasciata a ogni sviluppatore. L’euristica seguente rifiuta la previsione su testi troppo brevi, dove il sovraccarico dell’invio annulla il beneficio, e la riserva alle istruzioni che esprimono una modifica.
def should_use_prediction(original_text: str, instruction: str) -> bool:
"""Euristica per decidere se gli Output previsti ne valgono la pena."""
# Il testo deve essere abbastanza lungo
if len(original_text) < 200:
return False
# L'istruzione deve essere una modifica mirata
edit_words = ["modify", "change", "replace", "add", "fix"]
is_edit = any(word in instruction.lower() for word in edit_words)
return is_edit
Lo stesso ragionamento si applica ai dati strutturati, dove il rendimento è ancora migliore: un JSON di configurazione mantiene le sue chiavi, l’indentazione e l’ordine, e si muovono solo i valori.
import json
original_data = {
"company": "Corsen AI",
"employees": 42,
"departments": ["Engineering", "Sales", "Marketing"],
"address": {
"street": "123 Avenue de la République",
"city": "Paris",
"zip_code": "75011",
},
}
json_original = json.dumps(original_data, indent=2, ensure_ascii=False)
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": (
"Aggiorna il seguente JSON: cambia il numero di dipendenti "
"a 58 e aggiungi il dipartimento Data Science. Rispondi solo con JSON."
)},
{"role": "user", "content": json_original},
],
prediction={
"type": "content",
"content": json_original,
},
)
Tre avvertenze prima del deploy. Lo streaming è compatibile, ed è proprio lì che il guadagno di latenza è più evidente. Diversi parametri, tuttavia, non lo sono: n maggiore di 1, logprobs, presence_penalty o frequency_penalty positivi, audio, modalità diverse dal testo, max_completion_tokens e strumenti (function calling). Infine, la funzionalità è legata a modelli in fine vita: GPT-4o, GPT-4o mini, GPT-4.1 e GPT-4.1 mini si fermano il 14 gennaio 2027 e nessun modello più recente è annunciato come compatibile. Per modifiche veloci sui modelli attuali, la strada sostenibile è chiedere al modello un diff o una patch piuttosto che l’intero file.
Punti chiave
- Gli Output previsti accelerano le risposte quando conosci la struttura attesa — solo nelle Chat Completions
- Ideali per la modifica del codice, aggiornamenti JSON, riscrittura parziale
- Controlla
accepted_prediction_tokensper misurare il guadagno reale - I token di previsione rifiutati vengono fatturati: non prevedere a caso
- Non usarli per generazioni interamente nuove
- Modelli compatibili (GPT-4o, GPT-4.1 e le loro versioni mini) ritirati il 14 gennaio 2027: pianifica un’alternativa, come la generazione di diff