Ennustetut tulosteet: nopeampia vastauksia
Tällä sivulla
Oppitunti päivitetty 3. marraskuuta 2026 Predicted Outputs -oppaan ja OpenAI:n vanhentamissivun perusteella: tämä ominaisuus on käytössä vain Chat Completions -rajapinnassa (
prediction-parametria ei hyväksytä Responses API:ssa, joten tämän oppitunnin edellinen versio olisi epäonnistunut) ja vain malleilla GPT-4o, GPT-4o mini, GPT-4.1 ja GPT-4.1 mini, jotka OpenAI poistaa käytöstä 14. tammikuuta 2027 (GPT-4.1 nano poistettiin käytöstä 23. lokakuuta). Oppaassa ei luetella uusia yhteensopivia malleja: älä rakenna uusia tuotteita tämän ominaisuuden varaan ilman poistumissuunnitelmaa. Lähteet: Predicted Outputs · Deprecations.
Nopeuta vastauksia, kun rakenne on ennalta tiedossa
Ennustetut tulosteet (Predicted Outputs) ratkaisevat hyvin yleisen tuotantotilanteen: pyydät mallia muokkaamaan olemassa olevaa sisältöä, ja tiedät etukäteen, että suurin osa tuloksesta on identtinen syötteen kanssa. Ilman ennustusta malli luo jokaisen tokenin alusta alkaen, myös rivit, joita kukaan ei pyytänyt koskettamaan. Ennustuksen avulla tarjoat odotetun tekstin; malli vahvistaa täsmäävät osiot ja tuottaa aidosti vain ne kohdat, jotka eroavat. Viive lyhenee vastaavasti.
Tämä muutos vaikuttaa erityisesti muokkaustehtävien profiiliin. Avustaja, joka kirjoittaa uudelleen kaksisataarivisen tiedoston muuttaakseen funktion allekirjoitusta, ei enää maksa koko tiedoston generoinnista, vaan ainoastaan muutetuista riveistä: suurin osa työstä pelkistyy vertailuksi. Relevantit tapaukset näyttävät kaikki samanlaisilta: koodin muokkaus, jossa lähetät koko tiedoston kohdennettua muutosta varten; osittainen uudelleenkirjoitus, jossa vain yksi kappale pitkästä dokumentista tarvitsee uudelleenmuotoilua; mallin täydennys, jossa vain muuttujakentät vaihtuvat; ja jäsennellyn datan päivitys, jossa JSONissa kaksi tai kolme arvoa muuttuvat, kun taas loput rakenteesta säilyvät. Jokaisessa näistä tapauksista odotettu vastaus on jo olemassa vain pienin eroin.
Esimerkki koodin muokkauksesta
Pyyntö rakennetaan kuten tavallinen Chat Completions -pyyntö, jota on täydennetty prediction-parametrilla, joka sisältää ennakoimasi sisällön.
import openai
client = openai.OpenAI()
code_original = """
def calculate_price(quantity, unit_price, vat=0.20):
subtotal = quantity * unit_price
total = subtotal * (1 + vat)
return total
def format_invoice(client, items):
lines = []
for item in items:
price = calculate_price(item["qty"], item["price"])
lines.append(f"{item['name']}: {price:.2f}€")
return "\n".join(lines)
"""
# Ennustamme, että suurin osa koodista pysyy samana
instruction = (
"Modify the calculate_price function to add a discount parameter "
"with a default value of 0. Apply the discount before VAT. "
"Respond with code only."
)
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": instruction},
{"role": "user", "content": code_original},
],
prediction={
"type": "content",
"content": code_original, # Ennuste
},
)
print(completion.choices[0].message.content)
# Malli luo uudelleen vain muokatut rivit — viive pienenee
format_invoice-funktioon ei vaikuta pyyntö: se vahvistetaan sellaisenaan ilman generointikustannuksia. Vain calculate_price-funktion rivit, jotka mukauttavat uuden parametrin, tuotetaan aidosti.
Vahvistusmekanismi
Konepellin alla tapahtuvan ymmärtäminen välttää kaksi yleistä väärinkäsitystä. Malli vertaa omaa generointiaan token kerrallaan tarjoamaasi ennusteeseen; niin kauan kuin nämä täsmäävät, tokenit vahvistetaan välittömästi ohittaen täyden generointilaskennan. Heti kun ne eroavat toisistaan, normaali generointi ottaa vallan. Lopputulos pysyy siis oikeana: ennuste nopeuttaa asioita, se ei pakota mitään. Jos ennusteesi on väärä, saat silti oikean vastauksen, yksinkertaisesti ilman hyötyä.
Toinen väärinkäsitys koskee hintaa. Hylätyistä ennustetokeneista veloitetaan, mikä tekee operaatiosta vastatuottavan, kun odotettu vastaus ei liity mitenkään ennusteeseen. Mittaa siksi hyväksymisaste ennen kuvion yleistämistä.
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": "Add a discount parameter to the calculate_price function."},
{"role": "user", "content": code_original},
],
prediction={
"type": "content",
"content": code_original,
},
)
usage = completion.usage
print(f"Output tokens: {usage.completion_tokens}")
print(f"Accepted tokens (prediction): "
f"{usage.completion_tokens_details.accepted_prediction_tokens}")
print(f"Rejected tokens (prediction): "
f"{usage.completion_tokens_details.rejected_prediction_tokens}")
# Mitä suurempi hyväksyttyjen/tokenien suhde, sitä suurempi hyöty
Päätöksenteon automatisointi
Koska hyöty riippuu täysin pyynnön tyypistä, päätös ottaa ennustus käyttöön tai jättää se pois tulee koodata eikä jättää kunkin kehittäjän harkintaan. Alla oleva heuristiikka kieltäytyy ennustuksesta liian lyhyissä teksteissä, joissa lähetyksen yleiskustannus kumoaa hyödyn, ja varaa sen ohjeistuksille, jotka ilmaisevat muokkausta.
def should_use_prediction(original_text: str, instruction: str) -> bool:
"""Heuristiikka päättääkseen, kannattaako Predicted Outputsia käyttää."""
# Tekstin on oltava tarpeeksi pitkä
if len(original_text) < 200:
return False
# Ohjeistuksen on oltava kohdennettu muokkaus
edit_words = ["modify", "change", "replace", "add", "fix"]
is_edit = any(word in instruction.lower() for word in edit_words)
return is_edit
Sama päättely pätee jäsenneltyyn dataan, jossa tuotto on jopa parempi: konfiguraatio-JSON säilyttää avaimensa, sisennyksensä ja järjestyksensä, ja vain arvot muuttuvat.
import json
original_data = {
"company": "Corsen AI",
"employees": 42,
"departments": ["Engineering", "Sales", "Marketing"],
"address": {
"street": "123 Avenue de la République",
"city": "Paris",
"zip_code": "75011",
},
}
json_original = json.dumps(original_data, indent=2, ensure_ascii=False)
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": (
"Update the following JSON: change the number of employees "
"to 58 and add the Data Science department. Respond with JSON only."
)},
{"role": "user", "content": json_original},
],
prediction={
"type": "content",
"content": json_original,
},
)
Kolme varoitusta ennen käyttöönottoa. Striimaus on yhteensopiva, ja juuri siinä viiveen hyöty on kaikkein huomattavin. Useat parametrit eivät kuitenkaan ole: n suurempi kuin 1, logprobs, positiivinen presence_penalty tai frequency_penalty, ääni, muut modaliteetit kuin teksti, max_completion_tokens ja työkalut (funktiokutsut). Lopuksi, ominaisuus on sidottu elinkaarensa päässä oleviin malleihin: GPT-4o, GPT-4o mini, GPT-4.1 ja GPT-4.1 mini lakkaavat toimimasta 14. tammikuuta 2027, eikä uusia yhteensopivia malleja ole ilmoitettu. Nopeaa muokkausta varten nykyisillä malleilla kestävä polku on pyytää mallilta diff tai patch koko tiedoston sijaan.
Keskeiset asiat
- Ennustetut tulosteet nopeuttavat vastauksia, kun odotettu rakenne on tiedossa – vain Chat Completionsissa
- Ihanteellinen koodin muokkaukseen, JSON-päivityksiin ja osittaiseen uudelleenkirjoitukseen
- Tarkista
accepted_prediction_tokensmitataksesi todellisen hyödyn - Hylätyistä ennustetokeneista veloitetaan: älä ennusta satunnaisesti
- Älä käytä niitä täysin uusiin generointeihin
- Yhteensopivat mallit (GPT-4o, GPT-4.1 ja niiden mini-versiot) poistetaan käytöstä 14. tammikuuta 2027: suunnittele vaihtoehto, kuten diff-generointi