Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Väljundite ennustamine: kiiremad vastused

Õppetund 4 / 20 Värskendatud 3. november 2026 Edasijõudnutele
Sellel lehel
  1. Kiirenda vastuseid, kui struktuur on juba teada
  2. Valideerimismehhanism
  3. Automaatne otsustamine
  4. Peamised punktid

Tund uuendatud 3. novembril 2026 põhinedes Predicted Outputs juhendil ja OpenAI aegumislehel: see funktsioon eksisteerib ainult Chat Completions liideses (parameetrit prediction ei aktsepteeri Responses API, seega eelmise versiooni tund oleks nurjunud) ja ainult mudelitega GPT-4o, GPT-4o mini, GPT-4.1 ja GPT-4.1 mini, mille OpenAI lõpetab 14. jaanuaril 2027 (GPT-4.1 nano lõpetati 23. oktoobril). Juhend ei loetle uusi ühilduvaid mudeleid: ära ehita uusi tooteid sellele funktsioonile ilma väljumisplaanita. Allikad: Predicted Outputs · Deprecations.

Kiirenda vastuseid, kui struktuur on juba teada

Väljundite ennustamine lahendab väga levinud tootmisstsenaariumi: palud mudelil muuta olemasolevat sisu ja tead ette, et suurem osa tulemusest on sisendiga identne. Ilma ennustamiseta genereerib mudel iga tokeni nullist, kaasa arvatud read, mida keegi puutuda ei palunud. Ennustamisega esitad eeldatava teksti; mudel valideerib sobivad osad ja genereerib tõeliselt ainult need kohad, mis erinevad. Latentsus väheneb vastavalt.

See nihe muudab eriti redigeerimisülesannete profiili. Assistent, mis kirjutab ümber kahesajarealise faili, et muuta funktsiooni signatuuri, ei pea enam maksma kogu faili genereerimise eest, vaid ainult muudetud ridade eest: suurem osa tööst taandub võrdlusele. Asjakohased juhtumid näevad kõik sarnased välja: koodi redigeerimine, kus saadad täieliku faili sihipäraseks muudatuseks; osaline ümberkirjutamine, kus vaja on ümber sõnastada vaid üks lõik pikast dokumendist; malli täitmine, kus muutuvad ainult muutuja väljad; ja struktureeritud andmete uuendamine, kus JSON-is muutuvad kaks või kolm väärtust, samal ajal kui ülejäänud struktuur püsib. Kõigil neil juhtudel on eeldatav vastus juba olemas vaid väikeste erinevustega.

Koodi redigeerimise näide

Päring on üles ehitatud nagu tavaline Chat Completions päring, mida on täiendatud parameetriga prediction, mis sisaldab sinu eeldatavat sisu.

import openai

client = openai.OpenAI()

code_original = """
def calculate_price(quantity, unit_price, vat=0.20):
    subtotal = quantity * unit_price
    total = subtotal * (1 + vat)
    return total

def format_invoice(client, items):
    lines = []
    for item in items:
        price = calculate_price(item["qty"], item["price"])
        lines.append(f"{item['name']}: {price:.2f}€")
    return "\n".join(lines)
"""

# Ennustame, et suurem osa koodist jääb identseks
instruction = (
    "Muuda funktsiooni calculate_price, lisades parameetri discount "
    "vaikimisi väärtusega 0. Rakenda allahindlust enne käibemaksu. "
    "Vasta ainult koodiga."
)

completion = client.chat.completions.create(
    model="gpt-4.1",
    messages=[
        {"role": "user", "content": instruction},
        {"role": "user", "content": code_original},
    ],
    prediction={
        "type": "content",
        "content": code_original,  # Ennustus
    },
)

print(completion.choices[0].message.content)
# Mudel genereerib ümber ainult muudetud read — vähenenud latentsus

Funktsiooni format_invoice see päring ei mõjuta: see valideeritakse sellisena, nagu ta on, ilma genereerimiskuluta. Ainult calculate_price read, mis kohanduvad uue parameetriga, genereeritakse tõeliselt.

Valideerimismehhanism

Arusaamine sellest, mis toimib kapoti all, hoiab ära kaks levinud arusaamatust. Mudel võrdleb oma genereeringut token haaval sinu esitatud ennustusega; seni kuni need klapivad, valideeritakse tokenid koheselt, möödudes täielikust genereerimisarvutusest. Niipea kui need lahknema hakkavad, võtab ohjad üle tavaline genereerimine. Lõpptulemus jääb seetõttu korrektseks: ennustamine kiirendab asju, see ei sunni midagi peale. Kui sinu ennustus on vale, saad ikka õige vastuse, lihtsalt ilma kasuta.

Teine arusaamatus puudutab hinda. Tagasilükatud ennustuse tokeneid arvestatakse, mis muudab toimingu vastupidavaks, kui eeldatav vastus ei ole ennustusega sugugi seotud. Seetõttu mõõda aktsepteerimismäära enne mustri üldistamist.

completion = client.chat.completions.create(
    model="gpt-4.1",
    messages=[
        {"role": "user", "content": "Lisa funktsioonile calculate_price parameeter discount."},
        {"role": "user", "content": code_original},
    ],
    prediction={
        "type": "content",
        "content": code_original,
    },
)

usage = completion.usage
print(f"Väljundtokenid: {usage.completion_tokens}")
print(f"Aktsepteeritud tokenid (ennustus): "
      f"{usage.completion_tokens_details.accepted_prediction_tokens}")
print(f"Tagasilükatud tokenid (ennustus): "
      f"{usage.completion_tokens_details.rejected_prediction_tokens}")

# Mida suurem on aktsepteeritud/kogu suhe, seda suurem on kasu

Automaatne otsustamine

Kuna kasu sõltub täielikult päringu tüübist, tuleks otsus ennustamise lubamiseks või keelamiseks kodeerida, mitte jätta iga arendaja hooleks. Allpool olev heuristika keeldub ennustamisest liiga lühikeste tekstide puhul, kus selle saatmise kulud tühistavad kasu, ja reserveerib selle juhistele, mis väljendavad muudatust.

def should_use_prediction(original_text: str, instruction: str) -> bool:
    """Heuristika otsustamiseks, kas Predicted Outputs on seda väärt."""
    # Tekst peab olema piisavalt pikk
    if len(original_text) < 200:
        return False

    # Juhis peab olema sihipärane muudatus
    edit_words = ["modify", "change", "replace", "add", "fix"]
    is_edit = any(word in instruction.lower() for word in edit_words)

    return is_edit

Sama arutluskäik kehtib struktureeritud andmete kohta, kus tootlus on veelgi parem: konfiguratsiooni JSON säilitab oma võtmed, taande ja järjekorra ning muutuvad ainult väärtused.

import json

original_data = {
    "company": "Corsen AI",
    "employees": 42,
    "departments": ["Engineering", "Sales", "Marketing"],
    "address": {
        "street": "123 Avenue de la République",
        "city": "Paris",
        "zip_code": "75011",
    },
}

json_original = json.dumps(original_data, indent=2, ensure_ascii=False)

completion = client.chat.completions.create(
    model="gpt-4.1",
    messages=[
        {"role": "user", "content": (
            "Uuenda järgmist JSON-i: muuda töötajate arv "
            "58-ks ja lisa andmeteaduse osakond. Vasta ainult JSON-iga."
        )},
        {"role": "user", "content": json_original},
    ],
    prediction={
        "type": "content",
        "content": json_original,
    },
)

Enne kasutuselevõttu kolm hoiatust. Voogedastus (streaming) on ühilduv ja just seal on latentsuse vähenemine kõige märgatavam. Mitmed parameetrid aga ei ole: n suurem kui 1, logprobs, positiivne presence_penalty või frequency_penalty, heli, muud moodused peale teksti, max_completion_tokens ja tööriistad (funktsioonide kutsumine). Lõpuks on funktsioon seotud elutsükli lõppu jõudvate mudelitega: GPT-4o, GPT-4o mini, GPT-4.1 ja GPT-4.1 mini lõpetavad tegevuse 14. jaanuaril 2027 ning ühtegi uuemat ühilduvat mudelit pole teatatud. Kiireks redigeerimiseks praeguste mudelitega on jätkusuutlik tee paluda mudelil väljastada diff või patch, mitte kogu fail.

Peamised punktid

  • Väljundite ennustamine kiirendab vastuseid, kui tead eeldatavat struktuuri – ainult Chat Completionsis
  • Ideaalne koodi redigeerimiseks, JSON-i uuendamiseks, osaliseks ümberkirjutamiseks
  • Kontrolli accepted_prediction_tokens, et mõõta tegelikku kasu
  • Tagasilükatud ennustuse tokeneid arvestatakse: ära ennusta juhuslikult
  • Ära kasuta neid täiesti uute genereeringute jaoks
  • Ühilduvad mudelid (GPT-4o, GPT-4.1 ja nende mini-versioonid) lõpetati 14. jaanuaril 2027: planeeri alternatiiv, näiteks diff-i genereerimine