Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Išvesties prognozavimas: greitesni atsakymai

Paskaita 4 iš 20 Atnaujinta 2026 m. lapkričio 3 d. Pažengusiems
Šiame puslapyje
  1. Paspartink atsakymus, kai struktūra jau žinoma
  2. Patvirtinimo mechanizmas
  3. Automatinis sprendimų priėmimas
  4. Svarbiausi punktai

Pamoka atnaujinta 2026 m. lapkričio 3 d. remiantis Predicted Outputs gairėmis ir „OpenAI“ pasenusių funkcijų puslapiu: ši funkcija veikia tik Chat Completions sąsajoje (parametras prediction nepriimamas Responses API, todėl ankstesnė šios pamokos versija būtų nepavykusi) ir tik su modeliais GPT-4o, GPT-4o mini, GPT-4.1 bei GPT-4.1 mini, kuriuos „OpenAI“ nustos palaikyti 2027 m. sausio 14 d. (GPT-4.1 nano buvo pašalintas spalio 23 d.). Gairėse nenurodyta jokių naujesnių suderinamų modelių: nekurdami naujų produktų naudodami šią funkciją, neturėdami atsarginio plano. Šaltiniai: Predicted Outputs · Deprecations.

Paspartink atsakymus, kai struktūra jau žinoma

Išvesties prognozavimas (Predicted Outputs) sprendžia labai dažną gamybinį scenarijų: prašai modelio modifikuoti esamą turinį ir iš anksto žinai, kad didžioji rezultato dalis bus identiška įvestiai. Nenaudojant prognozavimo, modelis iš naujo sugeneruoja kiekvieną tokeną nuo nulio, įskaitant eilutes, kurių niekas neprašė keisti. Naudojant prognozavimą, pateiki numatomą tekstą; modelis patikrina, kas sutampa, ir tikrai sugeneruoja tik tas dalis, kurios skiriasi. Dėl to sumažėja delsos laikas.

Šis pokytis ypač keičia redagavimo užduočių profilį. Asistentas, perrašantis dviejų šimtų eilučių failą norint pakeisti funkcijos parašą, moka ne už viso failo generavimą, o tik už pakeistas eilutes: didžioji darbo dalis virsta palyginimu. Atitinkami atvejai yra panašūs: kodo redagavimas, kai siunčiamas visas failas tiksliniam pakeitimui; dalinis perrašymas, kai reikia performuluoti tik vieną ilgą dokumento pastraipą; šablono užpildymas, kai keičiasi tik kintamieji laukai; ir struktūrizuotų duomenų atnaujinimas, kai JSON faile keičiasi dvi ar trys reikšmės, o likusi struktūra lieka nepakitusi. Kiekvienu iš šių atvejų numatomas atsakymas jau egzistuoja su tik nedideliais skirtumais.

Kodo redagavimo pavyzdys

Užklausa sudaroma kaip standartinis „Chat Completions“ kvietimas, papildytas parametru prediction, kuriame pateikiamas numatomas turinys.

import openai

client = openai.OpenAI()

code_original = """
def calculate_price(quantity, unit_price, vat=0.20):
    subtotal = quantity * unit_price
    total = subtotal * (1 + vat)
    return total

def format_invoice(client, items):
    lines = []
    for item in items:
        price = calculate_price(item["qty"], item["price"])
        lines.append(f"{item['name']}: {price:.2f}€")
    return "\n".join(lines)
"""

# Prognozuojame, kad didžioji kodo dalis liks identiška
instruction = (
    "Modify the calculate_price function to add a discount parameter "
    "with a default value of 0. Apply the discount before VAT. "
    "Respond with code only."
)

completion = client.chat.completions.create(
    model="gpt-4.1",
    messages=[
        {"role": "user", "content": instruction},
        {"role": "user", "content": code_original},
    ],
    prediction={
        "type": "content",
        "content": code_original,  # Prognozė
    },
)

print(completion.choices[0].message.content)
# Modelis sugeneruoja tik pakeistas eilutes — mažesnė delsa

Funkcija format_invoice nėra paveikta užklausos: ji bus patikrinta tokia, kokia yra, be jokių generavimo kaštų. Tikros bus sugeneruotos tik tos calculate_price eilutės, kurios pritaikomos naujam parametrui.

Patvirtinimo mechanizmas

Supratimas, kas vyksta „po kapotu“, padeda išvengti dviejų dažnų klaidingų nuomonių. Modelis tokenas po tokeno palygina savo generuojamą išvestį su tavo pateikta prognoze; kol abi sutampa, tokenai akimirksniu patvirtinami, apeinant pilno generavimo skaičiavimą. Kai tik jos išsiskiria, perimamas įprastas generavimas. Todėl galutinis rezultatas lieka teisingas: prognozavimas pagreitina procesą, bet nieko neprimeta. Jei tavo prognozė neteisinga, vis tiek gausi teisingą atsakymą, tiesiog be našumo prieaugio.

Antroji klaidinga nuomonė susijusi su kaina. Atmesti prognozuoti tokenai yra apmokestinami, todėl operacija tampa nenaudinga, kai numatomas atsakymas neturi nieko bendro su prognoze. Todėl prieš diegiant šį modelį plačiai, būtina išmatuoti priėmimo rodiklį.

completion = client.chat.completions.create(
    model="gpt-4.1",
    messages=[
        {"role": "user", "content": "Add a discount parameter to the calculate_price function."},
        {"role": "user", "content": code_original},
    ],
    prediction={
        "type": "content",
        "content": code_original,
    },
)

usage = completion.usage
print(f"Output tokens: {usage.completion_tokens}")
print(f"Accepted tokens (prediction): "
      f"{usage.completion_tokens_details.accepted_prediction_tokens}")
print(f"Rejected tokens (prediction): "
      f"{usage.completion_tokens_details.rejected_prediction_tokens}")

# Kuo didesnis priimtų/bendrų santykis, tuo didesnė nauda

Automatinis sprendimų priėmimas

Kadangi nauda visiškai priklauso nuo užklausos tipo, sprendimas įjungti prognozavimą ar ne turėtų būti įkodintas, o ne paliktas kiekvieno kūrėjo nuožiūrai. Toliau pateikta heuristika atmeta prognozavimą per trumpiems tekstams, kai siuntimo pridėtinė vertė panaikina naudą, ir rezervuoja jį instrukcijoms, išreiškiančioms modifikavimą.

def should_use_prediction(original_text: str, instruction: str) -> bool:
    """Heuristika, leidžianti nuspręsti, ar verta naudoti išvesties prognozavimą."""
    # Tekstas turi būti pakankamai ilgas
    if len(original_text) < 200:
        return False

    # Instrukcija turi būti tikslinė modifikacija
    edit_words = ["modify", "change", "replace", "add", "fix"]
    is_edit = any(word in instruction.lower() for word in edit_words)

    return is_edit

Tas pats samprotavimas taikomas ir struktūrizuotiems duomenims, kur nauda dar didesnė: konfigūracijos JSON išlaiko savo raktus, įtraukas ir tvarką, keičiasi tik reikšmės.

import json

original_data = {
    "company": "Corsen AI",
    "employees": 42,
    "departments": ["Engineering", "Sales", "Marketing"],
    "address": {
        "street": "123 Avenue de la République",
        "city": "Paris",
        "zip_code": "75011",
    },
}

json_original = json.dumps(original_data, indent=2, ensure_ascii=False)

completion = client.chat.completions.create(
    model="gpt-4.1",
    messages=[
        {"role": "user", "content": (
            "Update the following JSON: change the number of employees "
            "to 58 and add the Data Science department. Respond with JSON only."
        )},
        {"role": "user", "content": json_original},
    ],
    prediction={
        "type": "content",
        "content": json_original,
    },
)

Prieš diegiant, verta paminėti tris svarbius dalykus. Srautinis perdavimas (streaming) yra suderinamas, ir būtent ten delsos sumažėjimas labiausiai pastebimas. Tačiau keli parametrai nėra suderinami: n didesnis nei 1, logprobs, teigiamas presence_penalty arba frequency_penalty, garso įvestis, kitos nei teksto modalybės, max_completion_tokens ir įrankiai (funkcijų kvietimas). Galiausiai, ši funkcija susieta su gyvavimo ciklą baigiančiais modeliais: GPT-4o, GPT-4o mini, GPT-4.1 ir GPT-4.1 mini nustojami palaikyti 2027 m. sausio 14 d., ir joks naujesnis modelis nėra paskelbtas kaip suderinamas. Norint greitai redaguoti naudojant dabartinius modelius, tvarus kelias yra prašyti modelio sugeneruoti diff arba patch, o ne visą failą.

Svarbiausi punktai

  • Išvesties prognozavimas pagreitina atsakymus, kai žinai numatomą struktūrą – veikia tik „Chat Completions“ sąsajoje
  • Idealu kodo redagavimui, JSON atnaujinimams, daliniam perrašymui
  • Tikrink accepted_prediction_tokens, kad išmatuotum realią naudą
  • Atmesti prognozuoti tokenai apmokestinami: nenaudok prognozavimo atsitiktinai
  • Nenaudok jų visiškai naujam turiniui generuoti
  • Suderinami modeliai (GPT-4o, GPT-4.1 ir jų mini versijos) bus pašalinti 2027 m. sausio 14 d.: numatyk alternatyvą, pavyzdžiui, diff generavimą