Предварително генерирани изходи: По-бързи отговори
На тази страница
Урокът е актуализиран на 3 ноември 2026 г. въз основа на ръководството за Predicted Outputs и страницата за оттегляне на OpenAI: тази функция съществува само в Chat Completions (параметърът
predictionне се приема от Responses API, така че предишната версия на този урок би се провалила) и само с моделите GPT-4o, GPT-4o mini, GPT-4.1 и GPT-4.1 mini, които OpenAI ще оттегли на 14 януари 2027 г. (GPT-4.1 nano беше оттеглен на 23 октомври). Ръководството не изброява по-нови съвместими модели: не изграждайте нови продукти върху тази функция без план за изход. Източници: Predicted Outputs · Deprecations.
Ускоряване на отговорите, когато структурата е известна
Предварително генерираните изходи (Predicted Outputs) решават много често срещан производствен сценарий: искате от модела да модифицира съществуващо съдържание и предварително знаете, че по-голямата част от резултата ще бъде идентична с входните данни. Без прогнозиране моделът регенерира всеки токен от нулата, включително редове, които никой не го е карал да пипа. С прогнозирането Вие предоставяте очаквания текст; моделът валидира съвпаденията и генерира реално само частите, които се различават. Латентността съответно намалява.
Тази промяна особено силно влияе върху профила на задачите за редактиране. Асистент, който пренаписва файл от двеста реда, за да промени подписа на функция, вече не плаща за генерирането на целия файл, а само за засегнатите редове: по-голямата част от работата се свежда до сравнение. Подходящите случаи си приличат: редактиране на код, където изпращате целия файл за целева промяна; частично пренаписване, където само един абзац от дълъг документ нуждае от преформулиране; попълване на шаблони, където се променят само променливите полета; и актуализации на структурирани данни, където две или три стойности в JSON се променят, докато останалата част от структурата остава същата. Във всеки от тези случаи очакваният отговор вече съществува с само леки разлики.
Пример за редактиране на код
Заявката се изгражда като стандартно обаждане към Chat Completions, допълнено с параметъра prediction, носещ съдържанието, което очаквате.
import openai
client = openai.OpenAI()
code_original = """
def calculate_price(quantity, unit_price, vat=0.20):
subtotal = quantity * unit_price
total = subtotal * (1 + vat)
return total
def format_invoice(client, items):
lines = []
for item in items:
price = calculate_price(item["qty"], item["price"])
lines.append(f"{item['name']}: {price:.2f}€")
return "\n".join(lines)
"""
# Прогнозираме, че по-голямата част от кода остава идентична
instruction = (
"Modify the calculate_price function to add a discount parameter "
"with a default value of 0. Apply the discount before VAT. "
"Respond with code only."
)
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": instruction},
{"role": "user", "content": code_original},
],
prediction={
"type": "content",
"content": code_original, # Прогнозата
},
)
print(completion.choices[0].message.content)
# Моделът регенерира само модифицираните редове — намалена латентност
Функцията format_invoice не е засегната от заявката: тя ще бъде валидирана такава, каквато е, без разходи за генериране. Само редовете на calculate_price, които поемат новия параметър, ще бъдат реално произведени.
Механизмът за валидиране
Разбирането на процесите „под капака“ избягва две често срещани недоразумения. Моделът сравнява собственото си генериране, токен по токен, с предоставената от Вас прогноза; докато двете съвпадат, токените се валидират мигновено, заобикаляйки пълното изчисление за генериране. Щом се разминават, нормалното генериране поема контрола. Крайният резултат следователно остава верен: прогнозирането ускорява нещата, то не ги налага. Ако прогнозата Ви е грешна, Вие все пак получавате правилния отговор, просто без печалбата в скоростта.
Второто недоразумение касае цената. Отхвърлените прогнозни токени се таксуват, което прави операцията контрапродуктивна, когато очакваният отговор няма нищо общо с прогнозата. Затова измервайте процента на приемане, преди да обобщите този шаблон.
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": "Add a discount parameter to the calculate_price function."},
{"role": "user", "content": code_original},
],
prediction={
"type": "content",
"content": code_original,
},
)
usage = completion.usage
print(f"Output tokens: {usage.completion_tokens}")
print(f"Accepted tokens (prediction): "
f"{usage.completion_tokens_details.accepted_prediction_tokens}")
print(f"Rejected tokens (prediction): "
f"{usage.completion_tokens_details.rejected_prediction_tokens}")
# Колкото по-високо е съотношението приети/общо, толкова по-голяма е печалбата
Автоматично вземане на решение
Тъй като печалбата зависи изцяло от вида на заявката, решението дали да се активира прогнозиране или не, трябва да бъде кодирано, а не оставено на всеки разработчик поотделно. Долната евристика отказва прогнозиране за текстове, които са твърде кратки, където натоварването от изпращането им анулира ползата, и я запазва за инструкции, които изразяват модификация.
def should_use_prediction(original_text: str, instruction: str) -> bool:
"""Евристика за решаване дали Predicted Outputs си струват."""
# Текстът трябва да е достатъчно дълъг
if len(original_text) < 200:
return False
# Инструкциите трябва да са целева модификация
edit_words = ["modify", "change", "replace", "add", "fix"]
is_edit = any(word in instruction.lower() for word in edit_words)
return is_edit
Същото разсъждение важи и за структурираните данни, където възвращаемостта е дори по-добра: един конфигурационен JSON запазва своите ключове, отстъпи и ред, и само стойностите се местят.
import json
original_data = {
"company": "Corsen AI",
"employees": 42,
"departments": ["Engineering", "Sales", "Marketing"],
"address": {
"street": "123 Avenue de la République",
"city": "Paris",
"zip_code": "75011",
},
}
json_original = json.dumps(original_data, indent=2, ensure_ascii=False)
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": (
"Update the following JSON: change the number of employees "
"to 58 and add the Data Science department. Respond with JSON only."
)},
{"role": "user", "content": json_original},
],
prediction={
"type": "content",
"content": json_original,
},
)
Три предупреждения преди внедряване. Стриймингът е съвместим и точно там печалбата в латентността е най-забележима. Няколко параметъра обаче не са: n по-голямо от 1, logprobs, положителен presence_penalty или frequency_penalty, аудио, модальности, различни от текст, max_completion_tokens и инструменти (извикване на функции). Накрая, функцията е вързана за модели с изтекъл жизнен цикъл: GPT-4o, GPT-4o mini, GPT-4.1 и GPT-4.1 mini спират на 14 януари 2027 г. и няма обявен по-нов модел като съвместим. За бързо редактиране на текущите модели устойчивият път е да поискате от модела diff или patch, а не целия файл.
Ключови изводи
- Предварително генерираните изходи ускоряват отговорите, когато знаете очакваната структура — само в Chat Completions
- Идеални за редактиране на код, актуализации на JSON, частично пренаписване
- Проверете
accepted_prediction_tokens, за да измерите реалната печалба - Отхвърлените прогнозни токени се таксуват: не прогнозирайте наслуки
- Не ги използвайте за изцяло нови генерации
- Съвместимите модели (GPT-4o, GPT-4.1 и техните mini версии) са оттеглени на 14 януари 2027 г.: планирайте алтернатива, като генериране на diff