Wyjścia przewidywane: szybsze odpowiedzi
Na tej stronie
Lekcja zaktualizowana 3 listopada 2026 r. na podstawie przewodnika Predicted Outputs oraz strony dotyczącej wycofania funkcji przez OpenAI: funkcja ta działa wyłącznie w ramach Chat Completions (parametr
predictionnie jest akceptowany przez API Responses, więc poprzednia wersja tej lekcji zakończyłaby się błędem) i tylko z modelami GPT-4o, GPT-4o mini, GPT-4.1 oraz GPT-4.1 mini, które OpenAI wycofa 14 stycznia 2027 r. (model GPT-4.1 nano został wycofany 23 października). Przewodnik nie wymienia żadnych nowszych kompatybilnych modeli: nie buduj nowych produktów w oparciu o tę funkcję bez planu awaryjnego. Źródła: Predicted Outputs · Deprecations.
Przyspiesz odpowiedzi, gdy znasz już strukturę
Wyjścia przewidywane (Predicted Outputs) rozwiązują bardzo częsty scenariusz produkcyjny: prosisz model o modyfikację istniejącej treści, a z góry wiesz, że większość wyniku będzie identyczna z danymi wejściowymi. Bez przewidywania model generuje każdy token od zera, w tym linie, których nikt nie kazał mu dotykać. Dzięki przewidywaniu dostarczasz oczekiwany tekst; model weryfikuje to, co się zgadza, i generuje wyłącznie te części, które uległy zmianie. Opóźnienie odpowiednio maleje.
Zmiana ta szczególnie wpływa na profil zadań edycyjnych. Asystent przepisujący dwustuwierszowy plik w celu zmiany sygnatury funkcji nie płaci już za generowanie całego pliku, lecz tylko za zmienione linie: większość pracy sprowadza się do porównania. Odpowiednie przypadki wyglądają podobnie: edycja kodu, gdzie wysyłasz cały plik w celu wprowadzenia punktowej zmiany; częściowe przepisywanie, gdzie należy przeformułować tylko jeden akapit długiego dokumentu; uzupełnianie szablonów, gdzie zmieniają się tylko pola zmiennych; oraz aktualizacje danych strukturalnych, gdzie w JSON ewoluują dwie lub trzy wartości, podczas gdy reszta struktury pozostaje bez zmian. W każdym z tych przypadków oczekiwana odpowiedź już istnieje, różniąc się jedynie nieznacznie.
Przykład edycji kodu
Wywołanie buduje się jak standardowe wywołanie Chat Completions, uzupełnione o parametr prediction zawierający treść, której się spodziewasz.
import openai
client = openai.OpenAI()
code_original = """
def calculate_price(quantity, unit_price, vat=0.20):
subtotal = quantity * unit_price
total = subtotal * (1 + vat)
return total
def format_invoice(client, items):
lines = []
for item in items:
price = calculate_price(item["qty"], item["price"])
lines.append(f"{item['name']}: {price:.2f}€")
return "\n".join(lines)
"""
# Przewidujemy, że większość kodu pozostanie identyczna
instruction = (
"Zmodyfikuj funkcję calculate_price, dodając parametr discount "
"o wartości domyślnej 0. Zastosuj rabat przed VAT. "
"Odpowiedz samym kodem."
)
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": instruction},
{"role": "user", "content": code_original},
],
prediction={
"type": "content",
"content": code_original, # Przewidywanie
},
)
print(completion.choices[0].message.content)
# Model generuje ponownie tylko zmodyfikowane linie — mniejsze opóźnienie
Funkcja format_invoice nie jest objęta żądaniem: zostanie zweryfikowana w obecnej formie, bez kosztów generowania. Tylko linie funkcji calculate_price uwzględniające nowy parametr zostaną faktycznie wygenerowane.
Mechanizm walidacji
Zrozumienie tego, co dzieje się „pod maską“, pozwala uniknąć dwóch częstych nieporozumień. Model porównuje swoje własne generowanie, token po tokenie, z dostarczonym przez Ciebie przewidywaniem; dopóki oba elementy są zgodne, tokeny są walidowane natychmiastowo, z pominięciem pełnych obliczeń generowania. Gdy tylko nastąpi rozbieżność, przejmują sterowanie standardowe procesy generowania. Końcowy wynik pozostaje zatem poprawny: przewidywanie przyspiesza działanie, ale niczego nie wymusza. Jeśli Twoje przewidywanie jest błędne, nadal otrzymasz prawidłową odpowiedź, po prostu bez korzyści wydajnościowych.
Drugie nieporozumienie dotyczy ceny. Odrzucone tokeny przewidywania są płatne, co sprawia, że operacja staje się nieopłacalna, gdy oczekiwana odpowiedź nie ma nic wspólnego z przewidywaniem. Dlatego przed uogólnieniem tego wzorca zmierz wskaźnik akceptacji.
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": "Dodaj parametr discount do funkcji calculate_price."},
{"role": "user", "content": code_original},
],
prediction={
"type": "content",
"content": code_original,
},
)
usage = completion.usage
print(f"Tokeny wyjściowe: {usage.completion_tokens}")
print(f"Zaakceptowane tokeny (przewidywanie): "
f"{usage.completion_tokens_details.accepted_prediction_tokens}")
print(f"Odrzucone tokeny (przewidywanie): "
f"{usage.completion_tokens_details.rejected_prediction_tokens}")
# Im wyższy stosunek zaakceptowanych do całkowitych, tym większa korzyść
Automatyczne podejmowanie decyzji
Ponieważ korzyść zależy całkowicie od rodzaju żądania, decyzja o włączeniu lub wyłączeniu przewidywania powinna być zakodowana, a nie pozostawiona każdemu programiście z osobna. Poniższa heurystyka odrzuca przewidywanie dla tekstów zbyt krótkich, gdzie narzut związany z ich wysyłaniem niweluje korzyści, i rezerwuje je dla instrukcji wyrażających modyfikację.
def should_use_prediction(original_text: str, instruction: str) -> bool:
"""Heurystyka decydująca, czy Wyjścia Przewidywane są opłacalne."""
# Tekst musi być wystarczająco długi
if len(original_text) < 200:
return False
# Instrukcja musi być punktową modyfikacją
edit_words = ["modify", "change", "replace", "add", "fix"]
is_edit = any(word in instruction.lower() for word in edit_words)
return is_edit
To samo rozumowanie dotyczy danych strukturalnych, gdzie zysk jest jeszcze większy: JSON konfiguracji zachowuje swoje klucze, wcięcia i kolejność, a zmieniają się tylko wartości.
import json
original_data = {
"company": "Corsen AI",
"employees": 42,
"departments": ["Engineering", "Sales", "Marketing"],
"address": {
"street": "123 Avenue de la République",
"city": "Paris",
"zip_code": "75011",
},
}
json_original = json.dumps(original_data, indent=2, ensure_ascii=False)
completion = client.chat.completions.create(
model="gpt-4.1",
messages=[
{"role": "user", "content": (
"Zaktualizuj poniższy JSON: zmień liczbę pracowników "
"na 58 i dodaj dział Data Science. Odpowiedz samym JSON."
)},
{"role": "user", "content": json_original},
],
prediction={
"type": "content",
"content": json_original,
},
)
Trzy zastrzeżenia przed wdrożeniem. Strumieniowanie jest kompatybilne i to właśnie tam zysk na opóźnieniach jest najbardziej zauważalny. Jednak kilka parametrów nie jest obsługiwanych: n większe niż 1, logprobs, dodatnie presence_penalty lub frequency_penalty, audio, modalności inne niż tekst, max_completion_tokens oraz narzędzia (wywoływanie funkcji). Co więcej, funkcja jest powiązana z modelami kończącymi swój cykl życia: GPT-4o, GPT-4o mini, GPT-4.1 i GPT-4.1 mini przestaną działać 14 stycznia 2027 r., a żaden nowszy model nie został ogłoszony jako kompatybilny. Dla szybkiej edycji na obecnych modelach zrównoważoną ścieżką jest poproszenie modelu o diff lub łatkę, a nie o cały plik.
Kluczowe wnioski
- Wyjścia przewidywane przyspieszają odpowiedzi, gdy znasz oczekiwaną strukturę – wyłącznie w Chat Completions
- Idealne do edycji kodu, aktualizacji JSON i częściowego przepisywania
- Sprawdź
accepted_prediction_tokens, aby zmierzyć rzeczywistą korzyść - Odrzucone tokeny przewidywania są płatne: nie przewiduj na chybił-trafił
- Nie używaj ich do całkowicie nowych generacji
- Kompatybilne modele (GPT-4o, GPT-4.1 i ich wersje mini) zostaną wycofane 14 stycznia 2027 r.: zaplanuj alternatywę, taką jak generowanie diffów