Taustatila
Tällä sivulla
Kolmas reitti synkronin ja eräajon välillä
Responses API:n taustatila täyttää työkalupakissasi tietyn aukon. Synkroninen kutsu antaa vastauksen välittömästi, mutta pakottaa pitämään yhteyden auki koko generoinnin ajan. Batch API käsittelee tuhansia pyyntöjä puoleen hintaan, mutta tulosten saaminen vie tunteja. Taustatila sijoittuu näiden väliin: se hoitaa yksittäiset pyynnöt normaalihinnalla ilman avointa yhteyttä. Lähetät pyynnön, saat tunnisteen ja noudat tuloksen, kun se on valmis.
Tämä kompromissi palvelee tarkkaa käyttötapausta: yksittäinen pyyntö, joka kestää liian kauan estävälle kutsulle, mutta ei voi odottaa huomiseen. Tämä on juuri se tilanne, kun ajat korkean päättelykyvyn mallia monimutkaiselle asiakirjalle.
Käynnistäminen ja tulosten nouto
Aktivointi vaatii vain yhden parametrin. Välitön vastaus ei sisällä tekstiä; se palauttaa tunnisteen ja tilan, yleensä queued tai in_progress.
import openai
client = openai.OpenAI()
# Käynnistä pyyntö taustalla
response = client.responses.create(
model="gpt-5.6-sol", # Ihanteellinen hitaille tehtäville (korkea päättely)
input="Analyze the economic implications of European AI regulation "
"for French SMEs. Propose a 10-point action plan.",
background=True, # Taustatila
)
print(f"Response ID: {response.id}")
print(f"Status: {response.status}") # "queued" tai "in_progress"
Tämä tunniste on ainoa linkkisi käynnissä olevaan työhön: tallenna se ennen kuin teet mitään muuta. Sen menettäminen tarkoittaa, että maksat generoinnista, jota et koskaan saa käsiisi. Noutaminen sisältää sen jälkeen API:n kyselyn, kunnes tila muuttuu lopulliseksi. Käsittele epäonnistumiset ja peruutukset erikseen, sillä niillä on erilaiset liiketoiminnalliset seuraukset.
import time
def wait_for_response(response_id: str, interval: int = 5) -> str:
"""Odottaa taustavastauksen valmistumista."""
while True:
response = client.responses.retrieve(response_id)
match response.status:
case "completed":
return response.output_text
case "failed":
raise RuntimeError(
f"Request failed: {response.error}"
)
case "cancelled":
raise RuntimeError("Request was cancelled.")
case _:
print(f"Status: {response.status}...")
time.sleep(interval)
Pitkät päättelytehtävät
Malli kuten GPT-5.6 Sol, jossa korkean tason päättely on käytössä, voi viedä 30 sekunnista kahteen minuuttiin ennen ensimmäisen näkyvän tokenin tuottamista. Synkronisessa kutsussa nämä kestot osuvat HTTP-asiakkaiden, välityspalvelimien ja yhdyskäytävien oletusaikakatkoihin. Taustatila poistaa tämän ongelman juurisyineen ja mahdollistaa samalla useiden raskaiden analyysien käynnistämisen sitomatta niin monta yhteyttä.
async def deep_analysis(document: str) -> str:
"""Käynnistää analyysin GPT-5.6 Solilla estämättä suorittamista."""
response = client.responses.create(
model="gpt-5.6-sol",
input=f"Perform a thorough legal analysis of this contract. "
f"Identify all potential risks, problematic clauses, "
f"and propose modifications.\n\n{document}",
background=True,
)
return response.id
# Käynnistä useita analyysejä rinnakkain
task_ids = []
for doc in documents:
task_id = await deep_analysis(doc)
task_ids.append(task_id)
# Nouda tulokset myöhemmin
results = {}
for task_id in task_ids:
results[task_id] = wait_for_response(task_id)
Tämä malli laajenee luontevasti webhookkeihin, kun kutsuja on toinen palvelu. Päätepisteesi käynnistää pyynnön, palauttaa tunnisteen ja delegoi taustatehtävän valvomaan valmistumista sekä lähettämään ilmoituksia. Kutsuja ei kyselytetä; se saa ilmoituksen.
from fastapi import FastAPI, BackgroundTasks
import httpx
app = FastAPI()
@app.post("/api/long-analysis")
async def launch_analysis(request: dict, background_tasks: BackgroundTasks):
"""Käynnistää analyysin ja ilmoittaa webhookin kautta valmistumisesta."""
response = client.responses.create(
model="gpt-5.6-sol",
input=request["prompt"],
background=True,
)
# Valvo taustalla
background_tasks.add_task(
monitor_and_notify,
response_id=response.id,
webhook_url=request["webhook_url"],
)
return {"response_id": response.id, "status": "launched"}
async def monitor_and_notify(response_id: str, webhook_url: str):
"""Valvoo taustapyyntöä ja ilmoittaa webhookin kautta."""
result = wait_for_response(response_id)
async with httpx.AsyncClient() as http:
await http.post(webhook_url, json={
"response_id": response_id,
"result": result,
})
Oikean tilan valinta
Päätössääntö tiivistyy kahteen kysymykseen. Kuinka monta pyyntöä? Ja odottaako käyttäjä? Yli sadan pyynnön kohdalla, kun välitöntä vaatimusta ei ole, Batch API voittaa hinnassa: tulokset tuntien kuluttua puoleen hintaan. Jos joku odottaa näytön ääressä, synkroniset kutsut pysyvät ainoana hyväksyttävänä valintana normaalihinnalla. Taustatila täyttää lopun tilan: vähän pyyntöjä, tulokset minuuteissa, normaalihinta. Kannattaa koodata tämä logiikka kerran kuntoon sen sijaan, että pohtisit sitä uudelleen jokaista uutta palvelua varten.
def choose_mode(
num_requests: int,
urgency: str,
budget: str,
) -> str:
"""Suosittelee optimaalista suoritus tilaa."""
if num_requests > 100 and urgency != "immediate":
return "batch"
elif urgency == "immediate":
return "synchronous"
else:
return "background"
Suunnittele lopuksi hätäpoistumatie. Taustapyyntö, joka ylittää odotetun kestonsa huomattavasti, sitoo budjettia ja viivästyttää muuta putkeasi; API antaa sinulle mahdollisuuden peruuttaa se nimenomaisesti. Aseta tämä katto kaksinkertaiseksi käytännössä havaittuun kestoon verrattuna, ei keskiarvoon, muuten riskinä on peruuttaa pyyntöjä, jotka olivat juuri onnistumassa.
def cancel_if_too_long(response_id: str, timeout: int = 120):
"""Peruuttaa pyynnön, jos se ylittää aikakatoksen."""
start = time.time()
while time.time() - start < timeout:
response = client.responses.retrieve(response_id)
if response.status == "completed":
return response.output_text
time.sleep(5)
# Aikakatos ylitetty – peruuta
client.responses.cancel(response_id)
raise TimeoutError(
f"Request {response_id} cancelled after {timeout}s."
)
Keskeiset asiat
- Taustatila käynnistää pyynnöt pitämättä yhteyttä auki
- Ihanteellinen korkean päättelyn asetuksille (GPT-5.6 Sol) ja pitkille tehtäville
- Yhdistä webhookkiin tapahtumapohjaista arkkitehtuuria varten
- Tallenna vastauksen tunniste: se on ainoa linkkisi käynnissä olevaan työhön
- Valitse edulliseen massakäsittelyyn Batch API