Način rada u pozadini
Na ovoj stranici
Treći put između sinkronog i serijskog izvršavanja
Način rada u pozadini (background mode) API-ja Responses ispunjava specifičnu nišu u tvom alatu. Sinkroni poziv daje ti odgovor odmah, ali te prisiljava da držiš vezu otvorenom tijekom cijelog generiranja. Batch API obrađuje tisuće zahtjeva po upola nižoj cijeni, no rezultati stižu tek za nekoliko sati. Način rada u pozadini nalazi se između: obrađuje pojedinačne zahtjeve po standardnoj tarifi bez potrebe za otvorenom vezom. Pošalješ zahtjev, primiš ID i dohvatiš rezultat kada bude spreman.
Ovaj kompromis cilja precizan slučaj upotrebe: pojedinačni zahtjev koji traje predugo za blokirajući poziv, ali ne može čekati do sutra. To je točno scenarij kada pokrećeš model visoke razine rezoniranja na složenom dokumentu.
Pokretanje i dohvaćanje
Aktivacija zahtijeva samo jedan parametar. Trenutni odgovor ne sadrži tekst; vraća ID i status, obično queued ili in_progress.
import openai
client = openai.OpenAI()
# Launch the request in background
response = client.responses.create(
model="gpt-5.6-sol", # Ideal for slow tasks (high reasoning)
input="Analyze the economic implications of European AI regulation "
"for French SMEs. Propose a 10-point action plan.",
background=True, # Background mode
)
print(f"Response ID: {response.id}")
print(f"Status: {response.status}") # "queued" or "in_progress"
Taj ID tvoja je jedina veza s poslom u tijeku: pohrani ga prije nego što učiniš bilo što drugo. Gubitak ID-a znači da ćeš platiti generiranje koje nikada nećeš dohvatiti. Dohvaćanje zatim uključuje ispitivanje (polling) API-ja dok status ne postane konačan, pri čemu se neuspjeh i otkazivanje tretiraju odvojeno jer imaju različite poslovne posljedice.
import time
def wait_for_response(response_id: str, interval: int = 5) -> str:
"""Waits for a background response to complete."""
while True:
response = client.responses.retrieve(response_id)
match response.status:
case "completed":
return response.output_text
case "failed":
raise RuntimeError(
f"Request failed: {response.error}"
)
case "cancelled":
raise RuntimeError("Request was cancelled.")
case _:
print(f"Status: {response.status}...")
time.sleep(interval)
Dugi zadaci rezoniranja
Model poput GPT-5.6 Sol s omogućenim visokim rezoniranjem može trebati od 30 sekundi do dvije minute prije nego što proizvede prvi vidljivi token. U sinkronom pozivu, ova trajanja udaraju u zadana vremenska ograničenja HTTP klijenata, proxyja i gatewayeva. Način rada u pozadini uklanja ovaj problem u korijenu i usput ti omogućuje pokretanje nekoliko teških analiza bez vezanja toliko veza.
async def deep_analysis(document: str) -> str:
"""Launches an analysis with GPT-5.6 Sol without blocking."""
response = client.responses.create(
model="gpt-5.6-sol",
input=f"Perform a thorough legal analysis of this contract. "
f"Identify all potential risks, problematic clauses, "
f"and propose modifications.\n\n{document}",
background=True,
)
return response.id
# Launch multiple analyses in parallel
task_ids = []
for doc in documents:
task_id = await deep_analysis(doc)
task_ids.append(task_id)
# Retrieve results later
results = {}
for task_id in task_ids:
results[task_id] = wait_for_response(task_id)
Ovaj se obrazac prirodno proširuje na webhooke kada je pozivatelj druga usluga. Tvoja krajnja točka pokreće zahtjev, vraća ID i delegira pozadinski zadatak za praćenje završetka i slanje obavijesti. Pozivatelj ne vrši ispitivanje (polling); prima obavijest.
from fastapi import FastAPI, BackgroundTasks
import httpx
app = FastAPI()
@app.post("/api/long-analysis")
async def launch_analysis(request: dict, background_tasks: BackgroundTasks):
"""Launches an analysis and notifies via webhook when done."""
response = client.responses.create(
model="gpt-5.6-sol",
input=request["prompt"],
background=True,
)
# Monitor in background
background_tasks.add_task(
monitor_and_notify,
response_id=response.id,
webhook_url=request["webhook_url"],
)
return {"response_id": response.id, "status": "launched"}
async def monitor_and_notify(response_id: str, webhook_url: str):
"""Monitors a background request and notifies via webhook."""
result = wait_for_response(response_id)
async with httpx.AsyncClient() as http:
await http.post(webhook_url, json={
"response_id": response_id,
"result": result,
})
Odabir ispravnog načina rada
Pravilo odlučivanja svodi se na dva pitanja. Koliko ima zahtjeva? I čeka li korisnik? Kod više od sto zahtjeva bez potrebe za neposrednošću, Batch API pobjeđuje cijenom: rezultati za nekoliko sati po upola nižoj cijeni. Ako netko čeka ispred svog zaslona, sinkroni pozivi ostaju jedini prihvatljiv izbor po standardnoj tarifi. Način rada u pozadini ispunjava ostatak prostora: malo zahtjeva, rezultati za nekoliko minuta, standardna cijena. Isplati se jednom kodificirati ovu logiku umjesto da je iznova razmatraš za svaku novu uslugu.
def choose_mode(
num_requests: int,
urgency: str,
budget: str,
) -> str:
"""Recommends the optimal execution mode."""
if num_requests > 100 and urgency != "immediate":
return "batch"
elif urgency == "immediate":
return "synchronous"
else:
return "background"
Konačno, planiraj izlaz u nuždi. Zahtjev u pozadini koji daleko premaši očekivano trajanje veže proračun i odgađa ostatak tvog pipelinea; API ti omogućuje da ga izričito otkažeš. Postavi ovu granicu na dvostruko trajanje koje opažaš u praksi, a ne na prosjek, inače riskiraš otkazivanje zahtjeva koji su bili pred uspjehom.
def cancel_if_too_long(response_id: str, timeout: int = 120):
"""Cancels a request if it exceeds the timeout."""
start = time.time()
while time.time() - start < timeout:
response = client.responses.retrieve(response_id)
if response.status == "completed":
return response.output_text
time.sleep(5)
# Timeout exceeded — cancel
client.responses.cancel(response_id)
raise TimeoutError(
f"Request {response_id} cancelled after {timeout}s."
)
Ključne točke
- Način rada u pozadini pokreće zahtjeve bez držanja otvorene veze
- Idealno za postavke visokog rezoniranja (GPT-5.6 Sol) i duge zadatke
- Kombiniraj s webhookom za arhitekturu vođenu događajima
- Pohrani ID odgovora: to je tvoja jedina veza s poslom u tijeku
- Za masovnu obradu niske cijene, preferiraj Batch API