Стрийминг: Получаване на отговори в реално време
На тази страница
Стрийминг: Получаване на отговори в реално време
Стриймингът Ви позволява да получавате отговора токен по токен, вместо да чакате цялата генерация да приключи. Това не е просто козметично подобрение на интерфейса: това е разликата между чатбот, който изглежда бавен, и такъв, който реагира мигновено, дори когато производителността на сървъра е идентична.
Защо да използвате стрийминг
Без стрийминг потребителите понякога гледат празен екран от десет до тридесет секунди, преди целият отговор да се появи наведнъж. При стрийминг първите думи се появяват за по-малко от секунда и четенето започва, докато генерацията продължава. Общата продължителност е същата; възприятието обаче е различно. Активирането му изисква само един параметър – stream=True, който превръща върнатата стойност на create() в итератор на събития.
from openai import OpenAI
client = OpenAI()
# БЕЗ стрийминг — изчакване на всичко
response = client.responses.create(
model="gpt-5.6-terra",
input="Write a paragraph about artificial intelligence."
)
print(response.output_text) # Появява се наведнъж след изчакването
# СЪС стрийминг — токен по токен
stream = client.responses.create(
model="gpt-5.6-terra",
input="Write a paragraph about artificial intelligence.",
stream=True
)
for event in stream:
if event.type == "response.output_text.delta":
print(event.delta, end="", flush=True)
print() # Нов ред в края
Типизирани събития, а не недиференциран поток
Потокът не пренася само текст. Той Ви уведомява кога е създаден отговорът, кога се добавя всеки изходен елемент, когато пристигат фрагменти и когато процесът приключи – крайното събитие включва метрики за използването. Филтрирате чрез event.type, за да знаете с какво работите. Тази структура Ви позволява например да покажете индикатор за зареждане веднага щом се задейства response.created и да преброите токените в края, без да правите второ API обаждане.
stream = client.responses.create(
model="gpt-5.6-terra",
input="Hello!",
stream=True
)
for event in stream:
match event.type:
case "response.created":
print(f"[Response created] ID: {event.response.id}")
case "response.output_item.added":
print(f"[New output item]")
case "response.output_text.delta":
print(f"[Text] {event.delta}", end="")
case "response.output_text.done":
print(f"\n[Text complete]")
case "response.completed":
print(f"[Done] Tokens: {event.response.usage.total_tokens}")
# Изход:
# [Response created] ID: resp_abc123
# [New output item]
# [Text] Hello[Text] ! [Text] How[Text] can[Text] I...
# [Text complete]
# [Done] Tokens: 25
В реално приложение почти винаги ще искате да правите две неща едновременно: да показвате фрагментите и да реконструирате пълния текст, за да можете да го архивирате или върнете на подателя. Правилото е просто: натрупвайте данните, докато итерирате, защото след като потокът бъде изчерпан, той не може да бъде превъртян назад.
def stream_and_collect(prompt: str) -> str:
"""Стриймване на отговора със събиране на съдържанието."""
stream = client.responses.create(
model="gpt-5.6-terra",
input=prompt,
stream=True
)
full_text = ""
for event in stream:
if event.type == "response.output_text.delta":
full_text += event.delta
print(event.delta, end="", flush=True)
print() # Нов ред
return full_text
result = stream_and_collect("List 3 European capitals.")
print(f"\nCollected text ({len(result)} characters)")
Стрийминг и извикване на функции
Извикванията на функции също се стриймват, със свои собствени събития: аргументите пристигат на фрагменти чрез response.function_call_arguments.delta, а response.function_call_arguments.done сигнализира, че JSON обектът е завършен. Това има важно практическо следствие – никога не се опитвайте да десериализирате аргументите преди събитието done, иначе ще разполагате само с отрязан JSON.
stream = client.responses.create(
model="gpt-5.6-terra",
input="What time is it in Tokyo?",
tools=[{
"type": "function",
"name": "get_time",
"description": "Get the time in a city",
"parameters": {
"type": "object",
"properties": {
"city": {"type": "string"}
},
"required": ["city"]
}
}],
stream=True
)
for event in stream:
match event.type:
case "response.output_text.delta":
print(event.delta, end="")
case "response.function_call_arguments.delta":
print(f"[Args] {event.delta}", end="")
case "response.function_call_arguments.done":
print(f"\n[Function call complete]")
# Изход:
# [Args] {"city": "Tokyo"}
# [Function call complete]
Асинхронният случай
Веднага щом Вашето приложение обслужва множество потребители едновременно, преминете към AsyncOpenAI: синхронният клиент би блокирал цикъла на събитията за цялата продължителност на генерацията, карайки другите Ви заявки да чакат. Синтаксисът се различава само с две ключови думи – await при създаването и async for при итерацията.
from openai import AsyncOpenAI
import asyncio
async_client = AsyncOpenAI()
async def stream_async(prompt: str):
"""Асинхронно стриймване на отговора."""
stream = await async_client.responses.create(
model="gpt-5.6-terra",
input=prompt,
stream=True
)
async for event in stream:
if event.type == "response.output_text.delta":
print(event.delta, end="", flush=True)
print()
asyncio.run(stream_async("Tell a short joke."))
В уеб средата стриймингът е безполезен, ако спира на Вашия сървър: трябва да го разпространите до браузъра. FastAPI позволява това чрез StreamingResponse, захранван от генератор, който препраща фрагментите, щом пристигнат.
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import OpenAI
app = FastAPI()
client = OpenAI()
@app.get("/chat")
async def chat(question: str):
def generate():
stream = client.responses.create(
model="gpt-5.6-terra",
input=question,
stream=True
)
for event in stream:
if event.type == "response.output_text.delta":
yield event.delta
return StreamingResponse(generate(), media_type="text/plain")
Грешки по време на стрийминг
Един детайл заслужава вниманието Ви: при стрийминг грешка може да възникне, след като фрагменти вече са били показани. Тогава потребителят вижда отговор, който започва, но се прекъсва. Затова обвийте самата итерация, а не само създаването на потока, за да можете ясно да сигнализирате прекъсването, вместо да оставите изречението незавършено.
from openai import APIError
def stream_with_errors(prompt: str):
"""Стрийминг с надеждна обработка на грешки."""
try:
stream = client.responses.create(
model="gpt-5.6-terra",
input=prompt,
stream=True
)
for event in stream:
if event.type == "response.output_text.delta":
print(event.delta, end="", flush=True)
print()
except APIError as e:
print(f"\nAPI error during streaming: {e.message}")
except Exception as e:
print(f"\nUnexpected error: {e}")
stream_with_errors("Explain streaming in 2 sentences.")
Ключови изводи
- Активирайте стрийминга с
stream=Trueза преживяване в реално време - Филтрирайте събитията по
event.type, за да обработвате правилно всеки тип данни response.output_text.deltaсъдържа текстови фрагментиresponse.completedсигнализира края и включва метрики за използването- Използвайте
AsyncOpenAIза стрийминг в асинхронни приложения - Винаги обработвайте грешки, дори в режим на стрийминг