Поточно предаване чрез SSE
На тази страница
Получаване на отговори в реално време
По подразбиране API изчаква пълното генериране на отговора, преди да го върне. При поточното предаване получавате токените веднага щом бъдат генерирани. Тази техника съкращава времето за чакане, което потребителят усеща, и Ви позволява да показвате отговорите прогресивно, точно както прави интерфейсът на Grok.
Как работи поточното предаване
Поточното предаване използва протокола Server-Sent Events (SSE). Вместо един единствен HTTP отговор, сървърът изпраща непрекъснат поток от събития. Всяко събитие съдържа фрагмент от отговора, а клиентът ги сглобява, за да възстанови пълния текст.
Параметърът stream: true активира този режим за всяка крайна точка за генериране.
Поточно предаване в Python със SDK на OpenAI
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
stream = client.chat.completions.create(
model="grok-4.5",
messages=[
{"role": "user", "content": "Explain the SOLID principles in programming."}
],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print() # Final line break
Как работи кодът
stream=Trueактивира поточното предаване- Отговорът е итератор от обекти
chunk(фрагменти) - Всеки фрагмент съдържа
deltaс новото съдържание end=""предотвратява добавянето на нови редове между фрагментитеflush=Trueпринуждава незабавното извеждане на екрана
Поточно предаване с крайната точка /v1/responses
stream = client.responses.create(
model="grok-4.5",
input="Describe the steps to deploy a web application.",
stream=True
)
for event in stream:
if hasattr(event, 'type') and event.type == 'response.output_text.delta':
print(event.delta, end="", flush=True)
print()
Крайната точка /v1/responses използва типизирани събития. Типът response.output_text.delta съдържа текстовите фрагменти.
Поточно предаване с cURL
cURL поддържа поточно предаване чрез SSE по подразбиране. Добавете "stream": true към тялото на заявката:
curl -N https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.5",
"messages": [{"role": "user", "content": "Hello"}],
"stream": true
}'
Опцията -N изключва буферирането на cURL, така че събитията да се показват веднага щом пристигнат.
Всеки ред от SSE потока започва с data:, следван от JSON обект. Последното събитие е data: [DONE], което сигнализира края на генерирането.
Кога да използвате поточно предаване
Решението зависи от един въпрос: има ли човек, който наблюдава появата на отговора? Ако е така (чатбот, асистент, инструмент за писане), поточното предаване е почти задължително: потребителите виждат текста да се появява дума по дума, вместо да гледат замръзнал екран. При дълги отговори разликата между „първа дума за 300 ms“ и „целият текст след 8 секунди“ променя цялостното възприятие за потребителското изживяване.
Ако никой не наблюдава процеса, поточното предаване не носи полза и само усложнява кода. Пакетна задача, която попълва база данни, автоматизиран конвейер, който трябва да анализира целия отговор, преди да действа, или извикване, което връща само няколко думи: във всички тези случаи класическото извикване (една заявка, един пълен отговор) остава по-просто за писане, тестване и отстраняване на грешки.
Обработка на грешки при поточно предаване
В режим на поточно предаване грешки могат да възникнат по средата на потока. Вашият код трябва да обработва тези прекъсвания:
try:
stream = client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Test"}],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
except Exception as e:
print(f"\nError during streaming: {e}")
Ключови изводи
- Добавете
stream=True, за да получавате токените, докато се генерират - Използваният протокол е SSE (Server-Sent Events)
- В Python итерирайте върху фрагментите и извеждайте
delta.content - При cURL използвайте
-N, за да изключите буферирането - Запазете поточното предаване за случаи, когато прогресивното показване добавя стойност