Премини към основното съдържание
Български— Изберете език
Меню

Поточно предаване чрез SSE

Урок 10 от 14 Обновен 30 юли 2026 г. Програмист
На тази страница
  1. Получаване на отговори в реално време
  2. Как работи поточното предаване
  3. Поточно предаване в Python със SDK на OpenAI
  4. Поточно предаване с крайната точка /v1/responses
  5. Поточно предаване с cURL
  6. Кога да използвате поточно предаване
  7. Обработка на грешки при поточно предаване
  8. Ключови изводи

Получаване на отговори в реално време

По подразбиране API изчаква пълното генериране на отговора, преди да го върне. При поточното предаване получавате токените веднага щом бъдат генерирани. Тази техника съкращава времето за чакане, което потребителят усеща, и Ви позволява да показвате отговорите прогресивно, точно както прави интерфейсът на Grok.

Как работи поточното предаване

Поточното предаване използва протокола Server-Sent Events (SSE). Вместо един единствен HTTP отговор, сървърът изпраща непрекъснат поток от събития. Всяко събитие съдържа фрагмент от отговора, а клиентът ги сглобява, за да възстанови пълния текст.

Параметърът stream: true активира този режим за всяка крайна точка за генериране.

Поточно предаване в Python със SDK на OpenAI

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1"
)

stream = client.chat.completions.create(
    model="grok-4.5",
    messages=[
        {"role": "user", "content": "Explain the SOLID principles in programming."}
    ],
    stream=True
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

print()  # Final line break

Как работи кодът

  • stream=True активира поточното предаване
  • Отговорът е итератор от обекти chunk (фрагменти)
  • Всеки фрагмент съдържа delta с новото съдържание
  • end="" предотвратява добавянето на нови редове между фрагментите
  • flush=True принуждава незабавното извеждане на екрана

Поточно предаване с крайната точка /v1/responses

stream = client.responses.create(
    model="grok-4.5",
    input="Describe the steps to deploy a web application.",
    stream=True
)

for event in stream:
    if hasattr(event, 'type') and event.type == 'response.output_text.delta':
        print(event.delta, end="", flush=True)

print()

Крайната точка /v1/responses използва типизирани събития. Типът response.output_text.delta съдържа текстовите фрагменти.

Поточно предаване с cURL

cURL поддържа поточно предаване чрез SSE по подразбиране. Добавете "stream": true към тялото на заявката:

curl -N https://api.x.ai/v1/chat/completions \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.5",
    "messages": [{"role": "user", "content": "Hello"}],
    "stream": true
  }'

Опцията -N изключва буферирането на cURL, така че събитията да се показват веднага щом пристигнат.

Всеки ред от SSE потока започва с data:, следван от JSON обект. Последното събитие е data: [DONE], което сигнализира края на генерирането.

Кога да използвате поточно предаване

Решението зависи от един въпрос: има ли човек, който наблюдава появата на отговора? Ако е така (чатбот, асистент, инструмент за писане), поточното предаване е почти задължително: потребителите виждат текста да се появява дума по дума, вместо да гледат замръзнал екран. При дълги отговори разликата между „първа дума за 300 ms“ и „целият текст след 8 секунди“ променя цялостното възприятие за потребителското изживяване.

Ако никой не наблюдава процеса, поточното предаване не носи полза и само усложнява кода. Пакетна задача, която попълва база данни, автоматизиран конвейер, който трябва да анализира целия отговор, преди да действа, или извикване, което връща само няколко думи: във всички тези случаи класическото извикване (една заявка, един пълен отговор) остава по-просто за писане, тестване и отстраняване на грешки.

Обработка на грешки при поточно предаване

В режим на поточно предаване грешки могат да възникнат по средата на потока. Вашият код трябва да обработва тези прекъсвания:

try:
    stream = client.chat.completions.create(
        model="grok-4.5",
        messages=[{"role": "user", "content": "Test"}],
        stream=True
    )
    for chunk in stream:
        if chunk.choices[0].delta.content:
            print(chunk.choices[0].delta.content, end="")
except Exception as e:
    print(f"\nError during streaming: {e}")

Ключови изводи

  • Добавете stream=True, за да получавате токените, докато се генерират
  • Използваният протокол е SSE (Server-Sent Events)
  • В Python итерирайте върху фрагментите и извеждайте delta.content
  • При cURL използвайте -N, за да изключите буферирането
  • Запазете поточното предаване за случаи, когато прогресивното показване добавя стойност