Strumieniowanie SSE
Na tej stronie
Odbieraj odpowiedzi w czasie rzeczywistym
Domyślnie API czeka na wygenerowanie całej odpowiedzi, zanim ją zwróci. Dzięki strumieniowaniu otrzymujesz tokeny w miarę ich generowania. Technika ta skraca czas oczekiwania odczuwany przez użytkowników i pozwala wyświetlać odpowiedzi stopniowo, dokładnie tak, jak robi to interfejs Grok.
Jak działa strumieniowanie
Strumieniowanie wykorzystuje protokół Server-Sent Events (SSE). Zamiast pojedynczej odpowiedzi HTTP, serwer wysyła ciągły strumień zdarzeń. Każde zdarzenie zawiera fragment odpowiedzi, a klient składa je, aby odtworzyć pełny tekst.
Parametr stream: true włącza ten tryb dla dowolnego punktu końcowego generowania.
Strumieniowanie w Pythonie przy użyciu OpenAI SDK
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
stream = client.chat.completions.create(
model="grok-4.5",
messages=[
{"role": "user", "content": "Explain the SOLID principles in programming."}
],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print() # Final line break
Jak działa ten kod
stream=Truewłącza strumieniowanie- Odpowiedź jest iteratorem obiektów
chunk(fragmentów) - Każdy fragment zawiera
deltaz nową treścią end=""zapobiega dodawaniu znaków nowej linii między fragmentamiflush=Truewymusza natychmiastowe wyświetlenie
Strumieniowanie z punktem końcowym /v1/responses
stream = client.responses.create(
model="grok-4.5",
input="Describe the steps to deploy a web application.",
stream=True
)
for event in stream:
if hasattr(event, 'type') and event.type == 'response.output_text.delta':
print(event.delta, end="", flush=True)
print()
Punkt końcowy /v1/responses używa zdarzeń typowanych. Typ response.output_text.delta zawiera fragmenty tekstu.
Strumieniowanie z użyciem cURL
cURL obsługuje natywnie strumieniowanie SSE. Dodaj "stream": true do treści żądania:
curl -N https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.5",
"messages": [{"role": "user", "content": "Hello"}],
"stream": true
}'
Opcja -N wyłącza buforowanie w cURL, dzięki czemu zdarzenia są wyświetlane natychmiast po ich nadejściu.
Każda linia strumienia SSE zaczyna się od data:, po którym następuje obiekt JSON. Ostatnim zdarzeniem jest data: [DONE], co sygnalizuje koniec generowania.
Kiedy używać strumieniowania
Decyzja sprowadza się do jednego pytania: czy ktoś obserwuje pojawianie się odpowiedzi? Jeśli tak (chatbot, asystent, narzędzie do pisania), strumieniowanie jest niemal obowiązkowe: użytkownicy widzą pojawiający się tekst słowo po słowie, zamiast wpatrywać się w zamarznięty ekran. W przypadku długich odpowiedzi różnica między „pierwsze słowo po 300 ms“ a „cały tekst po 8 sekundach“ całkowicie zmienia odbiór działania systemu.
Jeśli nikt nie obserwuje procesu, strumieniowanie nic nie wnosi, a jedynie komplikuje kod. Zadanie wsadowe wypełniające bazę danych, zautomatyzowany potok, który musi przeanalizować całą odpowiedź przed podjęciem działania, czy wywołanie zwracające tylko kilka słów – we wszystkich tych przypadkach klasyczne wywołanie (jedno żądanie, jedna kompletna odpowiedź) pozostaje prostsze do napisania, przetestowania i debugowania.
Obsługa błędów w trybie strumieniowania
W trybie strumieniowania błędy mogą wystąpić w trakcie przesyłania strumienia. Twój kod musi obsługiwać takie przerwania:
try:
stream = client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Test"}],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
except Exception as e:
print(f"\nError during streaming: {e}")
Kluczowe wnioski
- Dodaj
stream=True, aby otrzymywać tokeny w miarę ich generowania - Używanym protokołem jest SSE (Server-Sent Events)
- W Pythonie iteruj po fragmentach i drukuj
delta.content - W cURL użyj
-N, aby wyłączyć buforowanie - Stosuj strumieniowanie tylko tam, gdzie progresywne wyświetlanie dodaje wartości