Strujanje putem SSE-a
Na ovoj stranici
Primaj odgovore u stvarnom vremenu
Zadano, API čeka da se generira cijeli odgovor prije nego što ga vrati. Uz strujanje, primaš tokene čim se generiraju. Ova tehnika skraćuje vrijeme čekanja koje korisnici osjećaju i omogućuje ti progresivno prikazivanje odgovora, točno onako kako to radi sučelje Groka.
Kako funkcionira strujanje
Strujanje koristi protokol Server-Sent Events (SSE). Umjesto jednog HTTP odgovora, poslužitelj šalje neprekidni tok događaja. Svaki događaj sadrži dio odgovora, a klijent ih sastavlja kako bi rekonstruirao cijeli tekst.
Parametar stream: true aktivira ovaj način rada za bilo koju krajnju točku generiranja.
Strujanje u Pythonu s OpenAI SDK-jem
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
stream = client.chat.completions.create(
model="grok-4.5",
messages=[
{"role": "user", "content": "Explain the SOLID principles in programming."}
],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print() # Final line break
Kako kod funkcionira
stream=Trueuključuje strujanje- Odgovor je iterator objekata
chunk(fragmenti) - Svaki fragment sadrži
deltas novim sadržajem end=""sprječava prijelome redaka između fragmenataflush=Trueprisiljava trenutni ispis
Strujanje s krajnjom točkom /v1/responses
stream = client.responses.create(
model="grok-4.5",
input="Describe the steps to deploy a web application.",
stream=True
)
for event in stream:
if hasattr(event, 'type') and event.type == 'response.output_text.delta':
print(event.delta, end="", flush=True)
print()
Krajnja točka /v1/responses koristi tipizirane događaje. Tip response.output_text.delta sadrži fragmente teksta.
Strujanje s cURL-om
cURL izvorno podržava SSE strujanje. Dodaj "stream": true u tijelo zahtjeva:
curl -N https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.5",
"messages": [{"role": "user", "content": "Hello"}],
"stream": true
}'
Opcija -N isključuje međuspremanje (buffering) u cURL-u kako bi se događaji prikazivali čim stignu.
Svaki redak SSE toka počinje s data: nakon kojeg slijedi JSON objekt. Posljednji događaj je data: [DONE], što signalizira kraj generiranja.
Kada koristiti strujanje
Odluka se svodi na jedno pitanje: gleda li osoba kako odgovor stiže? Ako da (chatbot, asistent, alat za pisanje), strujanje je gotovo obavezno: korisnici vide kako se tekst pojavljuje riječ po riječ umjesto da gledaju u zamrznuti zaslon, a kod dugih odgovora razlika između „prva riječ za 300 ms“ i „sav tekst nakon 8 sekundi“ drastično mijenja cjelokupno percipirano iskustvo.
Ako nitko ne gleda, strujanje ne donosi ništa i samo komplicira kod. Grupni posao koji puni bazu podataka, automatizirani pipeline koji mora parsirati cijeli odgovor prije djelovanja ili poziv koji vraća samo nekoliko riječi: u svim tim slučajevima klasični poziv (jedan zahtjev, jedan cjelovit odgovor) ostaje jednostavniji za pisanje, testiranje i otklanjanje grešaka.
Rukovanje greškama kod strujanja
U načinu strujanja greške se mogu pojaviti usred toka. Tvoj kod mora rukovati tim prekidima:
try:
stream = client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Test"}],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
except Exception as e:
print(f"\nError during streaming: {e}")
Ključne točke
- Dodaj
stream=Trueza primanje tokena kako se generiraju - Korišteni protokol je SSE (Server-Sent Events)
- U Pythonu iteriraj kroz fragmente i ispisuj
delta.content - Kod cURL-a koristi
-Nza isključivanje međuspremanja - Koristi strujanje samo u slučajevima gdje progresivni prikaz dodaje vrijednost