Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

SSE srautinis perdavimas

Paskaita 13 iš 16 Atnaujinta 2026 m. liepos 30 d. Kūrėjas
Šiame puslapyje
  1. Atsakymai realiuoju laiku
  2. Srautinio perdavimo įjungimas
  3. Įvykių tipai
  4. Srautinis perdavimas naudojant Python
  5. Srautinis perdavimas naudojant įrankius
  6. Integracija į „frontend“
  7. Srautinis perdavimas ir atsiskaitymas
  8. Svarbiausi punktai

Atsakymai realiuoju laiku

Įprastu režimu tenka laukti, kol modelis sugeneruos visą atsakymą, ir tik tada jį gausite. Naudojant SSE srautinį perdavimą (Server-Sent Events), žetonai atkeliauja generavimo metu. Tai būtina pokalbių sąsajoms, kur vartotojai nori matyti, kaip atsakymas atsiranda palaipsniui.

SSE
Server-Sent Events
~50ms
Pirmas žetonas matomas
text/event-stream
Content-Type
stream: true
Vienas parametras

Srautinio perdavimo įjungimas

Pridėk "stream": true prie savo užklausos:

curl https://api.x.ai/v1/responses \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.20-0309-reasoning",
    "input": "Write a poem about programming.",
    "stream": true
  }'

Atsakymas atkeliauja kaip SSE srautas:

data: {"type": "response.created", "response": {...}}
data: {"type": "response.output_item.added", ...}
data: {"type": "response.content_part.added", ...}
data: {"type": "response.output_text.delta", "delta": "La "}
data: {"type": "response.output_text.delta", "delta": "programmation "}
data: {"type": "response.output_text.delta", "delta": "est "}
...
data: {"type": "response.completed", "response": {...}}

Įvykių tipai

ĮvykisAprašymas
response.createdGeneravimas prasideda
response.output_item.addedNaujas elementas išvestyje
response.content_part.addedNauja turinio dalis
response.output_text.deltaTeksto fragmentas (dažniausias)
response.output_text.donePilnas elemento tekstas
response.completedAtsakymas baigtas, pateikiama naudojimo informacija
response.failedKlaida generavimo metu

Srautinis perdavimas naudojant Python

stream = client.responses.create(
    model="grok-4.20-0309-reasoning",
    input="Explain how a compiler works.",
    stream=True
)

full_text = ""
for event in stream:
    if event.type == "response.output_text.delta":
        print(event.delta, end="", flush=True)
        full_text += event.delta
    elif event.type == "response.completed":
        usage = event.response.usage
        print(f"\n\nTokens: {usage.total_tokens}")
        print(f"Cost: {usage.cost_in_nano_usd / 1e9:.6f} USD")

flush=True priverčia iškart rodyti kiekvieną fragmentą.

Srautinis perdavimas naudojant įrankius

Kai modelis srautiniu režimu naudoja įrankius, gauni papildomus įvykius:

data: {"type": "response.output_item.added", "item": {"type": "web_search_call"}}
data: {"type": "response.web_search_call.in_progress", ...}
data: {"type": "response.web_search_call.completed", ...}
data: {"type": "response.output_text.delta", "delta": "Selon les résultats..."}

Kliento funkcijų kvietimams argumentus gauni palaipsniui:

data: {"type": "response.function_call.arguments.delta", "delta": "{\"city\""}
data: {"type": "response.function_call.arguments.delta", "delta": ": \"Paris\"}"}
data: {"type": "response.function_call.arguments.done", ...}

Integracija į „frontend“

Žiniatinklio programai siųsk SSE srautą į naršyklę per serverio galinį tašką:

const response = await fetch('/api/chat', {
  method: 'POST',
  body: JSON.stringify({ message: userInput })
});

const reader = response.body.getReader();
const decoder = new TextDecoder();

while (true) {
  const { done, value } = await reader.read();
  if (done) break;
  const text = decoder.decode(value);
  outputElement.textContent += text;
}

Srautinis perdavimas ir atsiskaitymas

Srautinis perdavimas nekeičia atsiskaitymo tvarkos. Kaina identiška, nepaisant to, ar ši funkcija įjungta, ar ne – skiriasi tik pristatymo būdas. Pilnas usage objektas pasiekiamas response.completed įvykyje.

Svarbiausi punktai

  • stream: true įjungia SSE srautinį perdavimą – žetonai atkeliauja generavimo metu
  • Įvykis response.output_text.delta turi kiekvieną teksto fragmentą
  • Įvykis response.completed turi galutinį atsakymą su naudojimo metaduomenimis
  • Srautinis perdavimas veikia su įrankiais (web_search, functions)
  • Kaina identiška tiek su srautiniu perdavimu, tiek be jo