Sruthú SSE
Ar an leathanach seo
Freagraí fíor-ama le hImeachtaí ón bhFreastalaí (SSE)
Go réamhshocraithe, fanann an API Críochnuithe Comhrá go dtí go bhfuil an freagra iomlán ginte ag an tsamhail sula seoltar chugat é. I gcás ceiste gairide, ní thugann aon duine faoi deara an mhoill. I gcás tuarascála míle focal, áfach, ciallaíonn sé sin roinnt soicind de scáileán bán, rud a fhágann go bhfuil do úsáideoir ag ceapadh go bhfuil an feidhmchlár tuairte. Réitíonn sruthú an fhadhb seo trí chomharthaí a sheoladh de réir mar a ghintear iad, ag cruthú an éifeachta clóscríobhadora atá le feiceáil go coitianta i gcomhéadain chomhrá.
Is é an prótacal a úsáidtear ná Imeachtaí ón bhFreastalaí (SSE), caighdeán HTTP a ligeann don fhreastalaí sonraí a bhrú chuig an gcliant go leanúnach thar nasc buan. Níl aon rud eachtrannach anseo: gan WebSockets le suiteáil, gan spleáchais bhreise.
Sruthú vs gan sruthú
I mód gan sruthú, arb é an mód réamhshocraithe é, seolann an cliant an t-iarratas agus fanann sé leis an bhfreagra iomlán:
Client ──── request ────► Server
(wait 3-10s)
Client ◄── complete response ── Server
Is é an buntáiste ná simplíocht: tá an freagra adamhach, ina oibiacht JSON amháin atá furasta a phróiseáil, a bhailíochtú agus a stóráil. Tá an míbhuntáiste chomh soiléir céanna: tá an mhoill mheasta ard toisc nach bhfeiceann an t-úsáideoir aon rud le linn an phróisis ghiniúna ar fad.
I mód sruthaithe, seolann an freastalaí comharthaí ceann ar cheann, nó i ngrúpaí beaga:
Client ──── request ────► Server
Client ◄── chunk 1 ─────── Server (after ~200ms)
Client ◄── chunk 2 ─────── Server (after ~250ms)
Client ◄── chunk 3 ─────── Server (after ~300ms)
...
Client ◄── [DONE] ──────── Server
Titann an mhoill mheasta go dramach—feictear an chéad charachtar laistigh de chúpla céad milleasoicind—rud a fheabhsaíonn go mór taithí an úsáideora. Ina theannta sin, caithfidh tú an teachtaireacht a athchruthú ar thaobh an chliaint agus staid a bhainistiú nach dtagann aon bhloc amháin níos mó.
An prótacal SSE go mion
Seo mar a bhreathnaíonn an sruth HTTP a fhaigheann tú i ndáiríre:
data: {"id":"cmpl-abc","choices":[{"delta":{"content":"Hello"}}],"usage":null}
data: {"id":"cmpl-abc","choices":[{"delta":{"content":" "}}],"usage":null}
data: {"id":"cmpl-abc","choices":[{"delta":{"content":"!"}}],"usage":null}
data: [DONE]
Tosaíonn gach líne le data: agus leanann oibiacht JSON í, agus feidhmíonn línte folmha mar dheighilteoirí idir imeachtaí. Tabhair faoi deara an mionsonra a chuireann gach duine amú ar a gcéad chur i bhfeidhm: tá an blúire téacs suite sa réimse delta, seachas i message mar atá sa mhód clasaiceach. Críochnaíonn an sruth le himeacht data: [DONE], a chuireann in iúl go soiléir an deireadh. Gan é, ní bheadh tú in ann idirdhealú a dhéanamh idir giniúint chríochnaithe agus nasc a briseadh.
Sruthú a chumasú i bPython
Le SDK Mistral, cumasaíonn tú sruthú trí chat.stream() a ghlaow in ionad chat.complete():
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Explain how an electric motor works."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
print() # Final newline
Tuilleann an argóint flush=True míniú, toisc gur é an dearmad a dhéanamh air an chúis chlasaiceach le sruthú nach “n-oibríonn”. Gan é, coinníonn Python carachtair sa mhaolán agus taispeánann sé iad i mbloic. Cealaíonn sé seo go amhairc gach buntáiste a bhaineann le sruthú, cé go bhfuil na blúirí ag teacht i gceart.
Struchtúr blúire
Ní léitear blúire sruthaithe mar fhreagra iomlán, agus tá na conairí rochtana difriúil:
# Non-streaming: response.choices[0].message.content
# Streaming: chunk.data.choices[0].delta.content
# The first chunk often contains the role
# chunk.data.choices[0].delta.role == "assistant"
# Subsequent chunks contain text fragments
# chunk.data.choices[0].delta.content == "Hello"
# The last chunk contains finish_reason
# chunk.data.choices[0].finish_reason == "stop"
Iompraíonn an chéad bhlúire an ról de ghnáth gan téacs, iompraíonn na cinn ina dhiaidh sin na blúirí, agus soláthraíonn an ceann deireanach an finish_reason. Sin an fáth nach rabhadh gan ghá é an seiceáil if content: sa chód roimhe seo: dá gcuirfí luach None le chéile, theipfeadh ar an lúb ar an gcéad atriall.
An freagra iomlán a athchruthú
Ní leor blúirí a thaispeáint nuair is gá duit an freagra a choinneáil—mar shampla, chun é a chur le stair an chomhrá, é a logáil, nó é a stóráil i mbunachar sonraí. Caithfidh tú, dá bhrí sin, an téacs a charnadh i gcomhthráth leis a thaispeáint:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
stream = client.chat.stream(
model="mistral-large-latest",
messages=[{"role": "user", "content": "List 5 programming languages."}]
)
full_response = ""
finish_reason = None
for chunk in stream:
delta = chunk.data.choices[0].delta
if delta.content:
full_response += delta.content
print(delta.content, end="", flush=True)
if chunk.data.choices[0].finish_reason:
finish_reason = chunk.data.choices[0].finish_reason
print(f"\n\nFinish reason: {finish_reason}")
print(f"Complete response ({len(full_response)} characters)")
Gabhtar an athróg finish_reason sa lúb chéanna ar an gcúis chéanna le sa mhód clasaiceach: feictear freagra a ghearrtar ag max_tokens ar an scáileán díreach mar fhreagra iomlán, agus is é an réimse seo amháin a inseoidh duit an difríocht.
Cathain sruthú a úsáid
Ní fearr an sruthú i gcónaí. Tá sé oiriúnach aon uair a bhfuil duine ag breathnú ar an scáileán, ach tá sé iomarcach nó fiú díobhálach nuair atá meaisín ag próiseáil an aschuir.
| Cás úsáide | Moladh |
|---|---|
| Chatbot idirghníomhach | Sruthú (UX níos fearr) |
| Próiseáil bhaisce | Gan sruthú (níos simplí) |
| API cúltíre don aghaidh | Sruthú (SSE chuig brabhsálaí) |
| Píblíne sonraí | Gan sruthú (próiseáil adamhach) |
| Eastóscadh struchtúrtha | Gan sruthú (páirseáil JSON níos iontaofa) |
Is é an cás deireanach an ceann is oideachasúla. Má tá súil agat le JSON, ní chuireann sruthú aon rud leis: ní féidir leat oibiacht neamhiomlán a pháirseáil, agus beidh ort fanacht leis an mbloic dheireanach sow nó sow. Is fearr an glaow a choinneáil adamhach agus an cód simplí.
Príomhphointí
- Laghdaíonn sruthú an mhoill mheasta trí chomharthaí a sheoladh de réir mar a ghintear iad
- Is caighdeán HTTP simplí agus láidir é an prótacal SSE
- I mód sruthaithe, úsáid
delta.contentin ionadmessage.content - Carn blúirí ar thaobh an chliaint chun an freagra iomlán a athchruthú
- Roghnaigh sruthú do chomhéadain úsáideora, agus gan sruthú do phróiseáil uathoibrithe