Sruthú agus Uirlisí
Ar an leathanach seo
Sruthú le Glaoch Feidhme
Ligeann sruthú duit freagra an mhúnla a fháil de réir a chéile, token ar token. Tá sé seo ríthábhachtach do chomhéadain úsáideora atá freagrach. Ach conas a idirghníomhaíonn sruthú le glaoch feidhme?
An Riail Bhunúsach
Tugtar glaoch feidhme ar ais in aon smután amháin, ní de réir a chéile mar shruth. Is difríocht mhór é seo ó ghnáth-théacs, a thagann token ar token.
Go praiticiúil:
- Déantar téacs na freagra a shruthú de réir a chéile
- Tagann tool_calls go léir ag an am céanna in imeacht amháin
Tá an srian seo ann ar chúis mhaith: caithfidh glaoch uirlise a bheith críochnaithe (ainm + argóintí JSON bailí) ionas gur féidir leat é a fhorghníomhú. Bheadh JSON páirteach gan úsáid.
Sruthú le hUirlisí a Chur i bhFeidhm
stream = client.chat.completions.create(
model="grok-4.5",
messages=messages,
tools=tools,
stream=True
)
collected_tool_calls = []
collected_content = ""
for chunk in stream:
delta = chunk.choices[0].delta
# Téacs sruthaithe
if delta.content:
collected_content += delta.content
print(delta.content, end="", flush=True)
# Glaoch uirlisí (tagann siad i mbloc amháin)
if delta.tool_calls:
for tc in delta.tool_calls:
collected_tool_calls.append(tc)
# Seiceáil deireadh an tsrutha
if chunk.choices[0].finish_reason == "tool_calls":
# Tá súil ag an múnla le torthaí uirlisí
break
elif chunk.choices[0].finish_reason == "stop":
# Críochnaíodh an fhreagra, níor glaodh ar uirlis ar bith
break
Glaoch Uirlisí a Athchruthú i Sruthú
I roinnt cásanna, d’fhéadfadh argóintí glaoch uirlise teacht i roinnt píosaí laistigh den sruth. Caithfidh tú iad a athchruthú:
tool_calls_buffer = {}
for chunk in stream:
delta = chunk.choices[0].delta
if delta.tool_calls:
for tc_chunk in delta.tool_calls:
idx = tc_chunk.index
if idx not in tool_calls_buffer:
tool_calls_buffer[idx] = {
"id": tc_chunk.id,
"function": {
"name": tc_chunk.function.name or "",
"arguments": ""
}
}
if tc_chunk.function.name:
tool_calls_buffer[idx]["function"]["name"] = tc_chunk.function.name
if tc_chunk.function.arguments:
tool_calls_buffer[idx]["function"]["arguments"] += tc_chunk.function.arguments
Cinntíonn an cur chuige maolánaithe seo go ndéanann tú gach glaoch uirlise a athchruthú i gceart, fiú má thagann na sonraí scoilte.
Ailtireacht do Shruthú le hUirlisí
I bhfeidhmchlár fíor, ní mór duit dhá shruth comhuaineach a láimhseáil:
- Taispeáint fíor-ama: taispeáin an téacs de réir mar a thagann sé isteach
- Carnadh glaoch uirlisí: bailigh glaoch le haghaidh forghníomhaithe
async def handle_streaming_response(stream):
content_parts = []
tool_calls = []
current_tool = None
async for chunk in stream:
delta = chunk.choices[0].delta
if delta.content:
content_parts.append(delta.content)
yield {"type": "text", "data": delta.content}
if delta.tool_calls:
for tc in delta.tool_calls:
tool_calls.append(tc)
if chunk.choices[0].finish_reason == "tool_calls":
# Forghníomhaigh uirlisí ansin atosú
results = await execute_tools(tool_calls)
yield {"type": "tool_results", "data": results}
Moill agus Taithí an Úsáideora
Baineann sosanna nádúrtha leis an sruthú le huirlisí:
- Cuireann an t-úsáideoir a cheist
- Tosaíonn an múnla ag smaoineamh (gan token le feiceáil)
- Cinneann an múnla glaoch a chur ar uirlis (faigheann tú an tool_call)
- Sos – forghníomhaíonn tú an fheidhm
- Seolann tú an toradh ar ais
- Gineann an múnla a fhreagra (sruthaithe de réir a chéile)
Chun taithí an úsáideora a fheabhsú, taispeáin táscaire le linn céim 4:
🔍 Ag cuardach aimsire i bPáras...
Coscaíonn sé seo ar an úsáideoir smaoineamh go bhfuil an feidhmchlár reoite.
Imeachtaí Seolta ón bhFreastalaí (SSE) d’Fheidhmchláir Ghréasáin
Má tá tú ag tógáil API gréasáin, úsáid SSE chun an sruth a athsheoladh:
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
app = FastAPI()
@app.get("/chat")
async def chat(message: str):
async def event_stream():
stream = client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": message}],
tools=tools,
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
yield f"data: {chunk.choices[0].delta.content}\n\n"
return StreamingResponse(event_stream(), media_type="text/event-stream")
Príomhphointí
- Tagann glaoch uirlisí in aon smután amháin, ní shruthaítear iad de réir a chéile
- Leanann gnáth-théacs ag teacht token ar token
- Athchruthaigh glaoch uirlisí scoilte le maolán innéacsaithe de réir
index - Láimhseáil dhá shruth i gcomhthráth: taispeáint téacs + carnadh glaoch uirlisí
- Taispeáin táscaire le linn forghníomhaithe uirlisí don taithí úsáideora
- Úsáid SSE d’fheidhmchláir ghréasáin