Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Sruthú agus Uirlisí

Ceacht 9 as 14 Nuashonraithe 29 Iúil 2026 Forbróir
Ar an leathanach seo
  1. Sruthú le Glaoch Feidhme
  2. An Riail Bhunúsach
  3. Sruthú le hUirlisí a Chur i bhFeidhm
  4. Glaoch Uirlisí a Athchruthú i Sruthú
  5. Ailtireacht do Shruthú le hUirlisí
  6. Moill agus Taithí an Úsáideora
  7. Imeachtaí Seolta ón bhFreastalaí (SSE) d’Fheidhmchláir Ghréasáin
  8. Príomhphointí

Sruthú le Glaoch Feidhme

Ligeann sruthú duit freagra an mhúnla a fháil de réir a chéile, token ar token. Tá sé seo ríthábhachtach do chomhéadain úsáideora atá freagrach. Ach conas a idirghníomhaíonn sruthú le glaoch feidhme?

An Riail Bhunúsach

Tugtar glaoch feidhme ar ais in aon smután amháin, ní de réir a chéile mar shruth. Is difríocht mhór é seo ó ghnáth-théacs, a thagann token ar token.

Go praiticiúil:

  • Déantar téacs na freagra a shruthú de réir a chéile
  • Tagann tool_calls go léir ag an am céanna in imeacht amháin

Tá an srian seo ann ar chúis mhaith: caithfidh glaoch uirlise a bheith críochnaithe (ainm + argóintí JSON bailí) ionas gur féidir leat é a fhorghníomhú. Bheadh JSON páirteach gan úsáid.

Sruthú le hUirlisí a Chur i bhFeidhm

stream = client.chat.completions.create(
    model="grok-4.5",
    messages=messages,
    tools=tools,
    stream=True
)

collected_tool_calls = []
collected_content = ""

for chunk in stream:
    delta = chunk.choices[0].delta

    # Téacs sruthaithe
    if delta.content:
        collected_content += delta.content
        print(delta.content, end="", flush=True)

    # Glaoch uirlisí (tagann siad i mbloc amháin)
    if delta.tool_calls:
        for tc in delta.tool_calls:
            collected_tool_calls.append(tc)

    # Seiceáil deireadh an tsrutha
    if chunk.choices[0].finish_reason == "tool_calls":
        # Tá súil ag an múnla le torthaí uirlisí
        break
    elif chunk.choices[0].finish_reason == "stop":
        # Críochnaíodh an fhreagra, níor glaodh ar uirlis ar bith
        break

Glaoch Uirlisí a Athchruthú i Sruthú

I roinnt cásanna, d’fhéadfadh argóintí glaoch uirlise teacht i roinnt píosaí laistigh den sruth. Caithfidh tú iad a athchruthú:

tool_calls_buffer = {}

for chunk in stream:
    delta = chunk.choices[0].delta

    if delta.tool_calls:
        for tc_chunk in delta.tool_calls:
            idx = tc_chunk.index

            if idx not in tool_calls_buffer:
                tool_calls_buffer[idx] = {
                    "id": tc_chunk.id,
                    "function": {
                        "name": tc_chunk.function.name or "",
                        "arguments": ""
                    }
                }

            if tc_chunk.function.name:
                tool_calls_buffer[idx]["function"]["name"] = tc_chunk.function.name
            if tc_chunk.function.arguments:
                tool_calls_buffer[idx]["function"]["arguments"] += tc_chunk.function.arguments

Cinntíonn an cur chuige maolánaithe seo go ndéanann tú gach glaoch uirlise a athchruthú i gceart, fiú má thagann na sonraí scoilte.

Ailtireacht do Shruthú le hUirlisí

I bhfeidhmchlár fíor, ní mór duit dhá shruth comhuaineach a láimhseáil:

  1. Taispeáint fíor-ama: taispeáin an téacs de réir mar a thagann sé isteach
  2. Carnadh glaoch uirlisí: bailigh glaoch le haghaidh forghníomhaithe
async def handle_streaming_response(stream):
    content_parts = []
    tool_calls = []
    current_tool = None

    async for chunk in stream:
        delta = chunk.choices[0].delta

        if delta.content:
            content_parts.append(delta.content)
            yield {"type": "text", "data": delta.content}

        if delta.tool_calls:
            for tc in delta.tool_calls:
                tool_calls.append(tc)

        if chunk.choices[0].finish_reason == "tool_calls":
            # Forghníomhaigh uirlisí ansin atosú
            results = await execute_tools(tool_calls)
            yield {"type": "tool_results", "data": results}

Moill agus Taithí an Úsáideora

Baineann sosanna nádúrtha leis an sruthú le huirlisí:

  1. Cuireann an t-úsáideoir a cheist
  2. Tosaíonn an múnla ag smaoineamh (gan token le feiceáil)
  3. Cinneann an múnla glaoch a chur ar uirlis (faigheann tú an tool_call)
  4. Sos – forghníomhaíonn tú an fheidhm
  5. Seolann tú an toradh ar ais
  6. Gineann an múnla a fhreagra (sruthaithe de réir a chéile)

Chun taithí an úsáideora a fheabhsú, taispeáin táscaire le linn céim 4:

🔍 Ag cuardach aimsire i bPáras...

Coscaíonn sé seo ar an úsáideoir smaoineamh go bhfuil an feidhmchlár reoite.

Imeachtaí Seolta ón bhFreastalaí (SSE) d’Fheidhmchláir Ghréasáin

Má tá tú ag tógáil API gréasáin, úsáid SSE chun an sruth a athsheoladh:

from fastapi import FastAPI
from fastapi.responses import StreamingResponse

app = FastAPI()

@app.get("/chat")
async def chat(message: str):
    async def event_stream():
        stream = client.chat.completions.create(
            model="grok-4.5",
            messages=[{"role": "user", "content": message}],
            tools=tools,
            stream=True
        )
        for chunk in stream:
            if chunk.choices[0].delta.content:
                yield f"data: {chunk.choices[0].delta.content}\n\n"

    return StreamingResponse(event_stream(), media_type="text/event-stream")

Príomhphointí

  • Tagann glaoch uirlisí in aon smután amháin, ní shruthaítear iad de réir a chéile
  • Leanann gnáth-théacs ag teacht token ar token
  • Athchruthaigh glaoch uirlisí scoilte le maolán innéacsaithe de réir index
  • Láimhseáil dhá shruth i gcomhthráth: taispeáint téacs + carnadh glaoch uirlisí
  • Taispeáin táscaire le linn forghníomhaithe uirlisí don taithí úsáideora
  • Úsáid SSE d’fheidhmchláir ghréasáin