Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Sruthú optamaithe

Ceacht 5 as 20 Nuashonraithe 28 Iúil 2026 Ardleibhéal
Ar an leathanach seo
  1. Cad a athraíonn an sruthú i ndáiríre
  2. An sruth a úsáid ar thaobh an chliaint
  3. An sruth a athsheoladh chuig an mbrabhsálaí
  4. An nasc a choinneáil le himeacht ama
  5. Príomhphointí

Cad a athraíonn an sruthú i ndáiríre

Ní dhéanann sruthú an tsamhail níos tapúla: déanann sé an feitheamh inbhuanaithe. I gcás freagairt a thógann cúig shoicind le giniúint, breathnaíonn úsáideoir gan sruthú ar scáileán bán ar feadh cúig shoicind sula bhfaigheann sé bloc téacs. Le sruthú, feiceann siad na chéad fhocail tar éis cúpla céad milleasoicind agus léann siad ar aghaidh de réir mar a scríobhann an tsamhail. Tá an fad iomlán mar an gcéanna, ach tá an mheabhrú go hiomlán difriúil. Sin an fáth, i dtáirgeadh, gur locht dearaidh beagnach i gcónaí é sruthú a scipeáil seachas rogha chomhfhiosach.

Mar sin féin, caithfidh an sruth sreabhadh tríd do shlabhra iomlán. Sruth a ghintear i gceart ag an API ach a charnann do fhreastalaí feidhmchláir nó a mhaolánaíonn do phrócsaí droim ar ais sroicheann sé an t-úsáideoir i mbloc amháin: d’íoc tú praghas na castachta as sruthú gan na tairbhí a bhaint as. Leanann an ceacht seo an cosán iomlán dá bhrí sin, ón nglaoch API go dtí an brabhsálaí.

An sruth a úsáid ar thaobh an chliaint

Leis an API Freagraí, athraíonn stream=True an fhreagairt ina seicheamh d’imeachtaí clóscríofa a iterálann tú de réir mar a thagann siad. Tagann gach blúire téacs in imeacht response.output_text.delta; tá deireadh an tsrutha comharthaíte ag response.completed, a iompraíonn an oibiacht freagartha iomlán, úsáideach chun úsáid token a aisghabháil.

import openai

client = openai.OpenAI()

def generate_streaming(prompt: str):
    """Giniúint sruthaithe leis an API Freagraí."""
    stream = client.responses.create(
        model="gpt-5.6-terra",
        input=prompt,
        stream=True,
    )

    for event in stream:
        if event.type == "response.output_text.delta":
            print(event.delta, end="", flush=True)
        elif event.type == "response.completed":
            print()  # Líne nua ag an deireadh
            return event.response

Níl an brat flush=True cosmaideach: gan é, déanann Python maolánú ar an aschur féin, agus críochnaíonn tú leis an iompar bloc a raibh tú ag iarraidh a sheachaint. Athraíonn an mionsonra seo ag gach sraith den slabhra, agus is é seo an phríomhdheacracht a bhaineann le sruthú.

Clúdaíonn an mheicníocht glaonna feidhme freisin. Tógtar argóintí uirlise de réir a chéile, agus is féidir leat iad a thaispeáint de réir mar a ghintear iad chun comhartha a thabhairt don úsáideoir go bhfuil cuardach á fhoirmiú, seachas iad a fhágáil ag breathnú ar chomhéadan reoite agus an tsamhail ag ullmhú a glao.

tools = [
    {
        "type": "function",
        "name": "search_product",
        "description": "Cuardaíonn sé táirge sa chatalóg.",
        "parameters": {
            "type": "object",
            "properties": {
                "query": {"type": "string"},
                "category": {"type": "string"},
            },
            "required": ["query"],
        },
    }
]

def streaming_with_tools(prompt: str):
    stream = client.responses.create(
        model="gpt-5.6-terra",
        input=prompt,
        tools=tools,
        stream=True,
    )

    for event in stream:
        match event.type:
            case "response.output_text.delta":
                print(event.delta, end="", flush=True)
            case "response.function_call_arguments.delta":
                # Argóintí feidhme á nginiúint faoi láthair
                print(f"[arg: {event.delta}]", end="")
            case "response.function_call_arguments.done":
                print(f"\n[Glao feidhme críochnaithe]")

An sruth a athsheoladh chuig an mbrabhsálaí

Ní labhraíonn do thosaigh leis an API OpenAI go díreach – labhraíonn sé le do fhreastalaí, agus mar sin caithfidh sé an sruth a athsheoladh. Is iad Imeachtaí Seirbhísithe Freastalaí (SSE) an formáid nádúrtha don rud seo: freagairt HTTP a fhanann oscailte, áit a n-iompraíonn gach líne data: blúire JSON. Seolann an sampla seo a leanas téacs de réir mar a thagann sé, ansin eisíonn sé teachtaireacht dheireanach ina bhfuil líon na token, rud a ligeann duit billeáil nó logáil a dhéanamh gan dara glaoch.

from fastapi import FastAPI
from fastapi.responses import StreamingResponse
import openai
import json

app = FastAPI()
client = openai.OpenAI()

@app.post("/api/chat")
async def chat_streaming(request: dict):
    prompt = request["message"]

    async def generate():
        stream = client.responses.create(
            model="gpt-5.6-terra",
            input=prompt,
            stream=True,
        )

        for event in stream:
            if event.type == "response.output_text.delta":
                data = json.dumps({"text": event.delta})
                yield f"data: {data}\n\n"
            elif event.type == "response.completed":
                usage = event.response.usage
                data = json.dumps({
                    "end": True,
                    "input_tokens": usage.input_tokens,
                    "output_tokens": usage.output_tokens,
                })
                yield f"data: {data}\n\n"

    return StreamingResponse(
        generate(),
        media_type="text/event-stream",
        headers={
            "Cache-Control": "no-cache",
            "X-Accel-Buffering": "no",  # Tábhachtach do nginx
        },
    )

Ansin tá an prócsaí droim ar ais, an t-amhrastaí gnáthach nuair a “oibríonn sruthú go háitiúil ach nach n-oibríonn sé i dtáirgeadh.” De réir réamhshocraithe, carnann nginx freagairt an chúlchríche sula dtarchuireann sé í. Díchumasaíonn an chumraíocht thíos an t-iompar seo don bhealach sonrach amháin.

location /api/chat {
    proxy_pass http://127.0.0.1:8000;
    proxy_buffering off;
    proxy_cache off;
    proxy_set_header Connection "";
    chunked_transfer_encoding on;
}

An nasc a choinneáil le himeacht ama

Tá nasc atá oscailte ar feadh roinnt deichní soicind níos nochtaithe ná glaoch gairid: titim líonra, buailte cuóta, agus stopann an ghiniúint i lár abairte. Caithfidh do straitéis athiarrtha idirdhealú a dhéanamh idir an dá chás seo, toisc go n-éilíonn siad cur chuige difriúil. Ba chóir earráid nasc a athiarradh le cúlú easpónantúil, ag tabhairt ama don líonra teacht ar ais gan an API a bhuailt; ba chóir sárú cuóta a athiarradh tar éis feitheamh seasta, ós rud é go n-athshocraíonn an fhuinneog teorainn ráta ag eatraimh rialta.

import openai

def resilient_streaming(prompt: str, max_attempts: int = 3):
    """Sruthú le láimhseáil earráidí agus athiarracht."""
    for attempt in range(max_attempts):
        try:
            stream = client.responses.create(
                model="gpt-5.6-terra",
                input=prompt,
                stream=True,
            )

            full_text = ""
            for event in stream:
                if event.type == "response.output_text.delta":
                    full_text += event.delta
                    yield event.delta

            return  # Rath, scoir

        except openai.APIConnectionError:
            if attempt < max_attempts - 1:
                import time
                time.sleep(2 ** attempt)  # Cúlú easpónantúil
            else:
                raise
        except openai.RateLimitError:
            import time
            time.sleep(5)  # Feitheamh seasta don teorainn ráta

Feabhsaíonn cleas deireanach amháin compord léitheoireachta. Cruthaíonn gach token a eisíonn téacs gearrtha, go háirithe má chuireann do chomhéadan beochan i bhfeidhm nó má théann an toradh go téacs-go-labhra. Tugann carnadh suas go dtí deireadh na habairte rithim atá níos gaire do léitheoireacht dhaonna, ar chostas moille breise beag ar an gcéad bhlúire.

def streaming_by_sentence(prompt: str):
    """Carnaíonn sé agus eisíonn sé de réir abairte iomláine."""
    buffer = ""

    stream = client.responses.create(
        model="gpt-5.6-terra",
        input=prompt,
        stream=True,
    )

    for event in stream:
        if event.type == "response.output_text.delta":
            buffer += event.delta
            # Cuardaigh deireadh na habairte
            for separator in [".\n", "!\n", "?\n", ". ", "! ", "? "]:
                if separator in buffer:
                    parts = buffer.split(separator, 1)
                    yield parts[0] + separator.rstrip()
                    buffer = parts[1] if len(parts) > 1 else ""

    if buffer.strip():
        yield buffer.strip()

Tabhair faoi deara an if buffer.strip() deireanach: gan é, chaillfeadh freagairt nach gcríochnaíonn le poncaíocht láidir a cuid focail dheireanacha. Ní thugtar faoi deara an cineál seo dearmad i dtástáil agus léiríonn sé féin i dtáirgeadh ar fhreagraí a ghearrtar trí max_output_tokens.

Príomhphointí

  • Úsáid sruthú i gcónaí i dtáirgeadh chun moill mheabhrúcháin a laghdú
  • Cumraigh nginx le proxy_buffering off do SSE
  • Láimhseáil earráidí le hathiarracht agus cúlú easpónantúil
  • Carn de réir abairte le haghaidh taispeána níos nádúrtha