Sruthú optamaithe
Ar an leathanach seo
Cad a athraíonn an sruthú i ndáiríre
Ní dhéanann sruthú an tsamhail níos tapúla: déanann sé an feitheamh inbhuanaithe. I gcás freagairt a thógann cúig shoicind le giniúint, breathnaíonn úsáideoir gan sruthú ar scáileán bán ar feadh cúig shoicind sula bhfaigheann sé bloc téacs. Le sruthú, feiceann siad na chéad fhocail tar éis cúpla céad milleasoicind agus léann siad ar aghaidh de réir mar a scríobhann an tsamhail. Tá an fad iomlán mar an gcéanna, ach tá an mheabhrú go hiomlán difriúil. Sin an fáth, i dtáirgeadh, gur locht dearaidh beagnach i gcónaí é sruthú a scipeáil seachas rogha chomhfhiosach.
Mar sin féin, caithfidh an sruth sreabhadh tríd do shlabhra iomlán. Sruth a ghintear i gceart ag an API ach a charnann do fhreastalaí feidhmchláir nó a mhaolánaíonn do phrócsaí droim ar ais sroicheann sé an t-úsáideoir i mbloc amháin: d’íoc tú praghas na castachta as sruthú gan na tairbhí a bhaint as. Leanann an ceacht seo an cosán iomlán dá bhrí sin, ón nglaoch API go dtí an brabhsálaí.
An sruth a úsáid ar thaobh an chliaint
Leis an API Freagraí, athraíonn stream=True an fhreagairt ina seicheamh d’imeachtaí clóscríofa a iterálann tú de réir mar a thagann siad. Tagann gach blúire téacs in imeacht response.output_text.delta; tá deireadh an tsrutha comharthaíte ag response.completed, a iompraíonn an oibiacht freagartha iomlán, úsáideach chun úsáid token a aisghabháil.
import openai
client = openai.OpenAI()
def generate_streaming(prompt: str):
"""Giniúint sruthaithe leis an API Freagraí."""
stream = client.responses.create(
model="gpt-5.6-terra",
input=prompt,
stream=True,
)
for event in stream:
if event.type == "response.output_text.delta":
print(event.delta, end="", flush=True)
elif event.type == "response.completed":
print() # Líne nua ag an deireadh
return event.response
Níl an brat flush=True cosmaideach: gan é, déanann Python maolánú ar an aschur féin, agus críochnaíonn tú leis an iompar bloc a raibh tú ag iarraidh a sheachaint. Athraíonn an mionsonra seo ag gach sraith den slabhra, agus is é seo an phríomhdheacracht a bhaineann le sruthú.
Clúdaíonn an mheicníocht glaonna feidhme freisin. Tógtar argóintí uirlise de réir a chéile, agus is féidir leat iad a thaispeáint de réir mar a ghintear iad chun comhartha a thabhairt don úsáideoir go bhfuil cuardach á fhoirmiú, seachas iad a fhágáil ag breathnú ar chomhéadan reoite agus an tsamhail ag ullmhú a glao.
tools = [
{
"type": "function",
"name": "search_product",
"description": "Cuardaíonn sé táirge sa chatalóg.",
"parameters": {
"type": "object",
"properties": {
"query": {"type": "string"},
"category": {"type": "string"},
},
"required": ["query"],
},
}
]
def streaming_with_tools(prompt: str):
stream = client.responses.create(
model="gpt-5.6-terra",
input=prompt,
tools=tools,
stream=True,
)
for event in stream:
match event.type:
case "response.output_text.delta":
print(event.delta, end="", flush=True)
case "response.function_call_arguments.delta":
# Argóintí feidhme á nginiúint faoi láthair
print(f"[arg: {event.delta}]", end="")
case "response.function_call_arguments.done":
print(f"\n[Glao feidhme críochnaithe]")
An sruth a athsheoladh chuig an mbrabhsálaí
Ní labhraíonn do thosaigh leis an API OpenAI go díreach – labhraíonn sé le do fhreastalaí, agus mar sin caithfidh sé an sruth a athsheoladh. Is iad Imeachtaí Seirbhísithe Freastalaí (SSE) an formáid nádúrtha don rud seo: freagairt HTTP a fhanann oscailte, áit a n-iompraíonn gach líne data: blúire JSON. Seolann an sampla seo a leanas téacs de réir mar a thagann sé, ansin eisíonn sé teachtaireacht dheireanach ina bhfuil líon na token, rud a ligeann duit billeáil nó logáil a dhéanamh gan dara glaoch.
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
import openai
import json
app = FastAPI()
client = openai.OpenAI()
@app.post("/api/chat")
async def chat_streaming(request: dict):
prompt = request["message"]
async def generate():
stream = client.responses.create(
model="gpt-5.6-terra",
input=prompt,
stream=True,
)
for event in stream:
if event.type == "response.output_text.delta":
data = json.dumps({"text": event.delta})
yield f"data: {data}\n\n"
elif event.type == "response.completed":
usage = event.response.usage
data = json.dumps({
"end": True,
"input_tokens": usage.input_tokens,
"output_tokens": usage.output_tokens,
})
yield f"data: {data}\n\n"
return StreamingResponse(
generate(),
media_type="text/event-stream",
headers={
"Cache-Control": "no-cache",
"X-Accel-Buffering": "no", # Tábhachtach do nginx
},
)
Ansin tá an prócsaí droim ar ais, an t-amhrastaí gnáthach nuair a “oibríonn sruthú go háitiúil ach nach n-oibríonn sé i dtáirgeadh.” De réir réamhshocraithe, carnann nginx freagairt an chúlchríche sula dtarchuireann sé í. Díchumasaíonn an chumraíocht thíos an t-iompar seo don bhealach sonrach amháin.
location /api/chat {
proxy_pass http://127.0.0.1:8000;
proxy_buffering off;
proxy_cache off;
proxy_set_header Connection "";
chunked_transfer_encoding on;
}
An nasc a choinneáil le himeacht ama
Tá nasc atá oscailte ar feadh roinnt deichní soicind níos nochtaithe ná glaoch gairid: titim líonra, buailte cuóta, agus stopann an ghiniúint i lár abairte. Caithfidh do straitéis athiarrtha idirdhealú a dhéanamh idir an dá chás seo, toisc go n-éilíonn siad cur chuige difriúil. Ba chóir earráid nasc a athiarradh le cúlú easpónantúil, ag tabhairt ama don líonra teacht ar ais gan an API a bhuailt; ba chóir sárú cuóta a athiarradh tar éis feitheamh seasta, ós rud é go n-athshocraíonn an fhuinneog teorainn ráta ag eatraimh rialta.
import openai
def resilient_streaming(prompt: str, max_attempts: int = 3):
"""Sruthú le láimhseáil earráidí agus athiarracht."""
for attempt in range(max_attempts):
try:
stream = client.responses.create(
model="gpt-5.6-terra",
input=prompt,
stream=True,
)
full_text = ""
for event in stream:
if event.type == "response.output_text.delta":
full_text += event.delta
yield event.delta
return # Rath, scoir
except openai.APIConnectionError:
if attempt < max_attempts - 1:
import time
time.sleep(2 ** attempt) # Cúlú easpónantúil
else:
raise
except openai.RateLimitError:
import time
time.sleep(5) # Feitheamh seasta don teorainn ráta
Feabhsaíonn cleas deireanach amháin compord léitheoireachta. Cruthaíonn gach token a eisíonn téacs gearrtha, go háirithe má chuireann do chomhéadan beochan i bhfeidhm nó má théann an toradh go téacs-go-labhra. Tugann carnadh suas go dtí deireadh na habairte rithim atá níos gaire do léitheoireacht dhaonna, ar chostas moille breise beag ar an gcéad bhlúire.
def streaming_by_sentence(prompt: str):
"""Carnaíonn sé agus eisíonn sé de réir abairte iomláine."""
buffer = ""
stream = client.responses.create(
model="gpt-5.6-terra",
input=prompt,
stream=True,
)
for event in stream:
if event.type == "response.output_text.delta":
buffer += event.delta
# Cuardaigh deireadh na habairte
for separator in [".\n", "!\n", "?\n", ". ", "! ", "? "]:
if separator in buffer:
parts = buffer.split(separator, 1)
yield parts[0] + separator.rstrip()
buffer = parts[1] if len(parts) > 1 else ""
if buffer.strip():
yield buffer.strip()
Tabhair faoi deara an if buffer.strip() deireanach: gan é, chaillfeadh freagairt nach gcríochnaíonn le poncaíocht láidir a cuid focail dheireanacha. Ní thugtar faoi deara an cineál seo dearmad i dtástáil agus léiríonn sé féin i dtáirgeadh ar fhreagraí a ghearrtar trí max_output_tokens.
Príomhphointí
- Úsáid sruthú i gcónaí i dtáirgeadh chun moill mheabhrúcháin a laghdú
- Cumraigh nginx le
proxy_buffering offdo SSE - Láimhseáil earráidí le hathiarracht agus cúlú easpónantúil
- Carn de réir abairte le haghaidh taispeána níos nádúrtha