Briseadh isteach agus Bainistiú Sealaíochta
Ar an leathanach seo
Nuashonraithe 2 Samhain, 2026 — Múnlaí fuaime. Tá roinnt múnlaí sa chúrsa seo tar éis dul in éag: stopfaidh
tts-1,tts-1-hd, agusgpt-4o-mini-ttsag obair ar 6 Eanáir, 2027 (ionadaí:gpt-realtime-2.1-mini, a deir treoir TTS OpenAI nach dtacaítear leis ag/v1/audio/speech: aistrítear sintéis cainte chuig an Realtime API);gpt-realtime,gpt-4o-realtime, agus múnlaí fuaime oidhreachta ar 20 Eanáir, 2027 (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribe, agus/v1/audio/translationsar 26 Feabhra, 2027 (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Maidir le guth lán-dúbailte, tá GPT-Live 1 ar fáil san API ón 10 Meán Fómhair, 2026.
Ceartaithe 3 Samhain, 2026. Chuir imeachtaí
session.updateturn_detectionag fréamh na seisiúin roimhe seo, formáid ón mbéite seanbhunaithe: leis an Realtime API reatha, tá an socrú suite insession.audio.input.turn_detection, agus iompraíonn an seisiún"type": "realtime". Sheol bainistiú briseadh isteachresponse.cancelroimhe seo, ach le VAD, cealaíonn an freastalaí an freagra é féin, agus bhí athróg neamhshainithe sa chód. Clúdaíonn an ceacht seo anoissemantic_vad,create_response, agusinterrupt_response, agus déanann sé idirdhealú idir WebSocket agus WebRTC. Fíoraíodh cruthanna imeachta i gcoinne cineálacha SDKopenai3.42.1. Foinse: Voice activity detection · Realtime conversations.
Briseadh isteach agus Bainistiú Sealaíochta
I gcomhrá nádúrtha, briseann daoine isteach ar a chéile, labhraíonn siad thar a chéile, agus stopann siad a chéile. Beidh gníomhaire gutha nach féidir leis na cásanna seo a láimhseáil meicniúil agus frustrach. Soláthraíonn an Realtime API dhá mheicníocht chun sealúchta a bhainistiú: Brath Gníomhaíochta Gutha (VAD) uathoibríoch agus rialú láimhe.
Brath Gníomhaíochta Gutha (VAD)
Tá VAD cumasaithe go réamhshocraithe i seisiún comhrá gutha, ag oibriú i mód server_vad: déanann an freastalaí anailís leanúnach ar fhuaime isteach, déanann sé deighilt bunaithe ar thost, agus cuireann sé tús agus deireadh le caint an úsáideora in iúl. Cumraíonn tú é in session.audio.input.turn_detection:
await ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"audio": {
"input": {
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"prefix_padding_ms": 300,
"silence_duration_ms": 500,
"create_response": True, # freagair láithreach nuair a chríochnaíonn an sealú
"interrupt_response": True, # bris ar an ngníomhaire má labhraíonn an t-úsáideoir
}
}
},
},
}))
Paraiméadair VAD
| Paraiméadar | Cur síos | Tionchar |
|---|---|---|
| threshold | Tairseach braite (0.0 go 1.0) | Ard = níos lú íogair, Íseal = níos íogaire |
| prefix_padding_ms | Fuaim a choinnítear roimh bhrath | Coscaíonn sé barr a chur le focail |
| silence_duration_ms | Fad tostaigh a theastaíonn chun deireadh a chur leis an sealú | Gearr = freagrach, Fada = foighneach |
Má tá silence_duration_ms ró-ghairid, spreagfaidh sé freagra le linn sosanna nádúrtha i gcaint an úsáideora; má tá sé ró-fhada, beidh an gníomhaire cosúil le bheith neamhfhreagrach. Ní fhoilsíonn OpenAI réamhshocruithe sonraithe do theangacha: tosaigh leis an sampla sa doiciméadú (500 ms) agus coigeartaigh bunaithe ar thaifeadtaí d’úsáideoirí. Éilíonn threshold níos airde fuaim níos airde chun spreagadh, rud a chuidíonn i dtimpeallachtaí torannacha.
Semantic VAD
Ní bhraitheann an dara mód, semantic_vad, ar thost ach ar fhocail: meastar le haicmitheoir an bhfuil an t-úsáideoir tar éis a chuid abairte a chríochnú. Faigheann abairt atá fágtha ar crochadh níos mó ama ná ráiteas soiléir, agus briseann an múnla isteach níos lú minic. Is féidir leis an socrú eagerness a bheith low (lig don úsáideoir a am a ghlacadh), medium, high (freagair chomh luath agus is féidir), nó auto, an luach réamhshocraithe, atá coibhéiseach le medium:
await ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"audio": {"input": {"turn_detection": {"type": "semantic_vad", "eagerness": "low"}}},
},
}))
Láimhseáil Briseadh Isteach
Nuair a labhraíonn an t-úsáideoir agus an gníomhaire ag freagairt, eisíonn an freastalaí input_audio_buffer.speech_started. Le VAD agus interrupt_response cumasaithe, cealaíonn an freastalaí an freagra reatha: seolann sé response.done ansin le stádas cancelled. Caithfidh tú dhá rud a dhéanamh ar do thaobh fós, ar nasc WebSocket áit a bhfuil tú ag seinm na fuaime:
- Stad an tseinm láithreach agus caith aon fhuaime scuaine amach, ag tabhairt faoi deara cé mhéad milleasoicind a chuala an t-úsáideoir i ndáiríre
- Gearr mír an ghníomhaire go dtí an fad sin ag baint úsáide as
conversation.item.truncate
Ná fan le response.done chun ceachtar acu a dhéanamh.
async def handle_interruption(ws, event: dict, player, item_id: str | None, ms_played: int) -> None:
"""Láimhseálann sé caint úsáideora agus an gníomhaire ag labhairt (WebSocket)."""
if event["type"] != "input_audio_buffer.speech_started":
return
# 1. Stad an tseinm agus glan an maolán fuaime scuaine
player.stop_stream()
# 2. Bain an chuid nach bhfuair an t-úsáideoir cloisteáil ón stair
if item_id:
await ws.send(json.dumps({
"type": "conversation.item.truncate",
"item_id": item_id,
"content_index": 0,
"audio_end_ms": ms_played,
}))
# 3. Athoscail an tseinm don chéad fhreagra eile
player.start_stream()
Ríomh ms_played bunaithe ar an méid a sheol tú go dtí an callaire i ndáiríre: i PCM aonfhónach 16-giotán ag 24 kHz, is ionann 48,000 beart agus soicind amháin. I WebRTC nó SIP, bainistíonn an freastalaí an maolán aschuir é féin, tá a fhios aige cad atá seinnte, agus gearrann sé go huathoibríoch é: ní gá duit aon rud a sheoladh.
Cén fáth an freagra a ghearradh?
Gan gearradh, bheadh an freagra iomlán ón múnla sa stair comhrá, cé nach bhfuair an t-úsáideoir ach cuid de chloisteáil. Dá bhfaighfeadh an t-úsáideoir an cheist “Cad é an rud deireanach a dúirt tú?”, cheapfadh an múnla gur dúirt sé é go léir. Ailíníonn an gearradh an stair leis an méid a chuala an t-úsáideoir i ndáiríre. Tugann an doiciméadú faoi deara teorainn: gearrann an gearradh an fhuaim agus baintear tras-scríbhinn na coda nár seinnedh, ach ní sholáthraíonn sé tras-scríbhinn focal ar fhocal ghearrtha.
Mód Rialaithe Láimhe
Do chásanna úsáide áirithe (rochláir IVR, deachtú, ceiseanna), níl VAD uathoibríoch oiriúnach. Tugann an mód láimhe rialú iomlán duit:
# Díghníomhachtaigh VAD
await ws.send(json.dumps({
"type": "session.update",
"session": {"type": "realtime", "audio": {"input": {"turn_detection": None}}},
}))
# Brúigh cnaipe: má tá an gníomhaire fós ag labhairt, cealaigh a fhreagra agus gearr fuaim nach seinnedh
await ws.send(json.dumps({"type": "response.cancel"}))
# Scaoil an cnaipe: seoladh fuaim trí input_audio_buffer.append, déan an sealú a dhaingniú...
await ws.send(json.dumps({"type": "input_audio_buffer.commit"}))
# ...ansin spreag an freagra
await ws.send(json.dumps({"type": "response.create"}))
Gan VAD, níl aon rud uathoibríoch: seo an áit a dtagann response.cancel isteach, nuair atá freagra ar siúl agus an t-úsáideoir ag glacadh rialaithe ar ais. Idir sealúcháin, folmhaíonn input_audio_buffer.clear an maolán ionchuir.
Tá meánbhealach ann: coinnigh VAD cumasaithe ionas go ndéanann sé deighilt ar shealúcháin fós agus go n-eisíonn sé imeachtaí, ach socraigh create_response agus interrupt_response go False. Ní sheoltar aon fhreagra gan do response.create sainráite, rud a thugann am duit an t-ionchur a fhíorú nó a shaibhriú (módráil, aisghabháil doiciméad), ar chostas beag moille.
Cásanna Úsáide don Mhód Láimhe
- Rochlár IVR: Fan le tón DTMF nó eochairfhocal sonrach sula bhfreagraíonn tú
- Deachtú: Carn codanna fada fuaime gan briseadh isteach
- Deimhniú: Fan le “tá” nó “níl” sainráite
- Brúigh-chun-labhairt: Brúíonn an t-úsáideoir cnaipe chun labhairt
Ailtireacht Bainistithe Stáit
Chun bainistiú sealúchta láidir a dhéanamh, coinnigh meaisín stáit:
from enum import Enum
class ConversationState(Enum):
IDLE = "idle" # Ag fanacht
USER_SPEAKING = "user_speaking" # Tá an t-úsáideoir ag labhairt
PROCESSING = "processing" # Tá an múnla ag próiseáil
AGENT_SPEAKING = "agent_speaking" # Tá an gníomhaire ag freagairt
INTERRUPTED = "interrupted" # Briseadh isteach ar siúl
class TurnManager:
def __init__(self):
self.state = ConversationState.IDLE
self.current_response_item_id = None
self.played_audio_ms = 0
def on_event(self, event_type: str):
if event_type == "input_audio_buffer.speech_started":
if self.state == ConversationState.AGENT_SPEAKING:
self.state = ConversationState.INTERRUPTED
else:
self.state = ConversationState.USER_SPEAKING
elif event_type == "input_audio_buffer.speech_stopped":
self.state = ConversationState.PROCESSING
elif event_type == "response.output_audio.delta":
self.state = ConversationState.AGENT_SPEAKING
elif event_type == "response.done":
self.state = ConversationState.IDLE
Príomhphointí
- Cumraítear VAD (
server_vadgo réamhshocraithe) insession.audio.input.turn_detection - Déanann
semantic_vaddeighilt bunaithe ar bhrí; rialaíonneagernessa fhoighne - Le VAD, cealaíonn an freastalaí an freagra briste isteach; ar WebSocket, stad an tseinm agus gearr le
conversation.item.truncate(uathoibríoch i WebRTC agus SIP) - Oiriúnann an mód láimhe (
turn_detectionsocraithe goNone) do bhrúigh-chun-labhairt, rochláir IVR, agus deachtú - Coscaíonn meaisín stáit sainráite iompar neamhchomhsheasmhach i gcásanna imeallacha