Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Briseadh isteach agus Bainistiú Sealaíochta

Ceacht 5 as 18 Nuashonraithe 3 Samhain 2026 Forbróir
Ar an leathanach seo
  1. Briseadh isteach agus Bainistiú Sealaíochta
  2. Brath Gníomhaíochta Gutha (VAD)
  3. Láimhseáil Briseadh Isteach
  4. Mód Rialaithe Láimhe
  5. Ailtireacht Bainistithe Stáit
  6. Príomhphointí

Nuashonraithe 2 Samhain, 2026 — Múnlaí fuaime. Tá roinnt múnlaí sa chúrsa seo tar éis dul in éag: stopfaidh tts-1, tts-1-hd, agus gpt-4o-mini-tts ag obair ar 6 Eanáir, 2027 (ionadaí: gpt-realtime-2.1-mini, a deir treoir TTS OpenAI nach dtacaítear leis ag /v1/audio/speech: aistrítear sintéis cainte chuig an Realtime API); gpt-realtime, gpt-4o-realtime, agus múnlaí fuaime oidhreachta ar 20 Eanáir, 2027 (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe, agus /v1/audio/translations ar 26 Feabhra, 2027 (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Maidir le guth lán-dúbailte, tá GPT-Live 1 ar fáil san API ón 10 Meán Fómhair, 2026.

Ceartaithe 3 Samhain, 2026. Chuir imeachtaí session.update turn_detection ag fréamh na seisiúin roimhe seo, formáid ón mbéite seanbhunaithe: leis an Realtime API reatha, tá an socrú suite in session.audio.input.turn_detection, agus iompraíonn an seisiún "type": "realtime". Sheol bainistiú briseadh isteach response.cancel roimhe seo, ach le VAD, cealaíonn an freastalaí an freagra é féin, agus bhí athróg neamhshainithe sa chód. Clúdaíonn an ceacht seo anois semantic_vad, create_response, agus interrupt_response, agus déanann sé idirdhealú idir WebSocket agus WebRTC. Fíoraíodh cruthanna imeachta i gcoinne cineálacha SDK openai 3.42.1. Foinse: Voice activity detection · Realtime conversations.

Briseadh isteach agus Bainistiú Sealaíochta

I gcomhrá nádúrtha, briseann daoine isteach ar a chéile, labhraíonn siad thar a chéile, agus stopann siad a chéile. Beidh gníomhaire gutha nach féidir leis na cásanna seo a láimhseáil meicniúil agus frustrach. Soláthraíonn an Realtime API dhá mheicníocht chun sealúchta a bhainistiú: Brath Gníomhaíochta Gutha (VAD) uathoibríoch agus rialú láimhe.

Brath Gníomhaíochta Gutha (VAD)

Tá VAD cumasaithe go réamhshocraithe i seisiún comhrá gutha, ag oibriú i mód server_vad: déanann an freastalaí anailís leanúnach ar fhuaime isteach, déanann sé deighilt bunaithe ar thost, agus cuireann sé tús agus deireadh le caint an úsáideora in iúl. Cumraíonn tú é in session.audio.input.turn_detection:

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "type": "realtime",
        "audio": {
            "input": {
                "turn_detection": {
                    "type": "server_vad",
                    "threshold": 0.5,
                    "prefix_padding_ms": 300,
                    "silence_duration_ms": 500,
                    "create_response": True,      # freagair láithreach nuair a chríochnaíonn an sealú
                    "interrupt_response": True,   # bris ar an ngníomhaire má labhraíonn an t-úsáideoir
                }
            }
        },
    },
}))

Paraiméadair VAD

Paraiméadar Cur síos Tionchar
threshold Tairseach braite (0.0 go 1.0) Ard = níos lú íogair, Íseal = níos íogaire
prefix_padding_ms Fuaim a choinnítear roimh bhrath Coscaíonn sé barr a chur le focail
silence_duration_ms Fad tostaigh a theastaíonn chun deireadh a chur leis an sealú Gearr = freagrach, Fada = foighneach

Má tá silence_duration_ms ró-ghairid, spreagfaidh sé freagra le linn sosanna nádúrtha i gcaint an úsáideora; má tá sé ró-fhada, beidh an gníomhaire cosúil le bheith neamhfhreagrach. Ní fhoilsíonn OpenAI réamhshocruithe sonraithe do theangacha: tosaigh leis an sampla sa doiciméadú (500 ms) agus coigeartaigh bunaithe ar thaifeadtaí d’úsáideoirí. Éilíonn threshold níos airde fuaim níos airde chun spreagadh, rud a chuidíonn i dtimpeallachtaí torannacha.

Semantic VAD

Ní bhraitheann an dara mód, semantic_vad, ar thost ach ar fhocail: meastar le haicmitheoir an bhfuil an t-úsáideoir tar éis a chuid abairte a chríochnú. Faigheann abairt atá fágtha ar crochadh níos mó ama ná ráiteas soiléir, agus briseann an múnla isteach níos lú minic. Is féidir leis an socrú eagerness a bheith low (lig don úsáideoir a am a ghlacadh), medium, high (freagair chomh luath agus is féidir), nó auto, an luach réamhshocraithe, atá coibhéiseach le medium:

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "type": "realtime",
        "audio": {"input": {"turn_detection": {"type": "semantic_vad", "eagerness": "low"}}},
    },
}))

Láimhseáil Briseadh Isteach

Nuair a labhraíonn an t-úsáideoir agus an gníomhaire ag freagairt, eisíonn an freastalaí input_audio_buffer.speech_started. Le VAD agus interrupt_response cumasaithe, cealaíonn an freastalaí an freagra reatha: seolann sé response.done ansin le stádas cancelled. Caithfidh tú dhá rud a dhéanamh ar do thaobh fós, ar nasc WebSocket áit a bhfuil tú ag seinm na fuaime:

  1. Stad an tseinm láithreach agus caith aon fhuaime scuaine amach, ag tabhairt faoi deara cé mhéad milleasoicind a chuala an t-úsáideoir i ndáiríre
  2. Gearr mír an ghníomhaire go dtí an fad sin ag baint úsáide as conversation.item.truncate

Ná fan le response.done chun ceachtar acu a dhéanamh.

async def handle_interruption(ws, event: dict, player, item_id: str | None, ms_played: int) -> None:
    """Láimhseálann sé caint úsáideora agus an gníomhaire ag labhairt (WebSocket)."""
    if event["type"] != "input_audio_buffer.speech_started":
        return

    # 1. Stad an tseinm agus glan an maolán fuaime scuaine
    player.stop_stream()

    # 2. Bain an chuid nach bhfuair an t-úsáideoir cloisteáil ón stair
    if item_id:
        await ws.send(json.dumps({
            "type": "conversation.item.truncate",
            "item_id": item_id,
            "content_index": 0,
            "audio_end_ms": ms_played,
        }))

    # 3. Athoscail an tseinm don chéad fhreagra eile
    player.start_stream()

Ríomh ms_played bunaithe ar an méid a sheol tú go dtí an callaire i ndáiríre: i PCM aonfhónach 16-giotán ag 24 kHz, is ionann 48,000 beart agus soicind amháin. I WebRTC nó SIP, bainistíonn an freastalaí an maolán aschuir é féin, tá a fhios aige cad atá seinnte, agus gearrann sé go huathoibríoch é: ní gá duit aon rud a sheoladh.

Cén fáth an freagra a ghearradh?

Gan gearradh, bheadh an freagra iomlán ón múnla sa stair comhrá, cé nach bhfuair an t-úsáideoir ach cuid de chloisteáil. Dá bhfaighfeadh an t-úsáideoir an cheist “Cad é an rud deireanach a dúirt tú?”, cheapfadh an múnla gur dúirt sé é go léir. Ailíníonn an gearradh an stair leis an méid a chuala an t-úsáideoir i ndáiríre. Tugann an doiciméadú faoi deara teorainn: gearrann an gearradh an fhuaim agus baintear tras-scríbhinn na coda nár seinnedh, ach ní sholáthraíonn sé tras-scríbhinn focal ar fhocal ghearrtha.

Mód Rialaithe Láimhe

Do chásanna úsáide áirithe (rochláir IVR, deachtú, ceiseanna), níl VAD uathoibríoch oiriúnach. Tugann an mód láimhe rialú iomlán duit:

# Díghníomhachtaigh VAD
await ws.send(json.dumps({
    "type": "session.update",
    "session": {"type": "realtime", "audio": {"input": {"turn_detection": None}}},
}))

# Brúigh cnaipe: má tá an gníomhaire fós ag labhairt, cealaigh a fhreagra agus gearr fuaim nach seinnedh
await ws.send(json.dumps({"type": "response.cancel"}))

# Scaoil an cnaipe: seoladh fuaim trí input_audio_buffer.append, déan an sealú a dhaingniú...
await ws.send(json.dumps({"type": "input_audio_buffer.commit"}))

# ...ansin spreag an freagra
await ws.send(json.dumps({"type": "response.create"}))

Gan VAD, níl aon rud uathoibríoch: seo an áit a dtagann response.cancel isteach, nuair atá freagra ar siúl agus an t-úsáideoir ag glacadh rialaithe ar ais. Idir sealúcháin, folmhaíonn input_audio_buffer.clear an maolán ionchuir.

Tá meánbhealach ann: coinnigh VAD cumasaithe ionas go ndéanann sé deighilt ar shealúcháin fós agus go n-eisíonn sé imeachtaí, ach socraigh create_response agus interrupt_response go False. Ní sheoltar aon fhreagra gan do response.create sainráite, rud a thugann am duit an t-ionchur a fhíorú nó a shaibhriú (módráil, aisghabháil doiciméad), ar chostas beag moille.

Cásanna Úsáide don Mhód Láimhe

  • Rochlár IVR: Fan le tón DTMF nó eochairfhocal sonrach sula bhfreagraíonn tú
  • Deachtú: Carn codanna fada fuaime gan briseadh isteach
  • Deimhniú: Fan le “tá” nó “níl” sainráite
  • Brúigh-chun-labhairt: Brúíonn an t-úsáideoir cnaipe chun labhairt

Ailtireacht Bainistithe Stáit

Chun bainistiú sealúchta láidir a dhéanamh, coinnigh meaisín stáit:

from enum import Enum

class ConversationState(Enum):
    IDLE = "idle"                    # Ag fanacht
    USER_SPEAKING = "user_speaking"  # Tá an t-úsáideoir ag labhairt
    PROCESSING = "processing"        # Tá an múnla ag próiseáil
    AGENT_SPEAKING = "agent_speaking" # Tá an gníomhaire ag freagairt
    INTERRUPTED = "interrupted"       # Briseadh isteach ar siúl

class TurnManager:
    def __init__(self):
        self.state = ConversationState.IDLE
        self.current_response_item_id = None
        self.played_audio_ms = 0

    def on_event(self, event_type: str):
        if event_type == "input_audio_buffer.speech_started":
            if self.state == ConversationState.AGENT_SPEAKING:
                self.state = ConversationState.INTERRUPTED
            else:
                self.state = ConversationState.USER_SPEAKING

        elif event_type == "input_audio_buffer.speech_stopped":
            self.state = ConversationState.PROCESSING

        elif event_type == "response.output_audio.delta":
            self.state = ConversationState.AGENT_SPEAKING

        elif event_type == "response.done":
            self.state = ConversationState.IDLE

Príomhphointí

  • Cumraítear VAD (server_vad go réamhshocraithe) in session.audio.input.turn_detection
  • Déanann semantic_vad deighilt bunaithe ar bhrí; rialaíonn eagerness a fhoighne
  • Le VAD, cealaíonn an freastalaí an freagra briste isteach; ar WebSocket, stad an tseinm agus gearr le conversation.item.truncate (uathoibríoch i WebRTC agus SIP)
  • Oiriúnann an mód láimhe (turn_detection socraithe go None) do bhrúigh-chun-labhairt, rochláir IVR, agus deachtú
  • Coscaíonn meaisín stáit sainráite iompar neamhchomhsheasmhach i gcásanna imeallacha