Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Interruzzjonijiet u Ġestjoni tat-Turni

Lezzjoni 5 / 18 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Interruzzjonijiet u Ġestjoni tat-Turni
  2. Rilevament tal-Attività tal-Vuċi (VAD)
  3. Kif Timmaniġġja l-Interruzzjonijiet
  4. Modalità ta’ Kontroll Manwali
  5. Arkitettura tal-Ġestjoni tal-Istat
  6. Punti Ewlenin

Aġġornat fit-2 ta’ Novembru, 2026 — Mudelli tal-awdjo. Diversi mudelli f’dan il-kors huma deprekati: tts-1, tts-1-hd, u gpt-4o-mini-tts se jieqfu jaħdmu fis-6 ta’ Jannar, 2027 (sostituzzjoni: gpt-realtime-2.1-mini, li l-gwida tat-TTS ta’ OpenAI tiddikjara li mhix appoġġjata minn /v1/audio/speech: il-migrazzjoni tas-sinteżi tal-kelma timxi lejn l-API Realtime); gpt-realtime, gpt-4o-realtime, u mudelli tal-awdjo legacy fl-20 ta’ Jannar, 2027 (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe, u /v1/audio/translations fis-26 ta’ Frar, 2027 (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Għal-leħen full-duplex, GPT-Live 1 kien disponibbli fl-API mill-10 ta’ Settembru, 2026.

Ikkoreġut fit-3 ta’ Novembru, 2026. L-avvenimenti session.update qabel kienu jpoġġu turn_detection fil-għerq tas-sessjoni, format mill-beta l-qadima: mal-API Realtime attwali, l-issetting jinsab f’session.audio.input.turn_detection, u s-sessjoni ġġorr "type": "realtime". L-immaniġġjar tal-interruzzjonijiet kien jibgħat response.cancel, iżda bil-VAD is-server jikkanċella r-risposta waħdu, u l-kodiċi kien juża varjabbli mhux definita. Din il-lezzjoni issa tkopri semantic_vad, create_response, u interrupt_response, u tagħmel distinzjoni bejn WebSocket u WebRTC. Il-forom tal-avvenimenti ġew ivverifikati kontra t-tipi tal-SDK openai 3.42.1. Sorsi: Rilevament tal-attività tal-vuċi · Konversazzjonijiet Realtime.

Interruzzjonijiet u Ġestjoni tat-Turni

F’konversazzjoni naturali, in-nies jinterrompu lil xulxin, jitkellmu fuq xulxin, u jaqtgħu lil xulxin. Aġent bil-leħen li ma jistax jimmaniġġja dawn is-sitwazzjonijiet se jidher robotiku u frustranti. L-API Realtime tipprovdi żewġ mekkaniżmi biex timmaniġġja t-teħid tad-dur: Rilevament Awtomatiku tal-Attività tal-Vuċi (VAD) u kontroll manwali.

Rilevament tal-Attività tal-Vuċi (VAD)

Il-VAD huwa attivat b’mod predefinit f’sessjoni ta’ konversazzjoni bil-leħen, li topera fil-modalità server_vad: is-server janalizza kontinwament l-awdjo li qed jidħol, jissegmenta bbażat fuq is-skiet, u jissinjala l-bidu u t-tmiem tal-kliem tal-utent. Inti tikkonfigurah f’session.audio.input.turn_detection:

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "type": "realtime",
        "audio": {
            "input": {
                "turn_detection": {
                    "type": "server_vad",
                    "threshold": 0.5,
                    "prefix_padding_ms": 300,
                    "silence_duration_ms": 500,
                    "create_response": True,      # wieġeb immedjatament meta jintemm it-turn
                    "interrupt_response": True,   # aqta' l-aġent jekk jitkellem l-utent
                }
            }
        },
    },
}))

Parametri tal-VAD

Parametru Deskrizzjoni Impatt
threshold Limitu tar-rilevament (0.0 sa 1.0) Għoli = inqas sensittiv, Baxx = aktar sensittiv
prefix_padding_ms Awdjo miżmum qabel ir-rilevament Jipprevjeni li taqta' l-bidu tal-kliem
silence_duration_ms Tul ta' skiet meħtieġ biex jintemm it-turn Qasir = reattiv, Twil = paċenzjuż

silence_duration_ms li huwa qasir wisq se jattiva risposta waqt pawżi naturali fil-kliem tal-utent; twil wisq, u l-aġent jidher li ma jirrispondix. OpenAI ma tippubblikax valuri predefiniti speċifiċi għal-lingwa: ibda bl-eżempju tad-dokumentazzjoni (500 ms) u aġġusta bbażat fuq irrekordjar tal-utenti tiegħek. threshold ogħla jeħtieġ ħoss aktar qawwi biex jattiva, li jgħin f’ambjenti storbjużi.

Semantic VAD

It-tieni modalità, semantic_vad, ma tiddependix fuq is-skiet iżda fuq il-kliem: klassifikatur jistma jekk l-utentx lesta s-sentenza tiegħu. Sentenza mhux konkluża tixtri aktar ħin minn dikjarazzjoni ċara, u l-mudell jinterrompi inqas spiss. L-issetting eagerness tiegħu jista’ jkun low (ħalli lill-utent jieħu l-ħin tiegħu), medium, high (wieġeb malajr kemm jista’ jkun), jew auto, il-valur predefinit, li huwa ekwivalenti għal medium:

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "type": "realtime",
        "audio": {"input": {"turn_detection": {"type": "semantic_vad", "eagerness": "low"}}},
    },
}))

Kif Timmaniġġja l-Interruzzjonijiet

Meta l-utent jitkellem waqt li l-aġent ikun qed iwieġeb, is-server jemetti input_audio_buffer.speech_started. Bil-VAD u interrupt_response attivat, is-server jikkanċella r-risposta attwali: imbagħad jibgħat response.done bl-istatus cancelled. Int għadek trid tagħmel żewġ affarijiet min-naħa tiegħek, fuq konnessjoni WebSocket fejn qed tħaddem l-awdjo:

  1. Waqqaf ir-riproduzzjoni immedjatament u arma kwalunkwe awdjo fil-kju, billi tinnota kemm-il millisekonda sema’ l-utent fil-fatt
  2. Aqta’ l-element tal-aġent għal dik id-durata bl-użu ta’ conversation.item.truncate

Tistenniex response.done biex tagħmel kwalunkwe waħda minn dawn.

async def handle_interruption(ws, event: dict, player, item_id: str | None, ms_played: int) -> None:
    """Timmaniġġja kliem tal-utent waqt li l-aġent ikun qed jitkellem (WebSocket)."""
    if event["type"] != "input_audio_buffer.speech_started":
        return

    # 1. Waqqaf ir-riproduzzjoni u neħħi l-buffer tal-awdjo fil-kju
    player.stop_stream()

    # 2. Neħħi l-parti li l-utent ma semax mill-istorja
    if item_id:
        await ws.send(json.dumps({
            "type": "conversation.item.truncate",
            "item_id": item_id,
            "content_index": 0,
            "audio_end_ms": ms_played,
        }))

    # 3. Erġa' ftaħ ir-riproduzzjoni għar-risposta li jmiss
    player.start_stream()

Ikkalkula ms_played ibbażat fuq dak li attwalment ibgħatt lis-speaker: f’PCM mono ta’ 16-bit f’24 kHz, 48,000 byte jiswew sekonda waħda. F’WebRTC jew SIP, is-server jimmaniġġja l-buffer tal-output waħdu, jaf x’inħadem, u jaqta’ awtomatikament: m’għandekx bżonn tibgħat xejn.

Għaliex taqta’ r-risposta?

Mingħajr it-tqassir, l-istorja tal-konversazzjoni tkun fiha r-risposta sħiħa tal-mudell, anke jekk l-utent sema’ biss parti minnha. Jekk l-utent jistaqsi, “X’kien l-aħħar ħaġa li għidt?”, il-mudell jaħseb li kien qalha kollha. It-tqassir iħarrek l-istorja ma’ dak li l-utent sema’ fil-fatt. Id-dokumentazzjoni tinnota limitazzjoni: it-tqassir jaqta’ l-awdjo u jneħħi t-traskrizzjoni tal-parti mhux imħaddma, iżda ma jipprovdix traskrizzjoni maqtugħa kelma b’kelma.

Modalità ta’ Kontroll Manwali

Għal ċerti każijiet ta’ użu (menús IVR, dettatura, kwizzi), il-VAD awtomatiku mhuwiex xieraq. Il-modalità manwali tagħtik kontroll sħiħ:

# Iddiżattiva l-VAD
await ws.send(json.dumps({
    "type": "session.update",
    "session": {"type": "realtime", "audio": {"input": {"turn_detection": None}}},
}))

# Buttuna mħabbta: jekk l-aġent għadu qed jitkellem, ikkanċella r-risposta tiegħu u aqta' l-awdjo mhux imħaddem
await ws.send(json.dumps({"type": "response.cancel"}))

# Buttuna rilaxxata: l-awdjo ntbagħat permezz ta' input_audio_buffer.append, ikkommetti t-turn...
await ws.send(json.dumps({"type": "input_audio_buffer.commit"}))

# ...imbagħad attiva r-risposta
await ws.send(json.dumps({"type": "response.create"}))

Mingħajr VAD, xejn mhu awtomatiku: hawnhekk tidħol response.cancel, meta tkun għaddejja risposta hekk kif l-utent jerġa’ jieħu l-kontroll. Bejn it-turni, input_audio_buffer.clear jibattal il-buffer tal-input.

Jeżisti triq tan-nofs: żomm il-VAD attivat biex ikompli jissegmenta t-turni u jemetti avvenimenti, iżda issettja create_response u interrupt_response għal False. L-ebda risposta ma tintbagħat mingħajr response.create espliċitu tiegħek, li jagħtik ħin biex tivverifika jew tarrikkixxi l-input (moderazzjoni, rkupru ta’ dokumenti), bl-ispiża ta’ ftit latenza.

Każijiet ta’ Użu tal-Modalità Manwali

  • Menù IVR: Stenna ton DTMF jew kelma ewlenija speċifika qabel ma twieġeb
  • Dettatura: Akkumula segmenti twal ta’ awdjo mingħajr interruzzjoni
  • Konferma: Stenna “iva” jew “le” espliċiti
  • Push-to-talk: L-utent jagħfas buttuna biex jitkellem

Arkitettura tal-Ġestjoni tal-Istat

Għal ġestjoni robusta tat-turni, żomm magna tal-istat:

from enum import Enum

class ConversationState(Enum):
    IDLE = "idle"                    # Jistenna
    USER_SPEAKING = "user_speaking"  # L-utent qed jitkellem
    PROCESSING = "processing"        # Il-mudell qed jipproċessa
    AGENT_SPEAKING = "agent_speaking" # L-aġent qed iwieġeb
    INTERRUPTED = "interrupted"       # Interruzzjoni għaddejja

class TurnManager:
    def __init__(self):
        self.state = ConversationState.IDLE
        self.current_response_item_id = None
        self.played_audio_ms = 0

    def on_event(self, event_type: str):
        if event_type == "input_audio_buffer.speech_started":
            if self.state == ConversationState.AGENT_SPEAKING:
                self.state = ConversationState.INTERRUPTED
            else:
                self.state = ConversationState.USER_SPEAKING

        elif event_type == "input_audio_buffer.speech_stopped":
            self.state = ConversationState.PROCESSING

        elif event_type == "response.output_audio.delta":
            self.state = ConversationState.AGENT_SPEAKING

        elif event_type == "response.done":
            self.state = ConversationState.IDLE

Punti Ewlenin

  • Il-VAD (server_vad b’mod predefinit) huwa kkonfigurat f’session.audio.input.turn_detection
  • semantic_vad jissegmenta bbażat fuq it-tifsira; eagerness jikkontrolla l-paċenzja tiegħu
  • Bil-VAD, is-server jikkanċella r-risposta interrotta; fuq WebSocket, waqqaf ir-riproduzzjoni u aqta’ b’conversation.item.truncate (awtomatiku f’WebRTC u SIP)
  • Il-modalità manwali (turn_detection issettjat għal None) hija xierqa għal push-to-talk, menús IVR, u dettatura
  • Magna tal-istat espliċita tipprevjeni mġiba inkonsistenti f’każijiet limitu