Interruzzjonijiet u Ġestjoni tat-Turni
F'din il-paġna
Aġġornat fit-2 ta’ Novembru, 2026 — Mudelli tal-awdjo. Diversi mudelli f’dan il-kors huma deprekati:
tts-1,tts-1-hd, ugpt-4o-mini-ttsse jieqfu jaħdmu fis-6 ta’ Jannar, 2027 (sostituzzjoni:gpt-realtime-2.1-mini, li l-gwida tat-TTS ta’ OpenAI tiddikjara li mhix appoġġjata minn/v1/audio/speech: il-migrazzjoni tas-sinteżi tal-kelma timxi lejn l-API Realtime);gpt-realtime,gpt-4o-realtime, u mudelli tal-awdjo legacy fl-20 ta’ Jannar, 2027 (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribe, u/v1/audio/translationsfis-26 ta’ Frar, 2027 (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Għal-leħen full-duplex, GPT-Live 1 kien disponibbli fl-API mill-10 ta’ Settembru, 2026.
Ikkoreġut fit-3 ta’ Novembru, 2026. L-avvenimenti
session.updateqabel kienu jpoġġuturn_detectionfil-għerq tas-sessjoni, format mill-beta l-qadima: mal-API Realtime attwali, l-issetting jinsab f’session.audio.input.turn_detection, u s-sessjoni ġġorr"type": "realtime". L-immaniġġjar tal-interruzzjonijiet kien jibgħatresponse.cancel, iżda bil-VAD is-server jikkanċella r-risposta waħdu, u l-kodiċi kien juża varjabbli mhux definita. Din il-lezzjoni issa tkoprisemantic_vad,create_response, uinterrupt_response, u tagħmel distinzjoni bejn WebSocket u WebRTC. Il-forom tal-avvenimenti ġew ivverifikati kontra t-tipi tal-SDKopenai3.42.1. Sorsi: Rilevament tal-attività tal-vuċi · Konversazzjonijiet Realtime.
Interruzzjonijiet u Ġestjoni tat-Turni
F’konversazzjoni naturali, in-nies jinterrompu lil xulxin, jitkellmu fuq xulxin, u jaqtgħu lil xulxin. Aġent bil-leħen li ma jistax jimmaniġġja dawn is-sitwazzjonijiet se jidher robotiku u frustranti. L-API Realtime tipprovdi żewġ mekkaniżmi biex timmaniġġja t-teħid tad-dur: Rilevament Awtomatiku tal-Attività tal-Vuċi (VAD) u kontroll manwali.
Rilevament tal-Attività tal-Vuċi (VAD)
Il-VAD huwa attivat b’mod predefinit f’sessjoni ta’ konversazzjoni bil-leħen, li topera fil-modalità server_vad: is-server janalizza kontinwament l-awdjo li qed jidħol, jissegmenta bbażat fuq is-skiet, u jissinjala l-bidu u t-tmiem tal-kliem tal-utent. Inti tikkonfigurah f’session.audio.input.turn_detection:
await ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"audio": {
"input": {
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"prefix_padding_ms": 300,
"silence_duration_ms": 500,
"create_response": True, # wieġeb immedjatament meta jintemm it-turn
"interrupt_response": True, # aqta' l-aġent jekk jitkellem l-utent
}
}
},
},
}))
Parametri tal-VAD
| Parametru | Deskrizzjoni | Impatt |
|---|---|---|
| threshold | Limitu tar-rilevament (0.0 sa 1.0) | Għoli = inqas sensittiv, Baxx = aktar sensittiv |
| prefix_padding_ms | Awdjo miżmum qabel ir-rilevament | Jipprevjeni li taqta' l-bidu tal-kliem |
| silence_duration_ms | Tul ta' skiet meħtieġ biex jintemm it-turn | Qasir = reattiv, Twil = paċenzjuż |
silence_duration_ms li huwa qasir wisq se jattiva risposta waqt pawżi naturali fil-kliem tal-utent; twil wisq, u l-aġent jidher li ma jirrispondix. OpenAI ma tippubblikax valuri predefiniti speċifiċi għal-lingwa: ibda bl-eżempju tad-dokumentazzjoni (500 ms) u aġġusta bbażat fuq irrekordjar tal-utenti tiegħek. threshold ogħla jeħtieġ ħoss aktar qawwi biex jattiva, li jgħin f’ambjenti storbjużi.
Semantic VAD
It-tieni modalità, semantic_vad, ma tiddependix fuq is-skiet iżda fuq il-kliem: klassifikatur jistma jekk l-utentx lesta s-sentenza tiegħu. Sentenza mhux konkluża tixtri aktar ħin minn dikjarazzjoni ċara, u l-mudell jinterrompi inqas spiss. L-issetting eagerness tiegħu jista’ jkun low (ħalli lill-utent jieħu l-ħin tiegħu), medium, high (wieġeb malajr kemm jista’ jkun), jew auto, il-valur predefinit, li huwa ekwivalenti għal medium:
await ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"audio": {"input": {"turn_detection": {"type": "semantic_vad", "eagerness": "low"}}},
},
}))
Kif Timmaniġġja l-Interruzzjonijiet
Meta l-utent jitkellem waqt li l-aġent ikun qed iwieġeb, is-server jemetti input_audio_buffer.speech_started. Bil-VAD u interrupt_response attivat, is-server jikkanċella r-risposta attwali: imbagħad jibgħat response.done bl-istatus cancelled. Int għadek trid tagħmel żewġ affarijiet min-naħa tiegħek, fuq konnessjoni WebSocket fejn qed tħaddem l-awdjo:
- Waqqaf ir-riproduzzjoni immedjatament u arma kwalunkwe awdjo fil-kju, billi tinnota kemm-il millisekonda sema’ l-utent fil-fatt
- Aqta’ l-element tal-aġent għal dik id-durata bl-użu ta’
conversation.item.truncate
Tistenniex response.done biex tagħmel kwalunkwe waħda minn dawn.
async def handle_interruption(ws, event: dict, player, item_id: str | None, ms_played: int) -> None:
"""Timmaniġġja kliem tal-utent waqt li l-aġent ikun qed jitkellem (WebSocket)."""
if event["type"] != "input_audio_buffer.speech_started":
return
# 1. Waqqaf ir-riproduzzjoni u neħħi l-buffer tal-awdjo fil-kju
player.stop_stream()
# 2. Neħħi l-parti li l-utent ma semax mill-istorja
if item_id:
await ws.send(json.dumps({
"type": "conversation.item.truncate",
"item_id": item_id,
"content_index": 0,
"audio_end_ms": ms_played,
}))
# 3. Erġa' ftaħ ir-riproduzzjoni għar-risposta li jmiss
player.start_stream()
Ikkalkula ms_played ibbażat fuq dak li attwalment ibgħatt lis-speaker: f’PCM mono ta’ 16-bit f’24 kHz, 48,000 byte jiswew sekonda waħda. F’WebRTC jew SIP, is-server jimmaniġġja l-buffer tal-output waħdu, jaf x’inħadem, u jaqta’ awtomatikament: m’għandekx bżonn tibgħat xejn.
Għaliex taqta’ r-risposta?
Mingħajr it-tqassir, l-istorja tal-konversazzjoni tkun fiha r-risposta sħiħa tal-mudell, anke jekk l-utent sema’ biss parti minnha. Jekk l-utent jistaqsi, “X’kien l-aħħar ħaġa li għidt?”, il-mudell jaħseb li kien qalha kollha. It-tqassir iħarrek l-istorja ma’ dak li l-utent sema’ fil-fatt. Id-dokumentazzjoni tinnota limitazzjoni: it-tqassir jaqta’ l-awdjo u jneħħi t-traskrizzjoni tal-parti mhux imħaddma, iżda ma jipprovdix traskrizzjoni maqtugħa kelma b’kelma.
Modalità ta’ Kontroll Manwali
Għal ċerti każijiet ta’ użu (menús IVR, dettatura, kwizzi), il-VAD awtomatiku mhuwiex xieraq. Il-modalità manwali tagħtik kontroll sħiħ:
# Iddiżattiva l-VAD
await ws.send(json.dumps({
"type": "session.update",
"session": {"type": "realtime", "audio": {"input": {"turn_detection": None}}},
}))
# Buttuna mħabbta: jekk l-aġent għadu qed jitkellem, ikkanċella r-risposta tiegħu u aqta' l-awdjo mhux imħaddem
await ws.send(json.dumps({"type": "response.cancel"}))
# Buttuna rilaxxata: l-awdjo ntbagħat permezz ta' input_audio_buffer.append, ikkommetti t-turn...
await ws.send(json.dumps({"type": "input_audio_buffer.commit"}))
# ...imbagħad attiva r-risposta
await ws.send(json.dumps({"type": "response.create"}))
Mingħajr VAD, xejn mhu awtomatiku: hawnhekk tidħol response.cancel, meta tkun għaddejja risposta hekk kif l-utent jerġa’ jieħu l-kontroll. Bejn it-turni, input_audio_buffer.clear jibattal il-buffer tal-input.
Jeżisti triq tan-nofs: żomm il-VAD attivat biex ikompli jissegmenta t-turni u jemetti avvenimenti, iżda issettja create_response u interrupt_response għal False. L-ebda risposta ma tintbagħat mingħajr response.create espliċitu tiegħek, li jagħtik ħin biex tivverifika jew tarrikkixxi l-input (moderazzjoni, rkupru ta’ dokumenti), bl-ispiża ta’ ftit latenza.
Każijiet ta’ Użu tal-Modalità Manwali
- Menù IVR: Stenna ton DTMF jew kelma ewlenija speċifika qabel ma twieġeb
- Dettatura: Akkumula segmenti twal ta’ awdjo mingħajr interruzzjoni
- Konferma: Stenna “iva” jew “le” espliċiti
- Push-to-talk: L-utent jagħfas buttuna biex jitkellem
Arkitettura tal-Ġestjoni tal-Istat
Għal ġestjoni robusta tat-turni, żomm magna tal-istat:
from enum import Enum
class ConversationState(Enum):
IDLE = "idle" # Jistenna
USER_SPEAKING = "user_speaking" # L-utent qed jitkellem
PROCESSING = "processing" # Il-mudell qed jipproċessa
AGENT_SPEAKING = "agent_speaking" # L-aġent qed iwieġeb
INTERRUPTED = "interrupted" # Interruzzjoni għaddejja
class TurnManager:
def __init__(self):
self.state = ConversationState.IDLE
self.current_response_item_id = None
self.played_audio_ms = 0
def on_event(self, event_type: str):
if event_type == "input_audio_buffer.speech_started":
if self.state == ConversationState.AGENT_SPEAKING:
self.state = ConversationState.INTERRUPTED
else:
self.state = ConversationState.USER_SPEAKING
elif event_type == "input_audio_buffer.speech_stopped":
self.state = ConversationState.PROCESSING
elif event_type == "response.output_audio.delta":
self.state = ConversationState.AGENT_SPEAKING
elif event_type == "response.done":
self.state = ConversationState.IDLE
Punti Ewlenin
- Il-VAD (
server_vadb’mod predefinit) huwa kkonfigurat f’session.audio.input.turn_detection semantic_vadjissegmenta bbażat fuq it-tifsira;eagernessjikkontrolla l-paċenzja tiegħu- Bil-VAD, is-server jikkanċella r-risposta interrotta; fuq WebSocket, waqqaf ir-riproduzzjoni u aqta’ b’
conversation.item.truncate(awtomatiku f’WebRTC u SIP) - Il-modalità manwali (
turn_detectionissettjat għalNone) hija xierqa għal push-to-talk, menús IVR, u dettatura - Magna tal-istat espliċita tipprevjeni mġiba inkonsistenti f’każijiet limitu