Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Prekidi i upravljanje turama

Lekcija 5 od 18 Ažurirano 3. studenoga 2026. Programer
Na ovoj stranici
  1. Prekidi i upravljanje turama
  2. Detekcija glasovne aktivnosti (VAD)
  3. Rukovanje prekidima
  4. Način ručnog upravljanja
  5. Arhitektura upravljanja stanjem
  6. Ključne točke

Ažurirano 2. studenoga 2026. — Audio modeli. Nekoliko modela u ovom tečaju je zastarjelo: tts-1, tts-1-hd i gpt-4o-mini-tts prestat će raditi 6. siječnja 2027. (zamjena: gpt-realtime-2.1-mini, za koji OpenAI TTS vodič navodi da nije podržan od strane /v1/audio/speech: migracija sinteze govora prelazi na Realtime API); gpt-realtime, gpt-4o-realtime i stariji audio modeli 20. siječnja 2027. (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe i /v1/audio/translations 26. veljače 2027. (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Za full-duplex glas, GPT-Live 1 dostupan je u API-ju od 10. rujna 2026.

Ispravljeno 3. studenoga 2026. Događaji session.update su prethodno postavljali turn_detection u korijen sesije, što je format iz stare beta verzije: s trenutnim Realtime API-jem, postavka se nalazi u session.audio.input.turn_detection, a sesija nosi "type": "realtime". Rukovanje prekidima je prethodno slalo response.cancel, ali s VAD-om poslužitelj sam otkazuje odgovor, a kod je koristio nedefiniranu varijablu. Ova lekcija sada pokriva semantic_vad, create_response i interrupt_response, te razlikuje WebSocket i WebRTC. Oblici događaja verificirani prema openai SDK tipovima 3.42.1. Izvori: Detekcija glasovne aktivnosti · Realtime razgovori.

Prekidi i upravljanje turama

U prirodnom razgovoru ljudi se međusobno prekidaju, govore jedno preko drugoga i prekidaju jedno drugo. Glasovni agent koji ne može rukovati ovim situacijama djelovat će robotski i frustrirajuće. Realtime API pruža dva mehanizma za upravljanje preuzimanjem riječi: automatsku detekciju glasovne aktivnosti (VAD) i ručno upravljanje.

Detekcija glasovne aktivnosti (VAD)

VAD je prema zadanim postavkama omogućen u sesiji glasovnog razgovora, radeći u načinu server_vad: poslužitelj kontinuirano analizira dolazni audio, segmentira ga na temelju tišine i signalizira početak i kraj korisnikovog govora. Konfiguriraš ga u session.audio.input.turn_detection:

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "type": "realtime",
        "audio": {
            "input": {
                "turn_detection": {
                    "type": "server_vad",
                    "threshold": 0.5,
                    "prefix_padding_ms": 300,
                    "silence_duration_ms": 500,
                    "create_response": True,      # odgovori odmah kada tura završi
                    "interrupt_response": True,   # prekini agenta ako korisnik progovori
                }
            }
        },
    },
}))

VAD parametri

Parametar Opis Utjecaj
threshold Prag detekcije (0.0 do 1.0) Visok = manje osjetljivo, Nizak = osjetljivije
prefix_padding_ms Audio zadržan prije detekcije Sprječava odsijecanje početka riječi
silence_duration_ms Trajanje tišine potrebno za završetak ture Kratko = responzivno, Dugo = strpljivo

Ako je silence_duration_ms prekratak, odgovor će se okinuti tijekom prirodnih pauza u korisnikovom govoru; ako je predug, agent će djelovati neodazivno. OpenAI ne objavljuje zadane vrijednosti specifične za jezik: kreni s primjerom iz dokumentacije (500 ms) i prilagodi ga na temelju snimki svojih korisnika. Viši threshold zahtijeva glasniji zvuk za okidanje, što pomaže u bučnim okruženjima.

Semantički VAD

Drugi način, semantic_vad, ne oslanja se na tišinu već na riječi: klasifikator procjenjuje je li korisnik završio svoju rečenicu. Rečenica koja ostaje „visjeti“ kupuje više vremena od jasne izjave, a model rjeđe prekida. Njegova postavka eagerness može biti low (pusti korisnika da uzme svoje vrijeme), medium, high (odgovori što je prije moguće) ili auto, zadana vrijednost, koja je ekvivalentna medium:

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "type": "realtime",
        "audio": {"input": {"turn_detection": {"type": "semantic_vad", "eagerness": "low"}}},
    },
}))

Rukovanje prekidima

Kada korisnik progovori dok agent odgovara, poslužitelj emitira input_audio_buffer.speech_started. Uz VAD i omogućen interrupt_response, poslužitelj otkazuje trenutni odgovor: zatim šalje response.done sa statusom cancelled. Ipak, moraš učiniti dvije stvari na svojoj strani, na WebSocket vezi gdje reproduciraš audio:

  1. Odmah zaustavi reprodukciju i odbaci sav audio u čekanju, bilježeći koliko je milisekundi korisnik zapravo čuo.
  2. Skrati stavku agenta na to trajanje koristeći conversation.item.truncate.

Nemoj čekati response.done da bi učinio bilo što od ovoga.

async def handle_interruption(ws, event: dict, player, item_id: str | None, ms_played: int) -> None:
    """Rukuje korisnikovim govorom dok agent govori (WebSocket)."""
    if event["type"] != "input_audio_buffer.speech_started":
        return

    # 1. Zaustavi reprodukciju i očisti međuspremnik audio zapisa u čekanju
    player.stop_stream()

    # 2. Ukloni dio koji korisnik nije čuo iz povijesti
    if item_id:
        await ws.send(json.dumps({
            "type": "conversation.item.truncate",
            "item_id": item_id,
            "content_index": 0,
            "audio_end_ms": ms_played,
        }))

    # 3. Ponovno otvori reprodukciju za sljedeći odgovor
    player.start_stream()

Izračunaj ms_played na temelju onoga što si zapravo poslao zvučniku: u 16-bitnom mono PCM-u na 24 kHz, 48.000 bajtova jednako je jednoj sekundi. U WebRTC-u ili SIP-u, poslužitelj sam upravlja izlaznim međuspremnikom, zna što je reproducirano i automatski skraćuje: ne moraš ništa slati.

Zašto skratiti odgovor?

Bez skraćivanja, povijest razgovora bi sadržavala cijeli odgovor modela, iako je korisnik čuo samo dio. Ako korisnik pita: „Što si zadnje rekao?“, model bi mislio da je rekao sve. Skraćivanje usklađuje povijest s onim što je korisnik zapravo čuo. Dokumentacija napominje ograničenje: skraćivanje reže audio i uklanja transkripciju nereproduciranog dijela, ali ne pruža transkripciju skraćenu riječ-po-riječ.

Način ručnog upravljanja

Za određene slučajeve upotrebe (IVR izbornici, diktafoni, kvizovi), automatski VAD nije prikladan. Ručni način ti daje potpunu kontrolu:

# Onemogući VAD
await ws.send(json.dumps({
    "type": "session.update",
    "session": {"type": "realtime", "audio": {"input": {"turn_detection": None}}},
}))

# Gumb pritisnut: ako agent još govori, otkaži njegov odgovor i skrati nereproducirani audio
await ws.send(json.dumps({"type": "response.cancel"}))

# Gumb otpušten: audio je poslan putem input_audio_buffer.append, potvrdi turu...
await ws.send(json.dumps({"type": "input_audio_buffer.commit"}))

# ...zatim pokreni odgovor
await ws.send(json.dumps({"type": "response.create"}))

Bez VAD-a, ništa nije automatsko: ovdje nastupa response.cancel, kada je odgovor u tijeku dok korisnik preuzima kontrolu. Između tura, input_audio_buffer.clear prazni ulazni međuspremnik.

Postoji i srednji put: zadrži VAD omogućenim kako bi nastavio segmentirati ture i emitirati događaje, ali postavi create_response i interrupt_response na False. Nijedan odgovor se ne šalje bez tvog eksplicitnog response.create, što ti daje vremena za provjeru ili obogaćivanje unosa (moderacija, dohvat dokumenata), uz cijenu određene latencije.

Slučajevi upotrebe ručnog načina

  • IVR izbornik: Pričekaj DTMF ton ili specifičnu ključnu riječ prije odgovora
  • Diktat: Akumuliraj duge audio segmente bez prekida
  • Potvrda: Pričekaj eksplicitno „da“ ili „ne“
  • Pritisni-za-govor: Korisnik pritišće gumb za govor

Arhitektura upravljanja stanjem

Za robustno upravljanje turama, održavaj stroj stanja:

from enum import Enum

class ConversationState(Enum):
    IDLE = "idle"                    # Čekanje
    USER_SPEAKING = "user_speaking"  # Korisnik govori
    PROCESSING = "processing"        # Model obrađuje
    AGENT_SPEAKING = "agent_speaking" # Agent odgovara
    INTERRUPTED = "interrupted"       # Prekid u tijeku

class TurnManager:
    def __init__(self):
        self.state = ConversationState.IDLE
        self.current_response_item_id = None
        self.played_audio_ms = 0

    def on_event(self, event_type: str):
        if event_type == "input_audio_buffer.speech_started":
            if self.state == ConversationState.AGENT_SPEAKING:
                self.state = ConversationState.INTERRUPTED
            else:
                self.state = ConversationState.USER_SPEAKING

        elif event_type == "input_audio_buffer.speech_stopped":
            self.state = ConversationState.PROCESSING

        elif event_type == "response.output_audio.delta":
            self.state = ConversationState.AGENT_SPEAKING

        elif event_type == "response.done":
            self.state = ConversationState.IDLE

Ključne točke

  • VAD (server_vad prema zadanim postavkama) konfigurira se u session.audio.input.turn_detection
  • semantic_vad segmentira na temelju značenja; eagerness kontrolira njegovo strpljenje
  • Uz VAD, poslužitelj otkazuje prekinuti odgovor; na WebSocketu zaustavi reprodukciju i skrati s conversation.item.truncate (automatski u WebRTC-u i SIP-u)
  • Ručni način (turn_detection postavljen na None) odgovara za pritisni-za-govor, IVR izbornike i diktat
  • Eksplicitni stroj stanja sprječava nedosljedno ponašanje u rubnim slučajevima