Премини към основното съдържание
Български— Изберете език
Меню

Прекъсвания и управление на репликите

Урок 5 от 18 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Прекъсвания и управление на репликите
  2. Откриване на гласова активност (VAD)
  3. Обработка на прекъсвания
  4. Режим на ръчен контрол
  5. Архитектура за управление на състоянието
  6. Ключови изводи

Обновено на 2 ноември 2026 г. — Аудио модели. Няколко модела в този курс са депрецирали: tts-1, tts-1-hd и gpt-4o-mini-tts ще спрат да работят на 6 януари 2027 г. (замяна: gpt-realtime-2.1-mini, за който ръководството на OpenAI за TTS посочва, че не се поддържа от /v1/audio/speech: миграцията на синтез на реч преминава към Realtime API); gpt-realtime, gpt-4o-realtime и наследените аудио модели на 20 януари 2027 г. (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe и /v1/audio/translations на 26 февруари 2027 г. (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). За дуплексна гласова връзка, GPT-Live 1 е наличен в API от 10 септември 2026 г.

Коригирано на 3 ноември 2026 г. Събитията session.update преди това поставяха turn_detection в корена на сесията, формат от старата бета версия: при текущия Realtime API настройката се намира в session.audio.input.turn_detection, а сесията носи "type": "realtime". Обработката на прекъсвания преди това изпращаше response.cancel, но при VAD сървърът сам анулира отговора, а кодът използваше недекларирана променлива. Този урок обхваща semantic_vad, create_response и interrupt_response, както и разликите между WebSocket и WebRTC. Формите на събитията са проверени спрямо типовете на SDK openai версия 3.42.1. Източници: Откриване на гласова активност · Разговори в реално време.

Прекъсвания и управление на репликите

В естествения разговор хората се прекъсват взаимно, говорят едновременно и си отнемат думата. Гласов агент, който не може да обработва тези ситуации, ще звучи роботизирано и досадно. Realtime API предоставя два механизма за управление на размяната на реплики: автоматично откриване на гласова активност (VAD) и ръчен контрол.

Откриване на гласова активност (VAD)

VAD е активиран по подразбиране в сесия за гласов разговор, работещ в режим server_vad: сървърът непрекъснато анализира входящото аудио, сегментира го въз основа на тишина и сигнализира началото и края на потребителската реч. Вие го конфигурирате в session.audio.input.turn_detection:

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "type": "realtime",
        "audio": {
            "input": {
                "turn_detection": {
                    "type": "server_vad",
                    "threshold": 0.5,
                    "prefix_padding_ms": 300,
                    "silence_duration_ms": 500,
                    "create_response": True,      # отговор веднага след края на репликата
                    "interrupt_response": True,   # прекъсване на агента, ако потребителят заговори
                }
            }
        },
    },
}))

Параметри на VAD

Параметър Описание Въздействие
threshold Праг на откриване (от 0.0 до 1.0) Висок = по-малко чувствителен, Нисък = по-чувствителен
prefix_padding_ms Аудио, запазено преди откриването Предотвратява отрязването на началото на думите
silence_duration_ms Продължителност на тишината, необходима за край на репликата Кратко = отзивчиво, Дълго = търпеливо

Твърде кратък silence_duration_ms ще задейства отговор по време на естествените паузи в речта на потребителя; твърде дълъг и агентът ще изглежда бавен. OpenAI не публикува стойности по подразбиране, специфични за езика: започнете с примера от документацията (500 ms) и коригирайте въз основа на записи от вашите потребители. По-висок threshold изисква по-силен звук за задействане, което помага в шумни среди.

Семантичен VAD

Вторият режим, semantic_vad, не разчита на тишина, а на думи: класификатор оценява дали потребителят е завършил изречението си. Недовършеното изречение печели повече време от ясното твърдение и моделът прекъсва по-рядко. Неговата настройка eagerness може да бъде low (оставете потребителя да си вземе време), medium, high (отговор възможно най-бързо) или auto, стойността по подразбиране, която е еквивалентна на medium:

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "type": "realtime",
        "audio": {"input": {"turn_detection": {"type": "semantic_vad", "eagerness": "low"}}},
    },
}))

Обработка на прекъсвания

Когато потребителят заговори, докато агентът отговаря, сървърът излъчва input_audio_buffer.speech_started. При включен VAD и interrupt_response, сървърът анулира текущия отговор: след това изпраща response.done със статус cancelled. Вие все още трябва да направите две неща от ваша страна, при WebSocket връзка, където възпроизвеждате аудиото:

  1. Спрете възпроизвеждането незабавно и изхвърлете всяко аудио на опашка, като отбележите колко милисекунди потребителят действително е чул.
  2. Съкратете елемента на агента до тази продължителност, използвайки conversation.item.truncate.

Не чакайте response.done, за да направите което и да е от двете.

async def handle_interruption(ws, event: dict, player, item_id: str | None, ms_played: int) -> None:
    """Обработва потребителска реч, докато агентът говори (WebSocket)."""
    if event["type"] != "input_audio_buffer.speech_started":
        return

    # 1. Спрете възпроизвеждането и изчистете буфера с аудио на опашка
    player.stop_stream()

    # 2. Премахнете частта, която потребителят не е чул, от историята
    if item_id:
        await ws.send(json.dumps({
            "type": "conversation.item.truncate",
            "item_id": item_id,
            "content_index": 0,
            "audio_end_ms": ms_played,
        }))

    # 3. Отворете отново възпроизвеждането за следващия отговор
    player.start_stream()

Изчислете ms_played въз основа на това, което действително сте изпратили към високоговорителя: при 16-битов моно PCM при 24 kHz, 48 000 байта са равни на една секунда. При WebRTC или SIP сървърът управлява сам изходния буфер, знае какво е възпроизведено и съкращава автоматично: не е необходимо да изпращате нищо.

Защо да съкращавате отговора?

Без съкращаване историята на разговора би съдържала пълния отговор на модела, въпреки че потребителят е чул само част от него. Ако потребителят попита: „Какво беше последното нещо, което каза?“, моделът би си помислил, че е казал всичко. Съкращаването привежда историята в съответствие с това, което потребителят действително е чул. Документацията отбелязва ограничение: съкращаването отрязва аудиото и премахва транскрипцията на неизпълнената част, но не предоставя транскрипция дума по дума на съкратената част.

Режим на ръчен контрол

За определени случаи на употреба (менюта на IVR, диктовка, тестове) автоматичният VAD не е подходящ. Ръчният режим Ви дава пълен контрол:

# Деактивиране на VAD
await ws.send(json.dumps({
    "type": "session.update",
    "session": {"type": "realtime", "audio": {"input": {"turn_detection": None}}},
}))

# Натиснат бутон: ако агентът все още говори, анулирайте неговия отговор и съкратете неизпълненото аудио
await ws.send(json.dumps({"type": "response.cancel"}))

# Пуснат бутон: аудиото е изпратено чрез input_audio_buffer.append, финализирайте репликата...
await ws.send(json.dumps({"type": "input_audio_buffer.commit"}))

# ...след това задействайте отговора
await ws.send(json.dumps({"type": "response.create"}))

Без VAD нищо не е автоматично: тук идва ред на response.cancel, когато отговорът е в ход, докато потребителят си връща контрола. Между репликите input_audio_buffer.clear изпразва входния буфер.

Съществува и междинен вариант: запазете VAD активиран, така че той да продължи да сегментира репликите и да излъчва събития, но задайте create_response и interrupt_response на False. Никакъв отговор не се изпраща без Вашето изрично response.create, което Ви дава време да проверите или обогатите входа (модерация, извличане на документи), за сметка на известно забавяне.

Случаи на употреба на ръчен режим

  • Меню на IVR: Изчакайте DTMF тон или конкретна ключова дума, преди да отговорите.
  • Диктовка: Натрупване на дълги аудио сегменти без прекъсване.
  • Потвърждение: Изчакайте изрично „да“ или „не“.
  • Натисни-за-говор: Потребителят натиска бутон, за да говори.

Архитектура за управление на състоянието

За надеждно управление на репликите поддържайте крайния автомат:

from enum import Enum

class ConversationState(Enum):
    IDLE = "idle"                    # Изчакване
    USER_SPEAKING = "user_speaking"  # Потребителят говори
    PROCESSING = "processing"        # Моделът обработва
    AGENT_SPEAKING = "agent_speaking" # Агентът отговаря
    INTERRUPTED = "interrupted"       # Прекъсване в ход

class TurnManager:
    def __init__(self):
        self.state = ConversationState.IDLE
        self.current_response_item_id = None
        self.played_audio_ms = 0

    def on_event(self, event_type: str):
        if event_type == "input_audio_buffer.speech_started":
            if self.state == ConversationState.AGENT_SPEAKING:
                self.state = ConversationState.INTERRUPTED
            else:
                self.state = ConversationState.USER_SPEAKING

        elif event_type == "input_audio_buffer.speech_stopped":
            self.state = ConversationState.PROCESSING

        elif event_type == "response.output_audio.delta":
            self.state = ConversationState.AGENT_SPEAKING

        elif event_type == "response.done":
            self.state = ConversationState.IDLE

Ключови изводи

  • VAD (server_vad по подразбиране) се конфигурира в session.audio.input.turn_detection
  • semantic_vad сегментира въз основа на смисъл; eagerness контролира неговото търпение
  • При VAD сървърът анулира прекъснатия отговор; при WebSocket спрете възпроизвеждането и съкратете с conversation.item.truncate (автоматично при WebRTC и SIP)
  • Ръчният режим (turn_detection зададен на None) е подходящ за натисни-за-говор, менюта на IVR и диктовка
  • Изричен краен автомат предотвратява несъответстващо поведение в гранични случаи