Премини към основното съдържание
Български— Изберете език
Меню

Асистент с гласов и мултимодален интерфейс

Урок 16 от 18 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Асистент с гласов и мултимодален интерфейс
  2. Текст и аудио паралелно
  3. Показване на изображение на гласовия агент
  4. Мултимодален уеб интерфейс
  5. Сценарии за мултимодално използване
  6. Ключови изводи

Обновено на 2 ноември 2026 г. — Аудио модели. Няколко модела в този курс са депрецирали: tts-1, tts-1-hd и gpt-4o-mini-tts ще спрат да работят на 6 януари 2027 г. (посочената замяна е gpt-realtime-2.1-mini, която според ръководството на OpenAI за TTS не се поддържа от /v1/audio/speech: миграцията на синтез на реч трябва да премине през Realtime API); gpt-realtime, gpt-4o-realtime и наследените аудио модели на 20 януари 2027 г. (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe и /v1/audio/translations на 26 февруари 2027 г. (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). За двупосочна гласова връзка, GPT-Live 1 е наличен в API от 10 септември 2026 г.

Коригирано на 3 ноември 2026 г. За анализ на изображение урокът преди това правеше отделно обаждане към Responses API, след което инжектираше описанието като съобщение от асистента със съдържание input_text, тип, запазен за потребителски или системни съобщения. Обаче gpt-realtime-2.1 и gpt-realtime-2 приемат изображения като вход: изображението се прикачва директно, като input_image, към потребителско съобщение. Събитието response.text.delta от старата бета версия сега се нарича response.output_text.delta. Формите на събитията са проверени спрямо типовете на SDK openai версия 3.42.1. Източници: Разговори в реално време, Входове за изображения · gpt-realtime-2.1.

Асистент с гласов и мултимодален интерфейс

Мултимодалният гласов асистент комбинира глас с други модальности: текст, изображения, видео и структурирани данни. Потребителят говори, но агентът може също да показва визуална информация, да анализира изображения, изпратени от потребителя, или да комбинира множество източници на данни. Това е бъдещето на взаимодействието човек-компютър.

Текст и аудио паралелно

Realtime API поддържа естествено текстови и аудио модальности едновременно. Можете да инжектирате текст в разговора, докато поддържате гласовия обмен:

async def inject_text_context(ws, context: str):
    """Добавя текстов контекст към гласовия разговор."""
    await ws.send(json.dumps({
        "type": "conversation.item.create",
        "item": {
            "type": "message",
            "role": "user",
            "content": [
                {
                    "type": "input_text",
                    "text": context
                }
            ]
        }
    }))

    # Стартиране на гласов отговор въз основа на този контекст
    await ws.send(json.dumps({"type": "response.create"}))

# Потребителят пита устно „Прочети ми последния имейл“
# Вие инжектирате съдържанието на имейла като текст
await inject_text_context(ws, """
Ето последния получен имейл:
От: [email protected]
Тема: Заявка за оферта
Съдържание: Здравейте, бих искал да поискам оферта за
интегриране на гласов агент в нашия кол център.
""")

Показване на изображение на гласовия агент

gpt-realtime-2.1 и gpt-realtime-2 приемат текст, аудио и изображения като вход. Изображението се прикачва като част input_image от потребителско съобщение, използвайки Base64 Data URI, както през WebSocket, така и през канала за данни WebRTC. Моделът отчита това в своя гласов отговор, без да извиква друго API:

import base64
import json


async def montrer_image(ws, chemin_image: str, question: str) -> None:
    """Прикачва изображение и въпрос към разговора, след което иска гласов отговор."""
    with open(chemin_image, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode()

    await ws.send(json.dumps({
        "type": "conversation.item.create",
        "item": {
            "type": "message",
            "role": "user",
            "content": [
                {"type": "input_image", "image_url": f"data:image/jpeg;base64,{image_b64}"},
                {"type": "input_text", "text": question},
            ],
        },
    }))
    await ws.send(json.dumps({"type": "response.create"}))


await montrer_image(ws, "facture.jpg", "Какво трябва да платя и до кога?")

Изображенията се таксуват като токени за изображения със специфична ставка, посочена в картата на модела. За тежък анализ или за по-мощен модел за компютърно зрение все още можете да заявите отделно Responses API, след което да предадете резултата му на сесията: направете това чрез съобщение system или user (със съдържание input_text), никога чрез фалшиво съобщение от асистент, което моделът би интерпретирал като свои собствени думи.

Мултимодален уеб интерфейс

За уеб приложение комбинирайте Realtime WebSocket с визуален интерфейс:

from fastapi import FastAPI, WebSocket
from fastapi.staticfiles import StaticFiles

app = FastAPI()

@app.websocket("/ws/agent")
async def multimodal_agent(client_ws: WebSocket):
    """Мултимодален агент с уеб интерфейс."""
    await client_ws.accept()

    headers = {
        "Authorization": f"Bearer {OPENAI_API_KEY}"
    }

    async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
        await openai_ws.recv()  # session.created

        await openai_ws.send(json.dumps({
            "type": "session.update",
            "session": {
                "type": "realtime",
                "output_modalities": ["audio"],
                "instructions": "Мултимодален асистент. Отговаряйте на английски.",
                "audio": {"output": {"voice": "marin"}}
            }
        }))
        await openai_ws.recv()

        async def client_to_openai():
            async for message in client_ws.iter_text():
                data = json.loads(message)

                if data["type"] == "audio":
                    # Препредаване на аудио
                    await openai_ws.send(json.dumps({
                        "type": "input_audio_buffer.append",
                        "audio": data["audio"]
                    }))

                elif data["type"] == "text":
                    # Текстово съобщение (чат)
                    await openai_ws.send(json.dumps({
                        "type": "conversation.item.create",
                        "item": {
                            "type": "message",
                            "role": "user",
                            "content": [{
                                "type": "input_text",
                                "text": data["text"]
                            }]
                        }
                    }))
                    await openai_ws.send(json.dumps({
                        "type": "response.create"
                    }))

        async def openai_to_client():
            async for message in openai_ws:
                event = json.loads(message)
                t = event["type"]

                if t == "response.output_audio.delta":
                    await client_ws.send_json({
                        "type": "audio",
                        "delta": event["delta"]
                    })

                elif t == "response.output_audio_transcript.delta":
                    await client_ws.send_json({
                        "type": "transcript",
                        "delta": event["delta"]
                    })

                elif t == "response.output_text.delta":
                    await client_ws.send_json({
                        "type": "text",
                        "delta": event["delta"]
                    })

        await asyncio.gather(client_to_openai(), openai_to_client())

Сценарии за мултимодално използване

Ето как мултимодален агент обработва различни сценарии в инструмент за извикване на функции:

tools = [
    {
        "type": "function",
        "name": "show_chart",
        "description": "Показва графика с данни на потребителя",
        "parameters": {
            "type": "object",
            "properties": {
                "chart_type": {"type": "string", "enum": ["bar", "line", "pie"]},
                "title": {"type": "string"},
                "data": {"type": "object"}
            },
            "required": ["chart_type", "title", "data"]
        }
    },
    {
        "type": "function",
        "name": "send_document",
        "description": "Изпраща документ на клиента по имейл",
        "parameters": {
            "type": "object",
            "properties": {
                "document_type": {"type": "string"},
                "recipient": {"type": "string"}
            },
            "required": ["document_type", "recipient"]
        }
    }
]

Потребителят казва устно: „Покажи ми продажбите от последното тримесечие като графика.“ Агентът извиква show_chart, вашият фронтенд показва графиката, а агентът коментира устно резултатите.

Ключови изводи

  • Realtime API поддържа текстови и аудио модальности едновременно в една и съща сесия
  • Инжектирането на текст чрез conversation.item.create Ви позволява да обогатите гласовия контекст
  • Моделите в реално време приемат изображения: прикачете ги като input_image към потребителско съобщение
  • Инструментите (извикване на функции) Ви позволяват да показвате визуални елементи, докато отговаряте устно
  • Архитектурата на WebSocket от страна на клиента Ви позволява да смесвате аудио, текст и структурирани данни