Асистент с гласов и мултимодален интерфейс
На тази страница
Обновено на 2 ноември 2026 г. — Аудио модели. Няколко модела в този курс са депрецирали:
tts-1,tts-1-hdиgpt-4o-mini-ttsще спрат да работят на 6 януари 2027 г. (посочената замяна еgpt-realtime-2.1-mini, която според ръководството на OpenAI за TTS не се поддържа от/v1/audio/speech: миграцията на синтез на реч трябва да премине през Realtime API);gpt-realtime,gpt-4o-realtimeи наследените аудио модели на 20 януари 2027 г. (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribeи/v1/audio/translationsна 26 февруари 2027 г. (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). За двупосочна гласова връзка, GPT-Live 1 е наличен в API от 10 септември 2026 г.
Коригирано на 3 ноември 2026 г. За анализ на изображение урокът преди това правеше отделно обаждане към Responses API, след което инжектираше описанието като съобщение от асистента със съдържание
input_text, тип, запазен за потребителски или системни съобщения. Обачеgpt-realtime-2.1иgpt-realtime-2приемат изображения като вход: изображението се прикачва директно, катоinput_image, към потребителско съобщение. Събитиетоresponse.text.deltaот старата бета версия сега се наричаresponse.output_text.delta. Формите на събитията са проверени спрямо типовете на SDKopenaiверсия 3.42.1. Източници: Разговори в реално време, Входове за изображения · gpt-realtime-2.1.
Асистент с гласов и мултимодален интерфейс
Мултимодалният гласов асистент комбинира глас с други модальности: текст, изображения, видео и структурирани данни. Потребителят говори, но агентът може също да показва визуална информация, да анализира изображения, изпратени от потребителя, или да комбинира множество източници на данни. Това е бъдещето на взаимодействието човек-компютър.
Текст и аудио паралелно
Realtime API поддържа естествено текстови и аудио модальности едновременно. Можете да инжектирате текст в разговора, докато поддържате гласовия обмен:
async def inject_text_context(ws, context: str):
"""Добавя текстов контекст към гласовия разговор."""
await ws.send(json.dumps({
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": context
}
]
}
}))
# Стартиране на гласов отговор въз основа на този контекст
await ws.send(json.dumps({"type": "response.create"}))
# Потребителят пита устно „Прочети ми последния имейл“
# Вие инжектирате съдържанието на имейла като текст
await inject_text_context(ws, """
Ето последния получен имейл:
От: [email protected]
Тема: Заявка за оферта
Съдържание: Здравейте, бих искал да поискам оферта за
интегриране на гласов агент в нашия кол център.
""")
Показване на изображение на гласовия агент
gpt-realtime-2.1 и gpt-realtime-2 приемат текст, аудио и изображения като вход. Изображението се прикачва като част input_image от потребителско съобщение, използвайки Base64 Data URI, както през WebSocket, така и през канала за данни WebRTC. Моделът отчита това в своя гласов отговор, без да извиква друго API:
import base64
import json
async def montrer_image(ws, chemin_image: str, question: str) -> None:
"""Прикачва изображение и въпрос към разговора, след което иска гласов отговор."""
with open(chemin_image, "rb") as f:
image_b64 = base64.b64encode(f.read()).decode()
await ws.send(json.dumps({
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{"type": "input_image", "image_url": f"data:image/jpeg;base64,{image_b64}"},
{"type": "input_text", "text": question},
],
},
}))
await ws.send(json.dumps({"type": "response.create"}))
await montrer_image(ws, "facture.jpg", "Какво трябва да платя и до кога?")
Изображенията се таксуват като токени за изображения със специфична ставка, посочена в картата на модела. За тежък анализ или за по-мощен модел за компютърно зрение все още можете да заявите отделно Responses API, след което да предадете резултата му на сесията: направете това чрез съобщение system или user (със съдържание input_text), никога чрез фалшиво съобщение от асистент, което моделът би интерпретирал като свои собствени думи.
Мултимодален уеб интерфейс
За уеб приложение комбинирайте Realtime WebSocket с визуален интерфейс:
from fastapi import FastAPI, WebSocket
from fastapi.staticfiles import StaticFiles
app = FastAPI()
@app.websocket("/ws/agent")
async def multimodal_agent(client_ws: WebSocket):
"""Мултимодален агент с уеб интерфейс."""
await client_ws.accept()
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}"
}
async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
await openai_ws.recv() # session.created
await openai_ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"output_modalities": ["audio"],
"instructions": "Мултимодален асистент. Отговаряйте на английски.",
"audio": {"output": {"voice": "marin"}}
}
}))
await openai_ws.recv()
async def client_to_openai():
async for message in client_ws.iter_text():
data = json.loads(message)
if data["type"] == "audio":
# Препредаване на аудио
await openai_ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": data["audio"]
}))
elif data["type"] == "text":
# Текстово съобщение (чат)
await openai_ws.send(json.dumps({
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [{
"type": "input_text",
"text": data["text"]
}]
}
}))
await openai_ws.send(json.dumps({
"type": "response.create"
}))
async def openai_to_client():
async for message in openai_ws:
event = json.loads(message)
t = event["type"]
if t == "response.output_audio.delta":
await client_ws.send_json({
"type": "audio",
"delta": event["delta"]
})
elif t == "response.output_audio_transcript.delta":
await client_ws.send_json({
"type": "transcript",
"delta": event["delta"]
})
elif t == "response.output_text.delta":
await client_ws.send_json({
"type": "text",
"delta": event["delta"]
})
await asyncio.gather(client_to_openai(), openai_to_client())
Сценарии за мултимодално използване
Ето как мултимодален агент обработва различни сценарии в инструмент за извикване на функции:
tools = [
{
"type": "function",
"name": "show_chart",
"description": "Показва графика с данни на потребителя",
"parameters": {
"type": "object",
"properties": {
"chart_type": {"type": "string", "enum": ["bar", "line", "pie"]},
"title": {"type": "string"},
"data": {"type": "object"}
},
"required": ["chart_type", "title", "data"]
}
},
{
"type": "function",
"name": "send_document",
"description": "Изпраща документ на клиента по имейл",
"parameters": {
"type": "object",
"properties": {
"document_type": {"type": "string"},
"recipient": {"type": "string"}
},
"required": ["document_type", "recipient"]
}
}
]
Потребителят казва устно: „Покажи ми продажбите от последното тримесечие като графика.“ Агентът извиква show_chart, вашият фронтенд показва графиката, а агентът коментира устно резултатите.
Ключови изводи
- Realtime API поддържа текстови и аудио модальности едновременно в една и съща сесия
- Инжектирането на текст чрез
conversation.item.createВи позволява да обогатите гласовия контекст - Моделите в реално време приемат изображения: прикачете ги като
input_imageкъм потребителско съобщение - Инструментите (извикване на функции) Ви позволяват да показвате визуални елементи, докато отговаряте устно
- Архитектурата на WebSocket от страна на клиента Ви позволява да смесвате аудио, текст и структурирани данни