Hlasový asistent s více režimy
Na této stránce
Aktualizováno 2. listopadu 2026 — Zvukové modely. Několik modelů v tomto kurzu je zastaralých:
tts-1,tts-1-hdagpt-4o-mini-ttspřestanou fungovat 6. ledna 2027 (uvedenou náhradou jegpt-realtime-2.1-mini, který podle průvodce OpenAI TTS není podporován endpointem/v1/audio/speech: migrace syntézy řeči musí proběhnout přes Realtime API);gpt-realtime,gpt-4o-realtimea starší zvukové modely skončí 20. ledna 2027 (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribea/v1/audio/translationsskončí 26. února 2027 (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Pro plně duplexní hlas je GPT-Live 1 dostupné v API od 10. září 2026.
Opraveno 3. listopadu 2026. Pro analýzu obrázku lekce dříve prováděla samostatný volání do Responses API a následně vkládala popis jako zprávu asistenta s obsahem
input_text, což je typ vyhrazený pro zprávy uživatele nebo systému. Modelygpt-realtime-2.1agpt-realtime-2však přijímají obrázky přímo jako vstup: obrázek se připojí přímo jakoinput_imageke zprávě uživatele. Událostresponse.text.deltaze staré betaverze se nyní jmenujeresponse.output_text.delta. Tvar událostí byl ověřen proti typům SDKopenaiverze 3.42.1. Zdroje: Realtime conversations, Image inputs · gpt-realtime-2.1.
Hlasový asistent s více režimy
Hlasový asistent s více režimy kombinuje hlas s dalšími modalitami: textem, obrázky, videem a strukturovanými daty. Uživatel mluví, ale agent může také zobrazovat vizuální informace, analyzovat obrázky zaslané uživatelem nebo kombinovat více zdrojů dat. To je budoucnost interakce mezi člověkem a počítačem.
Text a zvuk paralelně
Realtime API nativně podporuje textové i zvukové modality současně. Můžeš vkládat text do konverzace při zachování hlasové výměny:
async def inject_text_context(ws, context: str):
"""Přidá textový kontext do hlasové konverzace."""
await ws.send(json.dumps({
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": context
}
]
}
}))
# Spustí hlasovou odpověď na základě tohoto kontextu
await ws.send(json.dumps({"type": "response.create"}))
# Uživatel ústně požádá „Přečti mi můj nejnovější e-mail“
# Ty vložíš obsah e-mailu jako text
await inject_text_context(ws, """
Zde je nejnovější přijatý e-mail:
Od: [email protected]
Předmět: Žádost o nabídku
Obsah: Dobrý den, rád bych požádal o nabídku na
integraci hlasového agenta do našeho call centra.
""")
Zobrazení obrázku hlasovému agentovi
Modely gpt-realtime-2.1 a gpt-realtime-2 přijímají jako vstup text, zvuk i obrázky. Obrázek se připojí jako část input_image zprávy uživatele pomocí datového URI ve formátu Base64, a to jak přes WebSocket, tak přes datový kanál WebRTC. Model toto zohlední ve své hlasové odpovědi, aniž by volal jiné API:
import base64
import json
async def montrer_image(ws, chemin_image: str, question: str) -> None:
"""Připojí obrázek a otázku do konverzace a poté požádá o hlasovou odpověď."""
with open(chemin_image, "rb") as f:
image_b64 = base64.b64encode(f.read()).decode()
await ws.send(json.dumps({
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{"type": "input_image", "image_url": f"data:image/jpeg;base64,{image_b64}"},
{"type": "input_text", "text": question},
],
},
}))
await ws.send(json.dumps({"type": "response.create"}))
await montrer_image(ws, "facture.jpg", "Co musím zaplatit a do jakého data?")
Obrázky se fakturují jako obrazové tokeny za specifickou sazbu uvedenou na kartě modelu. Pro náročnou analýzu nebo použití schopnějšího vizuálního modelu můžeš stále samostatně dotazovat Responses API a jeho výsledek předat do relace: udělej to prostřednictvím zprávy system nebo user (s obsahem input_text), nikdy ne prostřednictvím falešné zprávy asistenta, kterou by model interpretoval jako svá vlastní slova.
Webové rozhraní s více režimy
Pro webovou aplikaci zkombinuj Realtime WebSocket s vizuálním rozhraním:
from fastapi import FastAPI, WebSocket
from fastapi.staticfiles import StaticFiles
app = FastAPI()
@app.websocket("/ws/agent")
async def multimodal_agent(client_ws: WebSocket):
"""Multimodální agent s webovým rozhraním."""
await client_ws.accept()
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}"
}
async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
await openai_ws.recv() # session.created
await openai_ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"output_modalities": ["audio"],
"instructions": "Multimodální asistent. Odpovídej anglicky.",
"audio": {"output": {"voice": "marin"}}
}
}))
await openai_ws.recv()
async def client_to_openai():
async for message in client_ws.iter_text():
data = json.loads(message)
if data["type"] == "audio":
# Předání zvuku
await openai_ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": data["audio"]
}))
elif data["type"] == "text":
# Textová zpráva (chat)
await openai_ws.send(json.dumps({
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [{
"type": "input_text",
"text": data["text"]
}]
}
}))
await openai_ws.send(json.dumps({
"type": "response.create"
}))
async def openai_to_client():
async for message in openai_ws:
event = json.loads(message)
t = event["type"]
if t == "response.output_audio.delta":
await client_ws.send_json({
"type": "audio",
"delta": event["delta"]
})
elif t == "response.output_audio_transcript.delta":
await client_ws.send_json({
"type": "transcript",
"delta": event["delta"]
})
elif t == "response.output_text.delta":
await client_ws.send_json({
"type": "text",
"delta": event["delta"]
})
await asyncio.gather(client_to_openai(), openai_to_client())
Případy použití s více režimy
Zde je ukázka, jak multimodální agent zpracovává různé scénáře v nástroji pro volání funkcí:
tools = [
{
"type": "function",
"name": "show_chart",
"description": "Zobrazí uživateli graf dat",
"parameters": {
"type": "object",
"properties": {
"chart_type": {"type": "string", "enum": ["bar", "line", "pie"]},
"title": {"type": "string"},
"data": {"type": "object"}
},
"required": ["chart_type", "title", "data"]
}
},
{
"type": "function",
"name": "send_document",
"description": "Pošle klientovi dokument e-mailem",
"parameters": {
"type": "object",
"properties": {
"document_type": {"type": "string"},
"recipient": {"type": "string"}
},
"required": ["document_type", "recipient"]
}
}
]
Uživatel ústně řekne: „Ukaž mi prodej za poslední čtvrtletí jako graf.“ Agent zavolá show_chart, tvůj frontend zobrazí graf a agent ústně okomentuje výsledky.
Klíčové poznatky
- Realtime API podporuje textové i zvukové modality současně v rámci jedné relace
- Vkládání textu prostřednictvím
conversation.item.createti umožňuje obohatit hlasový kontext - Modely Realtime přijímají obrázky: připoj je jako
input_imageke zprávě uživatele - Nástroje (volání funkcí) ti umožňují zobrazovat vizuální prvky při současném verbálním odpovídání
- Architektura WebSocket na straně klienta ti umožňuje míchat zvuk, text a strukturovaná data