Hlasový asistent s viacerými módmi
Na tejto strane
Aktualizované 2. novembra 2026 — Zvukové modely. Niekoľko modelov v tomto kurze je zastaraných:
tts-1,tts-1-hdagpt-4o-mini-ttsprestanú fungovať 6. januára 2027 (uvedenou náhradou jegpt-realtime-2.1-mini, ktorý podľa príručky OpenAI TTS nie je podporovaný cez/v1/audio/speech: migrácia syntézy reči musí prebehnúť cez Realtime API);gpt-realtime,gpt-4o-realtimea staršie zvukové modely 20. januára 2027 (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribea/v1/audio/translations26. februára 2027 (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Pre plno duplexný hlas je GPT-Live 1 dostupné v API od 10. septembra 2026.
Opravené 3. novembra 2026. Na analýzu obrázka lekcia predtým vykonávala samostatný volanie Responses API a následne vkladala popis ako správu asistenta s obsahom
input_text, čo je typ vyhradený pre správy používateľa alebo systému. Modelygpt-realtime-2.1agpt-realtime-2však akceptujú obrázky ako vstup: obrázok sa pripojí priamo akoinput_imagek správe používateľa. Udalosťresponse.text.deltazo starej beta verzie sa teraz nazývaresponse.output_text.delta. Tvary udalostí overené podľa typov SDKopenaiverzie 3.42.1. Zdroje: Konverzácie v reálnom čase, Vstupy obrázkov · gpt-realtime-2.1.
Hlasový asistent s viacerými módmi
Hlasový asistent s viacerými módmi kombinuje hlas s ďalšími modalitami: textom, obrázkami, videom a štruktúrovanými dátami. Používateľ hovorí, ale agent môže zároveň zobrazovať vizuálne informácie, analyzovať obrázky odoslané používateľom alebo spájať viacero zdrojov dát. Toto je budúcnosť interakcie medzi človekom a počítačom.
Text a zvuk paralelne
Realtime API natívne podporuje textové aj zvukové modality súčasne. Môžeš vkladať text do konverzácie pri zachovaní hlasovej výmeny:
async def inject_text_context(ws, context: str):
"""Pridá textový kontext do hlasovej konverzácie."""
await ws.send(json.dumps({
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": context
}
]
}
}))
# Spustí hlasovú odpoveď na základe tohto kontextu
await ws.send(json.dumps({"type": "response.create"}))
# Používateľ ústne požiada „Prečítaj mi môj najnovší e-mail“
# Ty vložíš obsah e-mailu ako text
await inject_text_context(ws, """
Tu je najnovší prijatý e-mail:
Od: [email protected]
Predmet: Žiadosť o cenovú ponuku
Obsah: Dobrý deň, chcem požiadať o cenovú ponuku na
integráciu hlasového agenta do nášho call centra.
""")
Zobrazenie obrázka hlasovému agentovi
Modely gpt-realtime-2.1 a gpt-realtime-2 akceptujú ako vstup text, zvuk aj obrázky. Obrázok sa pripojí ako časť input_image správy používateľa pomocou Base64 Data URI, a to cez WebSocket aj dátový kanál WebRTC. Model toto zohľadní vo svojej hlasovej odpovedi bez volania ďalšieho API:
import base64
import json
async def montrer_image(ws, chemin_image: str, question: str) -> None:
"""Pripojí obrázok a otázku ku konverzácii a potom vyžiada hlasovú odpoveď."""
with open(chemin_image, "rb") as f:
image_b64 = base64.b64encode(f.read()).decode()
await ws.send(json.dumps({
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{"type": "input_image", "image_url": f"data:image/jpeg;base64,{image_b64}"},
{"type": "input_text", "text": question},
],
},
}))
await ws.send(json.dumps({"type": "response.create"}))
await montrer_image(ws, "facture.jpg", "Čo musím zaplatiť a do kedy?")
Obrázky sa fakturujú ako tokeny obrázkov podľa špecifickej sadzby uvedenej na karte modelu. Pri náročnejšej analýze alebo ak potrebuješ výkonnejší vizuálny model, môžeš stále samostatne osloviť Responses API a jeho výsledok potom odovzdať do relácie: urob to cez správu system alebo user (s obsahom input_text), nikdy nie cez falošnú správu asistenta, ktorú by model interpretoval ako svoje vlastné slová.
Webové rozhranie s viacerými módmi
Pre webovú aplikáciu skombinuj Realtime WebSocket s vizuálnym rozhraním:
from fastapi import FastAPI, WebSocket
from fastapi.staticfiles import StaticFiles
app = FastAPI()
@app.websocket("/ws/agent")
async def multimodal_agent(client_ws: WebSocket):
"""Multimodálny agent s webovým rozhraním."""
await client_ws.accept()
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}"
}
async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
await openai_ws.recv() # session.created
await openai_ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"output_modalities": ["audio"],
"instructions": "Multimodálny asistent. Odpovedaj po anglicky.",
"audio": {"output": {"voice": "marin"}}
}
}))
await openai_ws.recv()
async def client_to_openai():
async for message in client_ws.iter_text():
data = json.loads(message)
if data["type"] == "audio":
# Preposlanie zvuku
await openai_ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": data["audio"]
}))
elif data["type"] == "text":
# Textová správa (chat)
await openai_ws.send(json.dumps({
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [{
"type": "input_text",
"text": data["text"]
}]
}
}))
await openai_ws.send(json.dumps({
"type": "response.create"
}))
async def openai_to_client():
async for message in openai_ws:
event = json.loads(message)
t = event["type"]
if t == "response.output_audio.delta":
await client_ws.send_json({
"type": "audio",
"delta": event["delta"]
})
elif t == "response.output_audio_transcript.delta":
await client_ws.send_json({
"type": "transcript",
"delta": event["delta"]
})
elif t == "response.output_text.delta":
await client_ws.send_json({
"type": "text",
"delta": event["delta"]
})
await asyncio.gather(client_to_openai(), openai_to_client())
Prípady použitia s viacerými módmi
Tu je ukážka, ako multimodálny agent spracováva rôzne scenáre v nástroji na volanie funkcií:
tools = [
{
"type": "function",
"name": "show_chart",
"description": "Zobrazí používateľovi graf dát",
"parameters": {
"type": "object",
"properties": {
"chart_type": {"type": "string", "enum": ["bar", "line", "pie"]},
"title": {"type": "string"},
"data": {"type": "object"}
},
"required": ["chart_type", "title", "data"]
}
},
{
"type": "function",
"name": "send_document",
"description": "Odošle klientovi dokument e-mailom",
"parameters": {
"type": "object",
"properties": {
"document_type": {"type": "string"},
"recipient": {"type": "string"}
},
"required": ["document_type", "recipient"]
}
}
]
Používateľ ústne povie: „Ukáž mi predaj za minulý štvrťrok ako graf.“ Agent zavolá show_chart, tvoj frontend zobrazí graf a agent ústne okomentuje výsledky.
Kľúčové poznatky
- Realtime API podporuje textové aj zvukové modality súčasne v rámci tej istej relácie
- Vkladanie textu cez
conversation.item.createti umožňuje obohatiť hlasový kontext - Modely Realtime akceptujú obrázky: pripoj ich ako
input_imagek správe používateľa - Nástroje (volanie funkcií) ti umožňujú zobrazovať vizuálne prvky pri súčasnej hlasovej odpovedi
- Architektúra WebSocket na strane klienta ti umožňuje miešať zvuk, text a štruktúrované dáta