Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Hlasový asistent s viacerými módmi

Lekcia 16 z 18 Aktualizované 3. novembra 2026 Vývojár
Na tejto strane
  1. Hlasový asistent s viacerými módmi
  2. Text a zvuk paralelne
  3. Zobrazenie obrázka hlasovému agentovi
  4. Webové rozhranie s viacerými módmi
  5. Prípady použitia s viacerými módmi
  6. Kľúčové poznatky

Aktualizované 2. novembra 2026 — Zvukové modely. Niekoľko modelov v tomto kurze je zastaraných: tts-1, tts-1-hd a gpt-4o-mini-tts prestanú fungovať 6. januára 2027 (uvedenou náhradou je gpt-realtime-2.1-mini, ktorý podľa príručky OpenAI TTS nie je podporovaný cez /v1/audio/speech: migrácia syntézy reči musí prebehnúť cez Realtime API); gpt-realtime, gpt-4o-realtime a staršie zvukové modely 20. januára 2027 (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe a /v1/audio/translations 26. februára 2027 (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Pre plno duplexný hlas je GPT-Live 1 dostupné v API od 10. septembra 2026.

Opravené 3. novembra 2026. Na analýzu obrázka lekcia predtým vykonávala samostatný volanie Responses API a následne vkladala popis ako správu asistenta s obsahom input_text, čo je typ vyhradený pre správy používateľa alebo systému. Modely gpt-realtime-2.1 a gpt-realtime-2 však akceptujú obrázky ako vstup: obrázok sa pripojí priamo ako input_image k správe používateľa. Udalosť response.text.delta zo starej beta verzie sa teraz nazýva response.output_text.delta. Tvary udalostí overené podľa typov SDK openai verzie 3.42.1. Zdroje: Konverzácie v reálnom čase, Vstupy obrázkov · gpt-realtime-2.1.

Hlasový asistent s viacerými módmi

Hlasový asistent s viacerými módmi kombinuje hlas s ďalšími modalitami: textom, obrázkami, videom a štruktúrovanými dátami. Používateľ hovorí, ale agent môže zároveň zobrazovať vizuálne informácie, analyzovať obrázky odoslané používateľom alebo spájať viacero zdrojov dát. Toto je budúcnosť interakcie medzi človekom a počítačom.

Text a zvuk paralelne

Realtime API natívne podporuje textové aj zvukové modality súčasne. Môžeš vkladať text do konverzácie pri zachovaní hlasovej výmeny:

async def inject_text_context(ws, context: str):
    """Pridá textový kontext do hlasovej konverzácie."""
    await ws.send(json.dumps({
        "type": "conversation.item.create",
        "item": {
            "type": "message",
            "role": "user",
            "content": [
                {
                    "type": "input_text",
                    "text": context
                }
            ]
        }
    }))

    # Spustí hlasovú odpoveď na základe tohto kontextu
    await ws.send(json.dumps({"type": "response.create"}))

# Používateľ ústne požiada „Prečítaj mi môj najnovší e-mail“
# Ty vložíš obsah e-mailu ako text
await inject_text_context(ws, """
Tu je najnovší prijatý e-mail:
Od: [email protected]
Predmet: Žiadosť o cenovú ponuku
Obsah: Dobrý deň, chcem požiadať o cenovú ponuku na
integráciu hlasového agenta do nášho call centra.
""")

Zobrazenie obrázka hlasovému agentovi

Modely gpt-realtime-2.1 a gpt-realtime-2 akceptujú ako vstup text, zvuk aj obrázky. Obrázok sa pripojí ako časť input_image správy používateľa pomocou Base64 Data URI, a to cez WebSocket aj dátový kanál WebRTC. Model toto zohľadní vo svojej hlasovej odpovedi bez volania ďalšieho API:

import base64
import json


async def montrer_image(ws, chemin_image: str, question: str) -> None:
    """Pripojí obrázok a otázku ku konverzácii a potom vyžiada hlasovú odpoveď."""
    with open(chemin_image, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode()

    await ws.send(json.dumps({
        "type": "conversation.item.create",
        "item": {
            "type": "message",
            "role": "user",
            "content": [
                {"type": "input_image", "image_url": f"data:image/jpeg;base64,{image_b64}"},
                {"type": "input_text", "text": question},
            ],
        },
    }))
    await ws.send(json.dumps({"type": "response.create"}))


await montrer_image(ws, "facture.jpg", "Čo musím zaplatiť a do kedy?")

Obrázky sa fakturujú ako tokeny obrázkov podľa špecifickej sadzby uvedenej na karte modelu. Pri náročnejšej analýze alebo ak potrebuješ výkonnejší vizuálny model, môžeš stále samostatne osloviť Responses API a jeho výsledok potom odovzdať do relácie: urob to cez správu system alebo user (s obsahom input_text), nikdy nie cez falošnú správu asistenta, ktorú by model interpretoval ako svoje vlastné slová.

Webové rozhranie s viacerými módmi

Pre webovú aplikáciu skombinuj Realtime WebSocket s vizuálnym rozhraním:

from fastapi import FastAPI, WebSocket
from fastapi.staticfiles import StaticFiles

app = FastAPI()

@app.websocket("/ws/agent")
async def multimodal_agent(client_ws: WebSocket):
    """Multimodálny agent s webovým rozhraním."""
    await client_ws.accept()

    headers = {
        "Authorization": f"Bearer {OPENAI_API_KEY}"
    }

    async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
        await openai_ws.recv()  # session.created

        await openai_ws.send(json.dumps({
            "type": "session.update",
            "session": {
                "type": "realtime",
                "output_modalities": ["audio"],
                "instructions": "Multimodálny asistent. Odpovedaj po anglicky.",
                "audio": {"output": {"voice": "marin"}}
            }
        }))
        await openai_ws.recv()

        async def client_to_openai():
            async for message in client_ws.iter_text():
                data = json.loads(message)

                if data["type"] == "audio":
                    # Preposlanie zvuku
                    await openai_ws.send(json.dumps({
                        "type": "input_audio_buffer.append",
                        "audio": data["audio"]
                    }))

                elif data["type"] == "text":
                    # Textová správa (chat)
                    await openai_ws.send(json.dumps({
                        "type": "conversation.item.create",
                        "item": {
                            "type": "message",
                            "role": "user",
                            "content": [{
                                "type": "input_text",
                                "text": data["text"]
                            }]
                        }
                    }))
                    await openai_ws.send(json.dumps({
                        "type": "response.create"
                    }))

        async def openai_to_client():
            async for message in openai_ws:
                event = json.loads(message)
                t = event["type"]

                if t == "response.output_audio.delta":
                    await client_ws.send_json({
                        "type": "audio",
                        "delta": event["delta"]
                    })

                elif t == "response.output_audio_transcript.delta":
                    await client_ws.send_json({
                        "type": "transcript",
                        "delta": event["delta"]
                    })

                elif t == "response.output_text.delta":
                    await client_ws.send_json({
                        "type": "text",
                        "delta": event["delta"]
                    })

        await asyncio.gather(client_to_openai(), openai_to_client())

Prípady použitia s viacerými módmi

Tu je ukážka, ako multimodálny agent spracováva rôzne scenáre v nástroji na volanie funkcií:

tools = [
    {
        "type": "function",
        "name": "show_chart",
        "description": "Zobrazí používateľovi graf dát",
        "parameters": {
            "type": "object",
            "properties": {
                "chart_type": {"type": "string", "enum": ["bar", "line", "pie"]},
                "title": {"type": "string"},
                "data": {"type": "object"}
            },
            "required": ["chart_type", "title", "data"]
        }
    },
    {
        "type": "function",
        "name": "send_document",
        "description": "Odošle klientovi dokument e-mailom",
        "parameters": {
            "type": "object",
            "properties": {
                "document_type": {"type": "string"},
                "recipient": {"type": "string"}
            },
            "required": ["document_type", "recipient"]
        }
    }
]

Používateľ ústne povie: „Ukáž mi predaj za minulý štvrťrok ako graf.“ Agent zavolá show_chart, tvoj frontend zobrazí graf a agent ústne okomentuje výsledky.

Kľúčové poznatky

  • Realtime API podporuje textové aj zvukové modality súčasne v rámci tej istej relácie
  • Vkladanie textu cez conversation.item.create ti umožňuje obohatiť hlasový kontext
  • Modely Realtime akceptujú obrázky: pripoj ich ako input_image k správe používateľa
  • Nástroje (volanie funkcií) ti umožňujú zobrazovať vizuálne prvky pri súčasnej hlasovej odpovedi
  • Architektúra WebSocket na strane klienta ti umožňuje miešať zvuk, text a štruktúrované dáta