Pomočnik za glasovno komunikacijo z več načini vnosa
Na tej strani
Posodobljeno 2. novembra 2026 — Zvočni modeli. Nekateri modeli v tem tečaju so zastareli:
tts-1,tts-1-hdingpt-4o-mini-ttsbodo prenehali delovati 6. januarja 2027 (navedena zamenjava jegpt-realtime-2.1-mini, ki pa po navodilih OpenAI za TTS ni podprta z/v1/audio/speech: selitev sinteze govora mora potekati prek Realtime API);gpt-realtime,gpt-4o-realtimein starejši zvočni modeli 20. januarja 2027 (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribein/v1/audio/translations26. februarja 2027 (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Za polnodupleksni glas je GPT-Live 1 na voljo v API-ju od 10. septembra 2026.
Popravljeno 3. novembra 2026. Za analizo slike je lekcija prej izvedla ločen klic Responses API, nato pa opis vstavila kot sporočilo asistenta z vsebino
input_text, kar je tip, rezerviran za sporočila uporabnika ali sistema. Vendar pagpt-realtime-2.1ingpt-realtime-2sprejemata slike kot vhodne podatke: slika se neposredno priloži kotinput_imagek sporočilu uporabnika. Dogodekresponse.text.deltaiz stare beta različice se zdaj imenujeresponse.output_text.delta. Oblike dogodkov so preverjene glede na tipe SDKopenairazličice 3.42.1. Viri: Realtime conversations, Image inputs · gpt-realtime-2.1.
Pomočnik za glasovno komunikacijo z več načini vnosa
Pomočnik za glasovno komunikacijo z več načini vnosa združuje glas z drugimi modalitetami: besedilom, slikami, videom in strukturiranimi podatki. Uporabnik govori, agent pa lahko hkrati prikazuje vizualne informacije, analizira slike, ki jih pošlje uporabnik, ali združuje več virov podatkov. To je prihodnost interakcije med človekom in računalnikom.
Besedilo in zvok vzporedno
Realtime API izvorno hkrati podpira besedilne in zvočne modalitete. Med glasovno izmenjavo lahko v pogovor vstaviš besedilo:
async def inject_text_context(ws, context: str):
"""Adds text context to the voice conversation."""
await ws.send(json.dumps({
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": context
}
]
}
}))
# Trigger a voice response based on this context
await ws.send(json.dumps({"type": "response.create"}))
# The user verbally asks "Read me my latest email"
# You inject the email content as text
await inject_text_context(ws, """
Here is the latest email received:
From: [email protected]
Subject: Quote Request
Content: Hello, I would like to request a quote for
integrating a voice agent into our call center.
""")
Prikaz slike glasovnemu agentu
gpt-realtime-2.1 in gpt-realtime-2 kot vhodne podatke sprejemajo besedilo, zvok in slike. Slika se priloži kot del input_image sporočila uporabnika z uporabo URI-ja podatkov Base64, in sicer tako prek WebSocket kot prek podatkovnega kanala WebRTC. Model to upošteva v svojem glasovnem odgovoru, ne da bi klical drug API:
import base64
import json
async def montrer_image(ws, chemin_image: str, question: str) -> None:
"""Attaches an image and a question to the conversation, then requests a voice response."""
with open(chemin_image, "rb") as f:
image_b64 = base64.b64encode(f.read()).decode()
await ws.send(json.dumps({
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{"type": "input_image", "image_url": f"data:image/jpeg;base64,{image_b64}"},
{"type": "input_text", "text": question},
],
},
}))
await ws.send(json.dumps({"type": "response.create"}))
await montrer_image(ws, "facture.jpg", "What do I need to pay, and by what date?")
Slike se zaračunavajo kot slikovni žetoni po specifični stopnji, navedeni na kartici modela. Za obsežnejšo analizo ali uporabo zmogljivejšega vidnega modela lahko Responses API še vedno pokličeš ločeno, nato pa njegov rezultat posreduješ seji: to storiš prek sporočila system ali user (z vsebino input_text), nikoli pa prek lažnega sporočila asistenta, ki bi ga model razumel kot svoje lastne besede.
Večmodalni spletni vmesnik
Za spletno aplikacijo združi Realtime WebSocket z vizualnim vmesnikom:
from fastapi import FastAPI, WebSocket
from fastapi.staticfiles import StaticFiles
app = FastAPI()
@app.websocket("/ws/agent")
async def multimodal_agent(client_ws: WebSocket):
"""Multimodal agent with web interface."""
await client_ws.accept()
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}"
}
async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
await openai_ws.recv() # session.created
await openai_ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"output_modalities": ["audio"],
"instructions": "Multimodal assistant. Respond in English.",
"audio": {"output": {"voice": "marin"}}
}
}))
await openai_ws.recv()
async def client_to_openai():
async for message in client_ws.iter_text():
data = json.loads(message)
if data["type"] == "audio":
# Relay audio
await openai_ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": data["audio"]
}))
elif data["type"] == "text":
# Text message (chat)
await openai_ws.send(json.dumps({
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [{
"type": "input_text",
"text": data["text"]
}]
}
}))
await openai_ws.send(json.dumps({
"type": "response.create"
}))
async def openai_to_client():
async for message in openai_ws:
event = json.loads(message)
t = event["type"]
if t == "response.output_audio.delta":
await client_ws.send_json({
"type": "audio",
"delta": event["delta"]
})
elif t == "response.output_audio_transcript.delta":
await client_ws.send_json({
"type": "transcript",
"delta": event["delta"]
})
elif t == "response.output_text.delta":
await client_ws.send_json({
"type": "text",
"delta": event["delta"]
})
await asyncio.gather(client_to_openai(), openai_to_client())
Primeri uporabe z več načini vnosa
Tako večmodalni agent obravnava različne scenarije v orodju za klicanje funkcij:
tools = [
{
"type": "function",
"name": "show_chart",
"description": "Displays a data chart to the user",
"parameters": {
"type": "object",
"properties": {
"chart_type": {"type": "string", "enum": ["bar", "line", "pie"]},
"title": {"type": "string"},
"data": {"type": "object"}
},
"required": ["chart_type", "title", "data"]
}
},
{
"type": "function",
"name": "send_document",
"description": "Sends a document to the client by email",
"parameters": {
"type": "object",
"properties": {
"document_type": {"type": "string"},
"recipient": {"type": "string"}
},
"required": ["document_type", "recipient"]
}
}
]
Uporabnik ustno reče: „Prikaži mi prodajo preteklega četrtletja kot graf.” Agent pokliče show_chart, tvoje spletno mesto prikaže graf, agent pa ustno komentira rezultate.
Ključne ugotovitve
- Realtime API hkrati podpira besedilne in zvočne modalitete v isti seji
- Vstavljanje besedila prek
conversation.item.createti omogoča obogatitev glasovnega konteksta - Realtime modeli sprejemajo slike: priloži jih kot
input_imagek sporočilu uporabnika - Orodja (klicanje funkcij) ti omogočajo prikaz vizualnih elementov med glasovnim odgovarjanjem
- Arhitektura WebSocket na strani odjemalca ti omogoča mešanje zvoka, besedila in strukturiranih podatkov