Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Assistent Vokali Multimodali

Lezzjoni 16 / 18 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Assistent Vokali Multimodali
  2. Test u Awdjo f’Parallel
  3. Nuru Stampa lill-Aġent Vokali
  4. Interfaċċja Web Multimodali
  5. Każijiet ta’ Użu Multimodali
  6. Punti Ewlenin

Aġġornat fit-2 ta’ Novembru, 2026 — Mudelli tal-awdjo. Diversi mudelli f’dan il-kors huma skaduti: tts-1, tts-1-hd, u gpt-4o-mini-tts se jieqfu jaħdmu fis-6 ta’ Jannar, 2027 (is-sostitut indikat huwa gpt-realtime-2.1-mini, li l-gwida tat-TTS ta’ OpenAI tiddikjara li mhux appoġġjata minn /v1/audio/speech: il-migrazzjoni tas-sinteżi tal-kliem trid tgħaddi mill-API Realtime); gpt-realtime, gpt-4o-realtime, u mudelli tal-awdjo legacy fis-20 ta’ Jannar, 2027 (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe, u /v1/audio/translations fis-26 ta’ Frar, 2027 (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Għal-leħen full-duplex, GPT-Live 1 kien disponibbli fl-API mill-10 ta’ Settembru, 2026.

Ikkoreġut fit-3 ta’ Novembru, 2026. Biex tanalizza stampa, il-lezzjoni preċedenti kienet tagħmel sejħa separata lill-API tar-Risposti, imbagħad tinjetta d-deskrizzjoni bħala messaġġ tal-assistent b’kontenut input_text, tip riżervat għal messaġġi tal-utent jew tas-sistema. Madankollu, gpt-realtime-2.1 u gpt-realtime-2 jaċċettaw stampi bħala input: l-immaġni tiġi mehmuża direttament, bħala input_image, għal messaġġ tal-utent. L-avveniment response.text.delta mill-beta l-qadim issa jissejjaħ response.output_text.delta. Il-forom tal-avvenimenti ġew ivverifikati kontra t-tipi tal-SDK openai 3.42.1. Sorsi: Konversazzjonijiet Realtime, Inputs tal-immaġni · gpt-realtime-2.1.

Assistent Vokali Multimodali

Assistent vokali multimodali jgħaqqad il-leħen ma’ modalitajiet oħra: test, stampi, vidjows, u data strutturata. L-utent jitkellem, iżda l-aġent jista’ wkoll juri informazzjoni viżiva, janalizza stampi mibgħuta mill-utent, jew jgħaqqad sorsi multipli ta’ data. Dan huwa l-futur tal-interazzjoni bejn il-bniedem u l-kompjuter.

Test u Awdjo f’Parallel

L-API Realtime tappoġġja nativament il-modalitajiet tat-test u tal-awdjo simultanjament. Tista’ tinjetta test fil-konversazzjoni waqt li żżomm l-iskambju vokali:

async def inject_text_context(ws, context: str):
    """Iżid kuntest tat-test mal-konversazzjoni vokali."""
    await ws.send(json.dumps({
        "type": "conversation.item.create",
        "item": {
            "type": "message",
            "role": "user",
            "content": [
                {
                    "type": "input_text",
                    "text": context
                }
            ]
        }
    }))

    # Iġġenera tweġiba vokali bbażata fuq dan il-kuntest
    await ws.send(json.dumps({"type": "response.create"}))

# L-utent jistaqsi verbalment "Aqrali l-aħħar email tiegħi"
# Inti tinjetta l-kontenut tal-email bħala test
await inject_text_context(ws, """
Hawnhekk hija l-aħħar email li waslet:
Minn: [email protected]
Suġġett: Talba għal Offerta
Kontenut: Bongu, nixtieq nitlob offerta għall-
integrazzjoni ta' aġent vokali fiċ-ċentru tas-sejħiet tagħna.
""")

Nuru Stampa lill-Aġent Vokali

gpt-realtime-2.1 u gpt-realtime-2 jaċċettaw test, awdjo, u stampi bħala input. Immaġni tiġi mehmuża bħala parti input_image ta’ messaġġ tal-utent, bl-użu ta’ Data URI Base64, kemm fuq WebSocket kif ukoll fuq il-kanal tad-data WebRTC. Il-mudell iqis dan fit-tweġiba vokali tiegħu, mingħajr ma jsejjaħ API oħra:

import base64
import json


async def montrer_image(ws, chemin_image: str, question: str) -> None:
    """Iehmeż immaġni u mistoqsija mal-konversazzjoni, imbagħad jitlob tweġiba vokali."""
    with open(chemin_image, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode()

    await ws.send(json.dumps({
        "type": "conversation.item.create",
        "item": {
            "type": "message",
            "role": "user",
            "content": [
                {"type": "input_image", "image_url": f"data:image/jpeg;base64,{image_b64}"},
                {"type": "input_text", "text": question},
            ],
        },
    }))
    await ws.send(json.dumps({"type": "response.create"}))


await montrer_image(ws, "facture.jpg", "X'għandi nħallas, u sa liema data?")

L-immaġni jiġu ffratturati bħala tokens tal-immaġni, b’rata speċifika elenkata fil-karta tal-mudell. Għal analiżi tqila jew għal mudell tal-viżjoni aktar kapaċi, tista’ xorta tikkonsulta l-API tar-Risposti separatament, imbagħad tgħaddi r-riżultat tagħha lis-sessjoni: agħmel dan permezz ta’ messaġġ system jew user (b’kontenut input_text), qatt mhux permezz ta’ messaġġ falz tal-assistent, li l-mudell jinterpretah bħala kliemu stess.

Interfaċċja Web Multimodali

Għal applikazzjoni web, għaqqad il-WebSocket Realtime ma’ interfaċċja viżiva:

from fastapi import FastAPI, WebSocket
from fastapi.staticfiles import StaticFiles

app = FastAPI()

@app.websocket("/ws/agent")
async def multimodal_agent(client_ws: WebSocket):
    """Aġent multimodali b'interfaċċja web."""
    await client_ws.accept()

    headers = {
        "Authorization": f"Bearer {OPENAI_API_KEY}"
    }

    async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
        await openai_ws.recv()  # session.created

        await openai_ws.send(json.dumps({
            "type": "session.update",
            "session": {
                "type": "realtime",
                "output_modalities": ["audio"],
                "instructions": "Assistent multimodali. Wieġeb bl-Ingliż.",
                "audio": {"output": {"voice": "marin"}}
            }
        }))
        await openai_ws.recv()

        async def client_to_openai():
            async for message in client_ws.iter_text():
                data = json.loads(message)

                if data["type"] == "audio":
                    # Għaddi l-awdjo
                    await openai_ws.send(json.dumps({
                        "type": "input_audio_buffer.append",
                        "audio": data["audio"]
                    }))

                elif data["type"] == "text":
                    # Messaġġ tat-test (chat)
                    await openai_ws.send(json.dumps({
                        "type": "conversation.item.create",
                        "item": {
                            "type": "message",
                            "role": "user",
                            "content": [{
                                "type": "input_text",
                                "text": data["text"]
                            }]
                        }
                    }))
                    await openai_ws.send(json.dumps({
                        "type": "response.create"
                    }))

        async def openai_to_client():
            async for message in openai_ws:
                event = json.loads(message)
                t = event["type"]

                if t == "response.output_audio.delta":
                    await client_ws.send_json({
                        "type": "audio",
                        "delta": event["delta"]
                    })

                elif t == "response.output_audio_transcript.delta":
                    await client_ws.send_json({
                        "type": "transcript",
                        "delta": event["delta"]
                    })

                elif t == "response.output_text.delta":
                    await client_ws.send_json({
                        "type": "text",
                        "delta": event["delta"]
                    })

        await asyncio.gather(client_to_openai(), openai_to_client())

Każijiet ta’ Użu Multimodali

Hawnhekk hawn kif aġent multimodali jittratta xenarji differenti f’għodda ta’ sejħa ta’ funzjoni:

tools = [
    {
        "type": "function",
        "name": "show_chart",
        "description": "Juri grafika tad-data lill-utent",
        "parameters": {
            "type": "object",
            "properties": {
                "chart_type": {"type": "string", "enum": ["bar", "line", "pie"]},
                "title": {"type": "string"},
                "data": {"type": "object"}
            },
            "required": ["chart_type", "title", "data"]
        }
    },
    {
        "type": "function",
        "name": "send_document",
        "description": "Jibgħat dokument lill-klijent permezz tal-email",
        "parameters": {
            "type": "object",
            "properties": {
                "document_type": {"type": "string"},
                "recipient": {"type": "string"}
            },
            "required": ["document_type", "recipient"]
        }
    }
]

L-utent jgħid verbalment: “Uri l-bejgħ tal-aħħar kwart bħala grafika.” L-aġent isejjaħ show_chart, il-frontend tiegħek juri l-grafika, u l-aġent jikkummenta verbalment fuq ir-riżultati.

Punti Ewlenin

  • L-API Realtime tappoġġja l-modalitajiet tat-test u tal-awdjo simultanjament fl-istess sessjoni
  • Li tinjetta test permezz ta’ conversation.item.create jippermettilek tarrikkixxi l-kuntest vokali
  • Il-mudelli Realtime jaċċettaw stampi: ehmeżhom bħala input_image għal messaġġ tal-utent
  • L-għodod (sejħa ta’ funzjoni) jippermettulek turi elementi viżivi waqt li tweġib verbalment
  • L-arkitettura WebSocket fuq in-naħa tal-klijent tippermettilek tħallat awdjo, test, u data strutturata