Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

L-Arkitettura WebSocket tal-Realtime API

Lezzjoni 1 / 18 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. L-Arkitettura WebSocket tal-Realtime API
  2. Tliet Arkitetturi tal-Vuċi fl-2026
  3. WebRTC, WebSocket jew SIP
  4. WebSocket vs. REST: Għaliex Din l-Għażla?
  5. Kif Tistabbilixxi Konnessjoni WebSocket
  6. Arkitettura ta’ Applikazzjoni Realtime
  7. Punti Ewlenin

Aġġornat fit-2 ta’ Novembru 2026 — Mudelli tal-awdu. Diversi mudelli f’dan il-kors qegħdin jitneħħew: tts-1, tts-1-hd, u gpt-4o-mini-tts jieqfu jaħdmu fl-6 ta’ Jannar 2027 (sostituzzjoni: gpt-realtime-2.1-mini, li skont il-gwida tat-TTS ta’ OpenAI mhix appoġġjata minn /v1/audio/speech: it-trasferiment tas-sinteżi tal-vuċi jgħaddi għall-Realtime API); gpt-realtime, gpt-4o-realtime, u mudelli tal-awdu legaci fl-20 ta’ Jannar 2027 (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe, u /v1/audio/translations fid-26 ta’ Frar 2027 (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Għall-vuċi full-duplex, GPT-Live 1 hija disponibbli fl-API mill-10 ta’ Settembru 2026. Żieda tat-3 ta’ Novembru 2026: taqsima dwar it-tliet arkitetturi tal-vuċi ta’ OpenAI (GPT-Live, Realtime API, katina ta’-ipproċessar) u l-għażla tat-trasport (WebRTC, WebSocket, SIP), ibbażata fuq il-gwidi Aġenti tal-vuċi, Awdu u vuċi, u L-ewwel passi mal-Realtime API; tul massimu tas-sessjoni: 60 minuta (Konversazzjonijiet Realtime).

L-Arkitettura WebSocket tal-Realtime API

L-Realtime API ta’ OpenAI tirrappreżenta bidla fundamentali fil-paradigma tal-mod kif tikkomunika mal-mudelli tal-lingwa. Minflok APIs REST tradizzjonali li jaħdmu fuq ċiklu ta’ talba u tweġiba, l-Realtime API tuża l-protokoll WebSocket biex tistabbilixxi konnessjoni persistenti u bidirezzjonali bejn l-applikazzjoni tiegħek u l-mudell.

Din l-arkitettura tippermetti skambju tal-awdu f’ħin reali: tibgħat l-awdu, il-mudell jipproċessah, u iwieġeb bil-vuċi b’latency baxxa, mingħajr il-passi intermedji tat-traskrizzjoni jew tas-sinteżi tal-vuċi mit-test. Din hija waħda mill-blokki fundamentali tal-aġenti vokali konversazzjonali u l-qalba ta’ dan il-kors.

Tliet Arkitetturi tal-Vuċi fl-2026

Qabel ma tiftaħ WebSocket, poġġi l-Realtime API fil-kuntest bis-soluzzjonijiet l-oħra ta’ OpenAI. Il-gwida Aġenti tal-vuċi tiddistingwi tliet approċċi:

ArkitetturaL-aħjar għalGħaliex tagħżilha
GPT-LiveKonversazzjonijiet full-duplex b’backend separatIl-mudell tal-vuċi jisma’ waqt li jitkellem u jiddelega r-raġunar u l-użu tal-għodda lil backend tal-għażla tiegħek; iħallek l-aġent tat-test eżistenti tiegħek kif inhu
Realtime APIVuċi, raġunar u għodda f’sessjoni waħdaMudell wieħed jinterpreta l-awdu, jiddeċiedi x’jagħmel, u jagħti t-tweġiba bil-vuċi
Katina ta’-ipproċessarKontroll granulari fuq kull passTraskrizzjoni, imbagħad aġent tat-test, imbagħad sinteżi tal-vuċi: tista’ tiċċekkja jew ittrasforma t-test bejn il-passi u tbiddel kull komponent indipendentement

Għal applikazzjonijiet ġodda ta’ konversazzjoni bil-vuċi, il-paġna Awdu u vuċi ta’ OpenAI issa tirrakkomanda li tibda b’GPT-Live. L-Realtime API tibqa’ l-punt tat-tluq it-tajjeb meta l-aġent irid joqgħod f’sessjoni waħda, b’sostenn għall-interruzzjoni tal-utent, l-ewwel tweġiba tal-awdu mgħaġġla, alternanza naturali fit-taqtira, u sejħiet diretti tal-għodda. Il-katina ta’-ipproċessar taħdem l-aħjar meta kull pass irid jibqa’ viżibbli: li żżomm it-traskrizzjonijiet, li tapplika regoli qabel ma jwieġeb l-aġent, jew li toħroġ il-vuċi biss wara li tivverifika t-tweġiba.

Dan il-kors jiffoka fuq l-Realtime API u fuq il-katina ta’-ipproċessar, li l-komponenti tagħha (traskrizzjoni, sinteżi tal-vuċi) jiġu koperti fit-taqsimit li ġejjin.

WebRTC, WebSocket jew SIP

L-għażla tat-trasport tiddependi minn fejn jiġi l-awdu. Skont id-dokumentazzjoni: uża WebRTC għall-awdu fil-browser, b’sekriet tal-klijent efimeru ġġenerat mis-servatur tiegħek; WebSocket għal pipelines tal-awdu fuq in-naħa tas-servatur; SIP għall-telefonati. Konnessjoni ta’ kontroll fuq is-servatur tippermetti wkoll lil backend fiduċjarju li josserva u jmexxi sessjoni tal-media. Din il-lezzjoni tiddettalja WebSocket, l-eħfef mod biex tifhem l-avvenimenti li jiġu skambjati; fil-browser, preferixxi WebRTC. Sessjoni Realtime iddur massimu 60 minuta.

WebSocket vs. REST: Għaliex Din l-Għażla?

F’arkitettura REST tradizzjonali, kull interazzjoni teħtieġ talba HTTP kompluta: tiftaħ konnessjoni TCP, in-negozjar TLS, l-intestaturi jintbagħtu, tiġi mistennija t-tweġiba, u l-konnessjoni tingħalaq. Għall-awdu f’ħin reali, dan il-piż żejjed jagħmilha imprattika.

Kriterju REST (Responses API) WebSocket (Realtime API)
Latency 200–500 ms kull talba < 50 ms wara l-konnessjoni
Direzzjoni Client → Servatur biss Bidirezzjonali simultanja
Konnessjoni Ġdida għal kull talba Persistenti (sessjoni)
Awdu Jeħtieġ fajl sħiħ Streaming biċċa biċċa

Il-protokoll WebSocket iżomm kanal miftuħ kontinwament. Ladarba tkun stabbilita, klijent u servatur jistgħu jibagħtu messaġġi kull ħin mingħajr ma jistennew lill-ieħor jispiċċa.

Kif Tistabbilixxi Konnessjoni WebSocket

Hawnhekk kif tistabbilixxi konnessjoni mal-Realtime API f’Python:

import asyncio
import websockets
import json

OPENAI_API_KEY = "sk-..."
URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"

async def connect_realtime():
    headers = {
        "Authorization": f"Bearer {OPENAI_API_KEY}"
    }

    async with websockets.connect(URL, additional_headers=headers) as ws:
        print("Connected to Realtime API")

        # Receive the welcome event
        response = await ws.recv()
        event = json.loads(response)
        print(f"Type: {event['type']}")
        # → "session.created"

        # Keep the connection open
        await asyncio.Future()

asyncio.run(connect_realtime())

L-URL tal-konnessjoni jinkludi l-mudell bħala parametru tal-mistoqsija. Mill-bidu tad-disponibbiltà ġenerali tal-API, huwa meħtieġ biss l-header tal-awtentikazzjoni — l-header OpenAI-Beta: realtime=v1 tal-fażi beta m’għadux jeżisti.

Kif kienet fl-5 ta’ Awwissu 2026 — L-Realtime API qed tevvolvi (mudelli, ismijiet tal-avvenimenti, format tas-sessjoni): meta jkollok dubju, iċċekkja d-dokumentazzjoni uffiċjali.

Arkitettura ta’ Applikazzjoni Realtime

Applikazzjoni li tuża l-Realtime API ssegwi arkitettura b’saffi:

1

Saff tal-awdu (kaptu u riproduzzjoni)

Jaqbad il-mikrofonu u jdaqqas it-tweġibiet tal-awdu. Juża PyAudio, sounddevice, jew il-Web Audio API fil-browser.

2

Saff WebSocket (trasport)

Imexxi l-konnessjoni persistenti, jikkodifika u jiddekodifika l-avvenimenti JSON, u jimmanaġġja r-rikonnessjonijiet.

3

Saff tal-applikazzjoni (loġika tan-negozju)

Jordna l-konversazzjoni, imexxi l-kuntest, isejjaħ l-għodda, u jipproċessa r-riżultati.

4

Saff tas-servatur (proxy opzjonali)

F'produzzjoni, servatur intermedju jipproteġi ċ-ċavetta API u jżid loġika tan-negozju fuq in-naħa tas-servatur.

Ir-Rwol tas-Servatur Proxy

Waqt l-iżvilupp, tista’ tgħaqqad l-applikazzjoni tiegħek direttament mal-Realtime API. F’produzzjoni, servatur proxy huwa essenzjali biex:

  • Tipproteġi ċ-ċavetta API tiegħek — qatt tesponiha min-naħa tal-klijent
  • Tawtentika l-utenti tiegħek — ivverifika t-tokens qabel tiftaħ is-sessjoni
  • Tikkontrolla l-ispejjeż — limitat it-tul tas-sessjonijiet u l-użu tat-tokens
  • Tirrreġistra l-interazzjonijiet — għad-debugging u għall-konformità
# Simplified example of a WebSocket proxy with FastAPI
from fastapi import FastAPI, WebSocket
import websockets

app = FastAPI()

@app.websocket("/ws/realtime")
async def proxy_realtime(client_ws: WebSocket):
    await client_ws.accept()

    headers = {"Authorization": f"Bearer {OPENAI_API_KEY}"}

    async with websockets.connect(URL, additional_headers=headers) as openai_ws:
        async def forward_to_openai():
            async for message in client_ws.iter_text():
                await openai_ws.send(message)

        async def forward_to_client():
            async for message in openai_ws:
                await client_ws.send_text(message)

        await asyncio.gather(forward_to_openai(), forward_to_client())

Punti Ewlenin

  • Tliet arkitetturi tal-vuċi f’OpenAI: GPT-Live (rakkomandata għal apps konversazzjonali ġodda), Realtime API (vuċi, raġunar u għodda f’sessjoni waħda), u l-katina traskrizzjoni → aġent → sinteżi
  • WebRTC għall-awdu fil-browser, WebSocket għal pipelines tas-servatur, SIP għat-telefonija; is-sessjonijiet idumu massimu 60 minuta
  • L-Realtime API tuża WebSocket għal komunikazzjoni bidirezzjonali b’latency baxxa
  • Il-konnessjoni hija persistenti: tiftuħa darba għas-sessjoni konversazzjonali kollha
  • L-arkitettura b’saffi tissepara l-awdu, it-trasport, il-loġika tan-negozju u l-proxy tas-servatur
  • F’produzzjoni, servatur proxy huwa essenzjali għas-sikurezza u l-kontroll tal-ispejjeż
  • Il-protokoll huwa mmexxi mill-avvenimenti: kull messaġġ huwa oġġett JSON b’kamp type