L-Arkitettura WebSocket tal-Realtime API
F'din il-paġna
Aġġornat fit-2 ta’ Novembru 2026 — Mudelli tal-awdu. Diversi mudelli f’dan il-kors qegħdin jitneħħew:
tts-1,tts-1-hd, ugpt-4o-mini-ttsjieqfu jaħdmu fl-6 ta’ Jannar 2027 (sostituzzjoni:gpt-realtime-2.1-mini, li skont il-gwida tat-TTS ta’ OpenAI mhix appoġġjata minn/v1/audio/speech: it-trasferiment tas-sinteżi tal-vuċi jgħaddi għall-Realtime API);gpt-realtime,gpt-4o-realtime, u mudelli tal-awdu legaci fl-20 ta’ Jannar 2027 (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribe, u/v1/audio/translationsfid-26 ta’ Frar 2027 (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Għall-vuċi full-duplex, GPT-Live 1 hija disponibbli fl-API mill-10 ta’ Settembru 2026. Żieda tat-3 ta’ Novembru 2026: taqsima dwar it-tliet arkitetturi tal-vuċi ta’ OpenAI (GPT-Live, Realtime API, katina ta’-ipproċessar) u l-għażla tat-trasport (WebRTC, WebSocket, SIP), ibbażata fuq il-gwidi Aġenti tal-vuċi, Awdu u vuċi, u L-ewwel passi mal-Realtime API; tul massimu tas-sessjoni: 60 minuta (Konversazzjonijiet Realtime).
L-Arkitettura WebSocket tal-Realtime API
L-Realtime API ta’ OpenAI tirrappreżenta bidla fundamentali fil-paradigma tal-mod kif tikkomunika mal-mudelli tal-lingwa. Minflok APIs REST tradizzjonali li jaħdmu fuq ċiklu ta’ talba u tweġiba, l-Realtime API tuża l-protokoll WebSocket biex tistabbilixxi konnessjoni persistenti u bidirezzjonali bejn l-applikazzjoni tiegħek u l-mudell.
Din l-arkitettura tippermetti skambju tal-awdu f’ħin reali: tibgħat l-awdu, il-mudell jipproċessah, u iwieġeb bil-vuċi b’latency baxxa, mingħajr il-passi intermedji tat-traskrizzjoni jew tas-sinteżi tal-vuċi mit-test. Din hija waħda mill-blokki fundamentali tal-aġenti vokali konversazzjonali u l-qalba ta’ dan il-kors.
Tliet Arkitetturi tal-Vuċi fl-2026
Qabel ma tiftaħ WebSocket, poġġi l-Realtime API fil-kuntest bis-soluzzjonijiet l-oħra ta’ OpenAI. Il-gwida Aġenti tal-vuċi tiddistingwi tliet approċċi:
| Arkitettura | L-aħjar għal | Għaliex tagħżilha |
|---|---|---|
| GPT-Live | Konversazzjonijiet full-duplex b’backend separat | Il-mudell tal-vuċi jisma’ waqt li jitkellem u jiddelega r-raġunar u l-użu tal-għodda lil backend tal-għażla tiegħek; iħallek l-aġent tat-test eżistenti tiegħek kif inhu |
| Realtime API | Vuċi, raġunar u għodda f’sessjoni waħda | Mudell wieħed jinterpreta l-awdu, jiddeċiedi x’jagħmel, u jagħti t-tweġiba bil-vuċi |
| Katina ta’-ipproċessar | Kontroll granulari fuq kull pass | Traskrizzjoni, imbagħad aġent tat-test, imbagħad sinteżi tal-vuċi: tista’ tiċċekkja jew ittrasforma t-test bejn il-passi u tbiddel kull komponent indipendentement |
Għal applikazzjonijiet ġodda ta’ konversazzjoni bil-vuċi, il-paġna Awdu u vuċi ta’ OpenAI issa tirrakkomanda li tibda b’GPT-Live. L-Realtime API tibqa’ l-punt tat-tluq it-tajjeb meta l-aġent irid joqgħod f’sessjoni waħda, b’sostenn għall-interruzzjoni tal-utent, l-ewwel tweġiba tal-awdu mgħaġġla, alternanza naturali fit-taqtira, u sejħiet diretti tal-għodda. Il-katina ta’-ipproċessar taħdem l-aħjar meta kull pass irid jibqa’ viżibbli: li żżomm it-traskrizzjonijiet, li tapplika regoli qabel ma jwieġeb l-aġent, jew li toħroġ il-vuċi biss wara li tivverifika t-tweġiba.
Dan il-kors jiffoka fuq l-Realtime API u fuq il-katina ta’-ipproċessar, li l-komponenti tagħha (traskrizzjoni, sinteżi tal-vuċi) jiġu koperti fit-taqsimit li ġejjin.
WebRTC, WebSocket jew SIP
L-għażla tat-trasport tiddependi minn fejn jiġi l-awdu. Skont id-dokumentazzjoni: uża WebRTC għall-awdu fil-browser, b’sekriet tal-klijent efimeru ġġenerat mis-servatur tiegħek; WebSocket għal pipelines tal-awdu fuq in-naħa tas-servatur; SIP għall-telefonati. Konnessjoni ta’ kontroll fuq is-servatur tippermetti wkoll lil backend fiduċjarju li josserva u jmexxi sessjoni tal-media. Din il-lezzjoni tiddettalja WebSocket, l-eħfef mod biex tifhem l-avvenimenti li jiġu skambjati; fil-browser, preferixxi WebRTC. Sessjoni Realtime iddur massimu 60 minuta.
WebSocket vs. REST: Għaliex Din l-Għażla?
F’arkitettura REST tradizzjonali, kull interazzjoni teħtieġ talba HTTP kompluta: tiftaħ konnessjoni TCP, in-negozjar TLS, l-intestaturi jintbagħtu, tiġi mistennija t-tweġiba, u l-konnessjoni tingħalaq. Għall-awdu f’ħin reali, dan il-piż żejjed jagħmilha imprattika.
| Kriterju | REST (Responses API) | WebSocket (Realtime API) |
|---|---|---|
| Latency | 200–500 ms kull talba | < 50 ms wara l-konnessjoni |
| Direzzjoni | Client → Servatur biss | Bidirezzjonali simultanja |
| Konnessjoni | Ġdida għal kull talba | Persistenti (sessjoni) |
| Awdu | Jeħtieġ fajl sħiħ | Streaming biċċa biċċa |
Il-protokoll WebSocket iżomm kanal miftuħ kontinwament. Ladarba tkun stabbilita, klijent u servatur jistgħu jibagħtu messaġġi kull ħin mingħajr ma jistennew lill-ieħor jispiċċa.
Kif Tistabbilixxi Konnessjoni WebSocket
Hawnhekk kif tistabbilixxi konnessjoni mal-Realtime API f’Python:
import asyncio
import websockets
import json
OPENAI_API_KEY = "sk-..."
URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"
async def connect_realtime():
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}"
}
async with websockets.connect(URL, additional_headers=headers) as ws:
print("Connected to Realtime API")
# Receive the welcome event
response = await ws.recv()
event = json.loads(response)
print(f"Type: {event['type']}")
# → "session.created"
# Keep the connection open
await asyncio.Future()
asyncio.run(connect_realtime())
L-URL tal-konnessjoni jinkludi l-mudell bħala parametru tal-mistoqsija. Mill-bidu tad-disponibbiltà ġenerali tal-API, huwa meħtieġ biss l-header tal-awtentikazzjoni — l-header OpenAI-Beta: realtime=v1 tal-fażi beta m’għadux jeżisti.
Kif kienet fl-5 ta’ Awwissu 2026 — L-Realtime API qed tevvolvi (mudelli, ismijiet tal-avvenimenti, format tas-sessjoni): meta jkollok dubju, iċċekkja d-dokumentazzjoni uffiċjali.
Arkitettura ta’ Applikazzjoni Realtime
Applikazzjoni li tuża l-Realtime API ssegwi arkitettura b’saffi:
Saff tal-awdu (kaptu u riproduzzjoni)
Jaqbad il-mikrofonu u jdaqqas it-tweġibiet tal-awdu. Juża PyAudio, sounddevice, jew il-Web Audio API fil-browser.
Saff WebSocket (trasport)
Imexxi l-konnessjoni persistenti, jikkodifika u jiddekodifika l-avvenimenti JSON, u jimmanaġġja r-rikonnessjonijiet.
Saff tal-applikazzjoni (loġika tan-negozju)
Jordna l-konversazzjoni, imexxi l-kuntest, isejjaħ l-għodda, u jipproċessa r-riżultati.
Saff tas-servatur (proxy opzjonali)
F'produzzjoni, servatur intermedju jipproteġi ċ-ċavetta API u jżid loġika tan-negozju fuq in-naħa tas-servatur.
Ir-Rwol tas-Servatur Proxy
Waqt l-iżvilupp, tista’ tgħaqqad l-applikazzjoni tiegħek direttament mal-Realtime API. F’produzzjoni, servatur proxy huwa essenzjali biex:
- Tipproteġi ċ-ċavetta API tiegħek — qatt tesponiha min-naħa tal-klijent
- Tawtentika l-utenti tiegħek — ivverifika t-tokens qabel tiftaħ is-sessjoni
- Tikkontrolla l-ispejjeż — limitat it-tul tas-sessjonijiet u l-użu tat-tokens
- Tirrreġistra l-interazzjonijiet — għad-debugging u għall-konformità
# Simplified example of a WebSocket proxy with FastAPI
from fastapi import FastAPI, WebSocket
import websockets
app = FastAPI()
@app.websocket("/ws/realtime")
async def proxy_realtime(client_ws: WebSocket):
await client_ws.accept()
headers = {"Authorization": f"Bearer {OPENAI_API_KEY}"}
async with websockets.connect(URL, additional_headers=headers) as openai_ws:
async def forward_to_openai():
async for message in client_ws.iter_text():
await openai_ws.send(message)
async def forward_to_client():
async for message in openai_ws:
await client_ws.send_text(message)
await asyncio.gather(forward_to_openai(), forward_to_client())
Punti Ewlenin
- Tliet arkitetturi tal-vuċi f’OpenAI: GPT-Live (rakkomandata għal apps konversazzjonali ġodda), Realtime API (vuċi, raġunar u għodda f’sessjoni waħda), u l-katina traskrizzjoni → aġent → sinteżi
- WebRTC għall-awdu fil-browser, WebSocket għal pipelines tas-servatur, SIP għat-telefonija; is-sessjonijiet idumu massimu 60 minuta
- L-Realtime API tuża WebSocket għal komunikazzjoni bidirezzjonali b’latency baxxa
- Il-konnessjoni hija persistenti: tiftuħa darba għas-sessjoni konversazzjonali kollha
- L-arkitettura b’saffi tissepara l-awdu, it-trasport, il-loġika tan-negozju u l-proxy tas-servatur
- F’produzzjoni, servatur proxy huwa essenzjali għas-sikurezza u l-kontroll tal-ispejjeż
- Il-protokoll huwa mmexxi mill-avvenimenti: kull messaġġ huwa oġġett JSON b’kamp
type