Arhitektūra WebSocket Realtime API
Šajā lapā
Atjaunināts 2026. gada 2. novembrī — Audio modeļi. Vairāki šī kursa modeļi ir novecojuši:
tts-1,tts-1-hdungpt-4o-mini-ttspārtrauks darboties 2027. gada 6. janvārī (aizstājējs:gpt-realtime-2.1-mini, ko OpenAI TTS rokasgrāmata norāda kā ** neatbalstītu ar/v1/audio/speech**: runas sintēzes migrācija pāriet uz Realtime API);gpt-realtime,gpt-4o-realtimeun vecie audio modeļi — 2027. gada 20. janvārī (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribeun/v1/audio/translations— 2027. gada 26. februārī (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Pilndupleksai balsij GPT-Live 1 ir pieejams API kopš 2026. gada 10. septembra. Pielikums 2026. gada 3. novembrī: sadaļa par OpenAI trim balss arhitektūrām (GPT-Live, Realtime API, apstrādes ķēde) un transporta izvēli (WebRTC, WebSocket, SIP), balstoties uz rokasgrāmatām Voice agents, Audio and voice un Getting started with the Realtime API; maksimālais sesijas ilgums: 60 minūtes (Realtime conversations).
Arhitektūra WebSocket Realtime API
OpenAI Realtime API ir fundamentāla paradigmas maiņa tavā mijiedarbībā ar valodu modeļiem. Atšķirībā no tradicionālajiem REST API, kas darbojas pēc pieprasījuma-atbildes cikla, Realtime API izmanto WebSocket protokolu, lai izveidotu pastāvīgu, divvirzienu savienojumu starp tavu lietotni un modeli.
Šī arhitektūra ļauj veikt audio apmaiņu reāllaikā: tu sūti audio, models to apstrādā un atbild ar balsi ar zemu latentumu, izlaižot starpposma transkribēšanu vai teksta pārvēršanu runā. Tas ir viens no galvenajiem pamatelementiem sarunu balss aģentiem un šī kursa kodols.
Trīs balss arhitektūras 2026. gadā
Pirms atver WebSocket, ievieto Realtime API kontekstā līdzās OpenAI citiem risinājumiem. Rokasgrāmata Voice agents izšķir trīs pieejas:
| Arhitektūra | Vislabāk piemērots | Kāpēc to izvēlēties |
|---|---|---|
| GPT-Live | Pilndupleksa sarunām ar atsevišķu aizmugursistēmu | Balss models klausās, kamēr runā, un deleģē spriešanu un rīku izmantošanu tavai izvēlētai aizmugursistēmai; saglabā tavu esošo teksta aģentu neskartu |
| Realtime API | Runai, spriešanai un rīkiem vienā sesijā | Viens models interpretē audio, pieņem lēmumus par darbībām un izrunā atbildi |
| Apstrādes ķēde | Smalkai kontrolei pār katru soli | Transkribēšana, tad teksta aģents, tad runas sintēze: tu vari pārbaudīt vai pārveidot tekstu starp soļiem un neatkarīgi nomainīt katru komponenti |
Jaunām balss sarunu lietotnēm OpenAI lapa Audio and voice tagad iesaka sākt ar GPT-Live. Realtime API paliek pareizais sākumpunkts, ja aģentam jāietilpst vienā sesijā, atbalstot lietotāja pārtraukumus, ātru pirmo audio atbildi, dabisku kārtu maiņu un tiešus rīku izsaukumus. Apstrādes ķēde vislabāk darbojas, kad katram solim jāpaliek redzamam: saglabājot transkriptus, piemērojot noteikumus pirms aģenta atbildes vai ģenerējot balsi tikai pēc atbildes validēšanas.
Šis kurss fokusējas uz Realtime API un apstrādes ķēdi, kuru komponentes (transkribēšana, runas sintēze) tiks aplūkotas turpmākajās sadaļās.
WebRTC, WebSocket vai SIP
Tava transporta izvēle ir atkarīga no tā, kur rodas audio. Saskaņā ar dokumentāciju: izmanto WebRTC pārlūka audio, ģenerējot īslaicīgu klienta noslēpumu savā serverī; WebSocket servera puses audio cauruļvadiem; SIP telefona zvaniem. Servera puses vadības savienojums arī ļauj uzticamai aizmugursistēmai novērot un virzīt mediju sesiju. Šī nodarbība detalizēti aplūko WebSocket kā vienkāršāko veidu, kā saprast apmainītos notikumus; pārlūkā dod priekšroku WebRTC. Realtime sesija ilgst ne vairāk kā 60 minūtes.
WebSocket pret REST: kāpēc šī izvēle?
Tradicionālā REST arhitektūrā katra mijiedarbība prasa pilnu HTTP pieprasījumu: TCP savienojuma atvēršanu, TLS vienošanos, galveņu sūtīšanu, gaidīšanu uz atbildi un savienojuma slēgšanu. Reāllaika audio gadījumā šīs pieskaitāmās izmaksas ir nepieņemamas.
| Kritērijs | REST (Responses API) | WebSocket (Realtime API) |
|---|---|---|
| Latentums | 200–500 ms uz pieprasījumu | < 50 ms pēc savienojuma izveides |
| Virziens | Tikai klients → serveris | Vienlaicīgs divvirzienu |
| Savienojums | Jauns katram pieprasījumam | Pastāvīgs (sesija) |
| Audio | Nepieciešams viss fails | Plūsmas padeve pa daļām |
WebSocket protokols nepārtraukti uztur kanālu atvērtu. Tiklīdz tas ir izveidots, klients un serveris var sūtīt ziņojumus jebkurā brīdī, negaidot, kamēr otrs puse beigs.
WebSocket savienojuma izveide
Lūk, kā Python valodā izveidot savienojumu ar Realtime API:
import asyncio
import websockets
import json
OPENAI_API_KEY = "sk-..."
URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"
async def connect_realtime():
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}"
}
async with websockets.connect(URL, additional_headers=headers) as ws:
print("Connected to Realtime API")
# Saņem sveiciena notikumu
response = await ws.recv()
event = json.loads(response)
print(f"Type: {event['type']}")
# → "session.created"
# Uztur savienojumu atvērtu
await asyncio.Future()
asyncio.run(connect_realtime())
Savienojuma URL ietver modeli kā vaicājuma parametru. Kopš API ir sasniedzis vispārēju pieejamību, ir nepieciešama tikai autentifikācijas galvene — beta fāzes galvene OpenAI-Beta: realtime=v1 vairs nav vajadzīga.
Saskarne atzīmēta 2026. gada 5. augustā — Realtime API attīstās (modeļi, notikumu nosaukumi, sesijas formāts): ja rodas šaubas, pārbaudi oficiālo dokumentāciju.
Realtime lietotnes arhitektūra
Lietotne, kas izmanto Realtime API, seko slāņveida arhitektūrai:
Audio slānis (uztveršana/atskaņošana)
Uztver mikrofonu, atskaņo audio atbildes. Izmanto PyAudio, sounddevice vai Web Audio API pārlūkā.
WebSocket slānis (transports)
Pārvalda pastāvīgo savienojumu, kodē/dekodē JSON notikumus, apstrādā atkārtotus savienojumus.
Lietotnes slānis (biznesa loģika)
Orķestrē sarunu, pārvalda kontekstu, izsauc rīkus, apstrādā rezultātus.
Servera slānis (neobligāts starpnieks)
Produkcijas vidē starpniekserveris aizsargā API atslēgu un pievieno servera puses biznesa loģiku.
Starpniekservera loma
Izstrādes laikā tu vari savienot savu lietotni tieši ar Realtime API. Produkcijā starpniekserveris ir būtisks, lai:
- Aizsargātu tavu API atslēgu — nekad neizpauž to klienta pusē
- Autentificētu lietotājus — pārbauda pilnvaras pirms sesijas atvēršanas
- Kontrolētu izmaksas — ierobežo sesijas ilgumu un tokena lietojumu
- Reģistrētu mijiedarbības — atkļūdošanai un atbilstības nodrošināšanai
# Vienkāršots WebSocket starpnieka piemērs ar FastAPI
from fastapi import FastAPI, WebSocket
import websockets
app = FastAPI()
@app.websocket("/ws/realtime")
async def proxy_realtime(client_ws: WebSocket):
await client_ws.accept()
headers = {"Authorization": f"Bearer {OPENAI_API_KEY}"}
async with websockets.connect(URL, additional_headers=headers) as openai_ws:
async def forward_to_openai():
async for message in client_ws.iter_text():
await openai_ws.send(message)
async def forward_to_client():
async for message in openai_ws:
await client_ws.send_text(message)
await asyncio.gather(forward_to_openai(), forward_to_client())
Galvenās atziņas
- Trīs balss arhitektūras pie OpenAI: GPT-Live (ieteicams jaunām sarunu lietotnēm), Realtime API (runa, spriešana un rīki vienā sesijā) un ķēde transkribēšana → aģents → sintēze
- WebRTC pārlūka audio, WebSocket servera cauruļvadiem, SIP telefonijai; sesijas ilgst ne vairāk kā 60 minūtes
- Realtime API izmanto WebSocket zema latentuma divvirzienu komunikācijai
- Savienojums ir pastāvīgs: viena atvēršana visai sarunu sesijai
- Slāņveida arhitektūra atdala audio, transportu, biznesa loģiku un servera starpnieku
- Produkcijā starpniekserveris ir būtisks drošībai un izmaksu kontrolei
- Protokols ir notikumu virzīts: katrs ziņojums ir JSON objekts ar lauku
type