WebSocket architektūra realiuoju laiku veikiančiai API
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 2 d. — Garso modeliai. Keli šio kurso modeliai yra pasenę:
tts-1,tts-1-hdirgpt-4o-mini-ttsnustos veikti 2027 m. sausio 6 d. (pakaitalas:gpt-realtime-2.1-mini, kuris, kaip nurodyta OpenAI TTS gide, nepalaikomas per/v1/audio/speech: kalbos sintezės migracija perkeliama į Realiojo laiko API);gpt-realtime,gpt-4o-realtimeir senieji garso modeliai nustos veikti 2027 m. sausio 20 d. (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribeir/v1/audio/translationsnustos veikti 2027 m. vasario 26 d. (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Pilno dublekso (full-duplex) balsui GPT-Live 1 API buvo prieinamas nuo 2026 m. rugsėjo 10 d. Priedas, 2026 m. lapkričio 3 d.: skirsnis apie tris OpenAI balso architektūras (GPT-Live, Realiojo laiko API, apdorojimo grandinė) ir transporto pasirinkimą (WebRTC, WebSocket, SIP), paremtas gidais Voice agents, Audio and voice ir Getting started with the Realtime API; maksimali sesijos trukmė: 60 minučių (Realtime conversations).
WebSocket architektūra realiuoju laiku veikiančiai API
OpenAI Realiojo laiko API reiškia esminį paradigmų poslinkį tavo sąveikoje su kalbos modeliais. Skirtingai nei tradicinės REST API, veikiančios užklausos-atsakymo ciklu, Realiojo laiko API naudoja WebSocket protokolą, kad sukurtų nuolatinį, abipusį ryšį tarp tavo programos ir modelio.
Ši architektūra leidžia keistis garso duomenimis realiuoju laiku: tu siunti garsą, modelis jį apdoroja ir atsako balsu mažais delsos laikais, praleisdamas tarpinius transkripcijos ar teksto į balsą konvertavimo žingsnius. Tai vienas iš pagrindinių pokalbių balsu agentų statybinių blokų ir šio kurso šerdis.
Trys balso architektūros 2026 m.
Prieš atverdami WebSocket, įdėkite Realiojo laiko API į kontekstą greta kitų OpenAI sprendimų. Voice agents gidas išskiria tris metodus:
| Architektūra | Geriausia kam | Kodėl ją rinktis |
|---|---|---|
| GPT-Live | Pilno dublekso (full-duplex) pokalbiams su atskiru serveriu | Balso modelis klauso kalbėdamas ir perduoda samprotavimus bei įrankių naudojimą tavo pasirinktam serveriui; leidžia išlaikyti esamą teksto agentą nepakitų |
| Realiojo laiko API | Kalbai, samprotavimams ir įrankiams vienoje sesijoje | Vienas modelis interpretuoja garsą, nusprendžia, ką daryti, ir ištaria atsakymą |
| Apdorojimo grandinė | Detaliai kontrolei kiekviename žingsnyje | Transkripcija, tada teksto agentas, tada kalbos sintezė: tu tikrini arba transformuoji tekstą tarp žingsnių ir gali nepriklausomai pakeisti kiekvieną komponentą |
Naujoms balso pokalbių programoms OpenAI puslapis Audio and voice dabar rekomenduoja pradėti nuo GPT-Live. Realiojo laiko API lieka tinkamu starto tašku, kai agentas turi tilpti į vieną sesiją, palaikyti vartotojo pertraukimą, greitą pirmąjį garso atsakymą, natūralų ėjimų kaitaliojimąsi ir tiesioginius įrankių kvietimus. Apdorojimo grandinė geriausiai tinka, kai kiekvienas žingsnis turi likti matomas: išsaugoti transkriptus, taikyti taisykles prieš agentui atsakant arba generuoti balsą tik patvirtinus atsakymą.
Šis kursas sutelktas į Realiojo laiko API ir apdorojimo grandinę, kurios komponentai (transkripcija, kalbos sintezė) aptariami vėlesniuose skirsniuose.
WebRTC, WebSocket arba SIP
Tavo transporto pasirinkimas priklauso nuo to, iš kur kyla garsas. Pagal dokumentaciją: naudok WebRTC naršyklės garsui (su trumpalaikiu kliento slaptu raktu, sugeneruotu tavo serverio); WebSocket serverio pusės garso vamzdynams; SIP telefoniniams skambučiams. Serverio pusės valdymo ryšys taip pat leidžia patikimam serveriui stebėti ir valdyti medijos sesiją. Šioje pamokoje detaliai nagrinėjamas WebSocket – paprasčiausias būdas suprasti keičiamus įvykius; naršyklėje teik pirmenybę WebRTC. Realiojo laiko sesija trunka daugiausia 60 minučių.
WebSocket prieš REST: kodėl šis pasirinkimas?
Tradicinėje REST architektūrai kiekvienai sąveikai reikia pilnos HTTP užklausos: TCP ryšio atvėrimo, TLS derinimo, antraščių siuntimo, laukimo atsakymo ir ryšio uždarymo. Realiojo laiko garsui ši našta yra per didelė.
| Kriterijus | REST (Responses API) | WebSocket (Realiojo laiko API) |
|---|---|---|
| Delsa | 200–500 ms vienai užklausai | < 50 ms po prisijungimo |
| Kryptis | Tik klientas → serveris | Vienu metu abipusis |
| Ryšys | Naujas kiekvienai užklausai | Nuolatinis (sesija) |
| Garsas | Reikalingas visas failas | Srautinis perdavimas dalimis |
WebSocket protokolas nuolat laiko kanalą atvirą. Kai jis užmezgamas, klientas ir serveris gali siųsti žinutes bet kada, nelaukdami, kol kita pusė baigs.
WebSocket ryšio užmezgimas
Štai kaip užmegzti ryšį su Realiojo laiko API naudojant Python:
import asyncio
import websockets
import json
OPENAI_API_KEY = "sk-..."
URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"
async def connect_realtime():
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}"
}
async with websockets.connect(URL, additional_headers=headers) as ws:
print("Connected to Realtime API")
# Receive the welcome event
response = await ws.recv()
event = json.loads(response)
print(f"Type: {event['type']}")
# → "session.created"
# Keep the connection open
await asyncio.Future()
asyncio.run(connect_realtime())
Ryšio URL include modelį kaip užklausos parametrą. Nuo tada, kai API pasiekė bendrąjį prieinamumą, reikalinga tik autentifikavimo antraštė – beta fazės antraštė OpenAI-Beta: realtime=v1 nebereikalinga.
Sąsaja pastebėta 2026 m. rugpjūčio 5 d. — Realiojo laiko API vystosi (modeliai, įvykių pavadinimai, sesijos formatas): kilus abejonėms, tikrink oficialią dokumentaciją.
Realiojo laiko programos architektūra
Programa, naudojanti Realiojo laiko API, laikosi sluoksniuotos architektūros:
Garso sluoksnis (fiksavimas/atkūrimas)
Fiksuoja mikrofono garsą, atkuria garso atsakymus. Naudoja PyAudio, sounddevice arba Web Audio API naršyklėje.
WebSocket sluoksnis (transportas)
Valdo nuolatinį ryšį, koduoja/iššifruoja JSON įvykius, tvarko persijungimus.
Programos sluoksnis (verslo logika)
Orkestruoja pokalbį, valdo kontekstą, kviečia įrankius, apdoroja rezultatus.
Serverio sluoksnis (nebūtinas tarpininkas)
Gamyboje tarpinis serveris apsaugo API raktą ir prideda serverio pusės verslo logiką.
Tarpinio serverio (Proxy) vaidmuo
Plėtros metu savo programą gali tiesiogiai jungti prie Realiojo laiko API. Gamyboje tarpinis serveris yra būtinas norint:
- Apsaugoti tavo API raktą – niekada neatskleisk jo kliento pusėje
- Autentifikuoti vartotojus – patikrink žetonus prieš atverdamas sesiją
- Valdyti išlaidas – ribok sesijos trukmę ir žetonų naudojimą
- Registruoti sąveikas – derinimui ir atitikčiai užtikrinti
# Supaprastintas WebSocket tarpinio serverio su FastAPI pavyzdys
from fastapi import FastAPI, WebSocket
import websockets
app = FastAPI()
@app.websocket("/ws/realtime")
async def proxy_realtime(client_ws: WebSocket):
await client_ws.accept()
headers = {"Authorization": f"Bearer {OPENAI_API_KEY}"}
async with websockets.connect(URL, additional_headers=headers) as openai_ws:
async def forward_to_openai():
async for message in client_ws.iter_text():
await openai_ws.send(message)
async def forward_to_client():
async for message in openai_ws:
await client_ws.send_text(message)
await asyncio.gather(forward_to_openai(), forward_to_client())
Svarbiausi punktai
- Trys OpenAI balso architektūros: GPT-Live (rekomenduojama naujoms pokalbių programoms), Realiojo laiko API (kalba, samprotavimai ir įrankiai vienoje sesijoje) bei grandinė: transkripcija → agentas → sintezė
- WebRTC naršyklės garsui, WebSocket serverio vamzdynams, SIP telefonijai; sesijos trunka daugiausia 60 minučių
- Realiojo laiko API naudoja WebSocket mažos delsos abipusiam ryšiui
- Ryšys yra nuolatinis: vienas atvėrimas visai pokalbio sesijai
- Sluoksniuota architektūra atskiria garsą, transportą, verslo logiką ir serverio tarpininką
- Gamyboje tarpinis serveris yra būtinas saugumui ir išlaidų kontrolei
- Protokolas yra įvykiais grindžiamas: kiekviena žinutė yra JSON objektas su lauku
type