Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

WebSocket architektūra realiuoju laiku veikiančiai API

Paskaita 1 iš 18 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. WebSocket architektūra realiuoju laiku veikiančiai API
  2. Trys balso architektūros 2026 m.
  3. WebRTC, WebSocket arba SIP
  4. WebSocket prieš REST: kodėl šis pasirinkimas?
  5. WebSocket ryšio užmezgimas
  6. Realiojo laiko programos architektūra
  7. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 2 d. — Garso modeliai. Keli šio kurso modeliai yra pasenę: tts-1, tts-1-hd ir gpt-4o-mini-tts nustos veikti 2027 m. sausio 6 d. (pakaitalas: gpt-realtime-2.1-mini, kuris, kaip nurodyta OpenAI TTS gide, nepalaikomas per /v1/audio/speech: kalbos sintezės migracija perkeliama į Realiojo laiko API); gpt-realtime, gpt-4o-realtime ir senieji garso modeliai nustos veikti 2027 m. sausio 20 d. (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe ir /v1/audio/translations nustos veikti 2027 m. vasario 26 d. (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Pilno dublekso (full-duplex) balsui GPT-Live 1 API buvo prieinamas nuo 2026 m. rugsėjo 10 d. Priedas, 2026 m. lapkričio 3 d.: skirsnis apie tris OpenAI balso architektūras (GPT-Live, Realiojo laiko API, apdorojimo grandinė) ir transporto pasirinkimą (WebRTC, WebSocket, SIP), paremtas gidais Voice agents, Audio and voice ir Getting started with the Realtime API; maksimali sesijos trukmė: 60 minučių (Realtime conversations).

WebSocket architektūra realiuoju laiku veikiančiai API

OpenAI Realiojo laiko API reiškia esminį paradigmų poslinkį tavo sąveikoje su kalbos modeliais. Skirtingai nei tradicinės REST API, veikiančios užklausos-atsakymo ciklu, Realiojo laiko API naudoja WebSocket protokolą, kad sukurtų nuolatinį, abipusį ryšį tarp tavo programos ir modelio.

Ši architektūra leidžia keistis garso duomenimis realiuoju laiku: tu siunti garsą, modelis jį apdoroja ir atsako balsu mažais delsos laikais, praleisdamas tarpinius transkripcijos ar teksto į balsą konvertavimo žingsnius. Tai vienas iš pagrindinių pokalbių balsu agentų statybinių blokų ir šio kurso šerdis.

Trys balso architektūros 2026 m.

Prieš atverdami WebSocket, įdėkite Realiojo laiko API į kontekstą greta kitų OpenAI sprendimų. Voice agents gidas išskiria tris metodus:

ArchitektūraGeriausia kamKodėl ją rinktis
GPT-LivePilno dublekso (full-duplex) pokalbiams su atskiru serveriuBalso modelis klauso kalbėdamas ir perduoda samprotavimus bei įrankių naudojimą tavo pasirinktam serveriui; leidžia išlaikyti esamą teksto agentą nepakitų
Realiojo laiko APIKalbai, samprotavimams ir įrankiams vienoje sesijojeVienas modelis interpretuoja garsą, nusprendžia, ką daryti, ir ištaria atsakymą
Apdorojimo grandinėDetaliai kontrolei kiekviename žingsnyjeTranskripcija, tada teksto agentas, tada kalbos sintezė: tu tikrini arba transformuoji tekstą tarp žingsnių ir gali nepriklausomai pakeisti kiekvieną komponentą

Naujoms balso pokalbių programoms OpenAI puslapis Audio and voice dabar rekomenduoja pradėti nuo GPT-Live. Realiojo laiko API lieka tinkamu starto tašku, kai agentas turi tilpti į vieną sesiją, palaikyti vartotojo pertraukimą, greitą pirmąjį garso atsakymą, natūralų ėjimų kaitaliojimąsi ir tiesioginius įrankių kvietimus. Apdorojimo grandinė geriausiai tinka, kai kiekvienas žingsnis turi likti matomas: išsaugoti transkriptus, taikyti taisykles prieš agentui atsakant arba generuoti balsą tik patvirtinus atsakymą.

Šis kursas sutelktas į Realiojo laiko API ir apdorojimo grandinę, kurios komponentai (transkripcija, kalbos sintezė) aptariami vėlesniuose skirsniuose.

WebRTC, WebSocket arba SIP

Tavo transporto pasirinkimas priklauso nuo to, iš kur kyla garsas. Pagal dokumentaciją: naudok WebRTC naršyklės garsui (su trumpalaikiu kliento slaptu raktu, sugeneruotu tavo serverio); WebSocket serverio pusės garso vamzdynams; SIP telefoniniams skambučiams. Serverio pusės valdymo ryšys taip pat leidžia patikimam serveriui stebėti ir valdyti medijos sesiją. Šioje pamokoje detaliai nagrinėjamas WebSocket – paprasčiausias būdas suprasti keičiamus įvykius; naršyklėje teik pirmenybę WebRTC. Realiojo laiko sesija trunka daugiausia 60 minučių.

WebSocket prieš REST: kodėl šis pasirinkimas?

Tradicinėje REST architektūrai kiekvienai sąveikai reikia pilnos HTTP užklausos: TCP ryšio atvėrimo, TLS derinimo, antraščių siuntimo, laukimo atsakymo ir ryšio uždarymo. Realiojo laiko garsui ši našta yra per didelė.

Kriterijus REST (Responses API) WebSocket (Realiojo laiko API)
Delsa 200–500 ms vienai užklausai < 50 ms po prisijungimo
Kryptis Tik klientas → serveris Vienu metu abipusis
Ryšys Naujas kiekvienai užklausai Nuolatinis (sesija)
Garsas Reikalingas visas failas Srautinis perdavimas dalimis

WebSocket protokolas nuolat laiko kanalą atvirą. Kai jis užmezgamas, klientas ir serveris gali siųsti žinutes bet kada, nelaukdami, kol kita pusė baigs.

WebSocket ryšio užmezgimas

Štai kaip užmegzti ryšį su Realiojo laiko API naudojant Python:

import asyncio
import websockets
import json

OPENAI_API_KEY = "sk-..."
URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"

async def connect_realtime():
    headers = {
        "Authorization": f"Bearer {OPENAI_API_KEY}"
    }

    async with websockets.connect(URL, additional_headers=headers) as ws:
        print("Connected to Realtime API")

        # Receive the welcome event
        response = await ws.recv()
        event = json.loads(response)
        print(f"Type: {event['type']}")
        # → "session.created"

        # Keep the connection open
        await asyncio.Future()

asyncio.run(connect_realtime())

Ryšio URL include modelį kaip užklausos parametrą. Nuo tada, kai API pasiekė bendrąjį prieinamumą, reikalinga tik autentifikavimo antraštė – beta fazės antraštė OpenAI-Beta: realtime=v1 nebereikalinga.

Sąsaja pastebėta 2026 m. rugpjūčio 5 d. — Realiojo laiko API vystosi (modeliai, įvykių pavadinimai, sesijos formatas): kilus abejonėms, tikrink oficialią dokumentaciją.

Realiojo laiko programos architektūra

Programa, naudojanti Realiojo laiko API, laikosi sluoksniuotos architektūros:

1

Garso sluoksnis (fiksavimas/atkūrimas)

Fiksuoja mikrofono garsą, atkuria garso atsakymus. Naudoja PyAudio, sounddevice arba Web Audio API naršyklėje.

2

WebSocket sluoksnis (transportas)

Valdo nuolatinį ryšį, koduoja/iššifruoja JSON įvykius, tvarko persijungimus.

3

Programos sluoksnis (verslo logika)

Orkestruoja pokalbį, valdo kontekstą, kviečia įrankius, apdoroja rezultatus.

4

Serverio sluoksnis (nebūtinas tarpininkas)

Gamyboje tarpinis serveris apsaugo API raktą ir prideda serverio pusės verslo logiką.

Tarpinio serverio (Proxy) vaidmuo

Plėtros metu savo programą gali tiesiogiai jungti prie Realiojo laiko API. Gamyboje tarpinis serveris yra būtinas norint:

  • Apsaugoti tavo API raktą – niekada neatskleisk jo kliento pusėje
  • Autentifikuoti vartotojus – patikrink žetonus prieš atverdamas sesiją
  • Valdyti išlaidas – ribok sesijos trukmę ir žetonų naudojimą
  • Registruoti sąveikas – derinimui ir atitikčiai užtikrinti
# Supaprastintas WebSocket tarpinio serverio su FastAPI pavyzdys
from fastapi import FastAPI, WebSocket
import websockets

app = FastAPI()

@app.websocket("/ws/realtime")
async def proxy_realtime(client_ws: WebSocket):
    await client_ws.accept()

    headers = {"Authorization": f"Bearer {OPENAI_API_KEY}"}

    async with websockets.connect(URL, additional_headers=headers) as openai_ws:
        async def forward_to_openai():
            async for message in client_ws.iter_text():
                await openai_ws.send(message)

        async def forward_to_client():
            async for message in openai_ws:
                await client_ws.send_text(message)

        await asyncio.gather(forward_to_openai(), forward_to_client())

Svarbiausi punktai

  • Trys OpenAI balso architektūros: GPT-Live (rekomenduojama naujoms pokalbių programoms), Realiojo laiko API (kalba, samprotavimai ir įrankiai vienoje sesijoje) bei grandinė: transkripcija → agentas → sintezė
  • WebRTC naršyklės garsui, WebSocket serverio vamzdynams, SIP telefonijai; sesijos trunka daugiausia 60 minučių
  • Realiojo laiko API naudoja WebSocket mažos delsos abipusiam ryšiui
  • Ryšys yra nuolatinis: vienas atvėrimas visai pokalbio sesijai
  • Sluoksniuota architektūra atskiria garsą, transportą, verslo logiką ir serverio tarpininką
  • Gamyboje tarpinis serveris yra būtinas saugumui ir išlaidų kontrolei
  • Protokolas yra įvykiais grindžiamas: kiekviena žinutė yra JSON objektas su lauku type