Sesijas, notikumi un dzīves cikls
Šajā lapā
Atjaunināts 2026. gada 2. novembrī — Audio modeļi. Vairāki šī kursa modeļi ir novecojuši:
tts-1,tts-1-hdungpt-4o-mini-ttspārtrauks darboties 2027. gada 6. janvārī (aizstājējs:gpt-realtime-2.1-mini, ko OpenAI TTS rokasgrāmata norāda kā ** neatbalstītu ar/v1/audio/speech**: runas sintēzes migrācija pāriet uz Realtime API);gpt-realtime,gpt-4o-realtimeun vecie audio modeļi — 2027. gada 20. janvārī (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribeun/v1/audio/translations— 2027. gada 26. februārī (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Pilnīgai divpusējai balss saziņai GPT-Live 1 ir pieejams API kopš 2026. gada 10. septembra.
Labots 2026. gada 3. novembrī. Ievades transkribēšanai tika izmantots
gpt-live-transcribe, kas darbojas tikai transkribēšanas sesijā un neatbalsta neserver_vad, nesemantic_vad. Sarunu sesijā, kāda ir šī, kur VAD apstiprina katru repliku, dokumentācija norāda izmantotgpt-transcribe, kas transkribē apstiprinātās replikas un izmanto iepriekšējās replikas kā kontekstu. Avoti: Realtime transcription · GPT-Transcribe · GPT-Live-Transcribe.
Sesijas, notikumi un dzīves cikls
Katrs WebSocket savienojums ar Realtime API izveido sesiju. Šī sesija ir pamata pārvaldības vienība: tā ietver modeļa konfigurāciju, sarunu vēsturi, pieejamos rīkus un mijiedarbības pašreizējo stāvokli. Lai izveidotu stabilus balss aģentus, ir būtiski saprast tās dzīves ciklu.
Sesijas dzīves cikls
Tiklīdz WebSocket savienojums ir izveidots, serveris ģenerē notikumu session.created. Sesija iziet cauri vairākām fāzēm:
Savienojums → session.created
Serveris apstiprina sesiju ar unikālu ID un noklusējuma konfigurāciju.
Konfigurācija → session.update
Tu nosūti session.update, lai definētu instrukcijas, balsi, rīkus un modalitātes.
Aktīva saruna
Audio un teksta notikumu apmaiņa starp klientu un serveri.
Aizvēršana → WebSocket disconnect
Sesija tiek iznīcināta, kad savienojums tiek pārtraukts. Serverī netiek saglabāts nekāds stāvoklis.
Sesijas konfigurēšana
Pēc session.created nosūti notikumu session.update, lai konfigurētu modeļa darbību. Lietotāja teiktā transkribēšana (audio.input.transcription) ir opcionāla: bez tās tu saņem balsi, bet ne tekstu. Parametrs languages norāda paredzētās valodas un uzlabo atpazīšanu:
import asyncio
import websockets
import json
async def configure_session():
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}"
}
async with websockets.connect(URL, additional_headers=headers) as ws:
# Gaidām session.created
event = json.loads(await ws.recv())
session_id = event["session"]["id"]
print(f"Session created: {session_id}")
# Konfigurējam sesiju
await ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"output_modalities": ["audio"],
"instructions": "You are a French-speaking voice assistant. "
"Respond concisely and naturally.",
"audio": {
"input": {
"format": {"type": "audio/pcm", "rate": 24000},
"transcription": {"model": "gpt-transcribe", "languages": ["fr"]},
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"prefix_padding_ms": 300,
"silence_duration_ms": 500
}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000},
"voice": "marin"
}
},
"tools": []
}
}))
# Gaidām apstiprinājumu (pirms tam var ierasties citi notikumi)
while True:
event = json.loads(await ws.recv())
if event["type"] == "session.updated":
print("Session updated")
break
if event["type"] == "error":
raise RuntimeError(event["error"]["message"])
Galvenie sesijas parametri
| Parametrs | Apraksts | Ieteicamā vērtība |
|---|---|---|
| output_modalities | Izvades modalitātes | ["audio"] (vai ["text"]) |
| audio.output.voice | Sintēzes balss | marin, cedar, alloy, echo u.c. |
| audio.input.turn_detection | Runas beigšanas noteikšana | server_vad ar slieksni 0.5 |
| audio.input.format | Ienākošā audio formāts | {"type": "audio/pcm", "rate": 24000} |
Notikumu sistēma
Realtime API ir pilnībā balstīts uz notikumiem. Katrs apmainītais ziņojums ir JSON objekts ar lauku type, kas nosaka tā raksturu. Notikumi iedalās divās kategorijās:
Klienta notikumi (tu → serveris)
# Galvenie notikumi, ko tu nosūti
client_events = {
"session.update": "Mainīt konfigurāciju",
"input_audio_buffer.append": "Nosūtīt audio fragmentu",
"input_audio_buffer.commit": "Apstiprināt audio buferi",
"input_audio_buffer.clear": "Notīrīt audio buferi",
"conversation.item.create": "Manuāli pievienot ziņojumu",
"conversation.item.truncate": "Saīsināt atbildi",
"conversation.item.delete": "Dzēst ziņojumu",
"response.create": "Izsaukt atbildi",
"response.cancel": "Atcelt pašreizējo atbildi",
}
Servera notikumi (serveris → tu)
# Galvenie notikumi, ko tu saņem
server_events = {
"session.created": "Sesija inicializēta",
"session.updated": "Konfigurācija piemērota",
"input_audio_buffer.speech_started": "Noteikta runa",
"input_audio_buffer.speech_stopped": "Noteikts klusums",
"conversation.item.created": "Jauns ziņojums vēsturē",
"response.created": "Ģenerēšana sākusies",
"response.output_audio.delta": "Atbildes audio fragments",
"response.output_audio_transcript.delta": "Transkripcijas fragments",
"response.done": "Atbilde pabeigta",
"error": "Kļūda",
}
Kļūdu apstrāde
Kļūdas tiek ģenerētas kā notikums ar tipu error. Tās vienmēr ir jāpārķer:
async def handle_events(ws):
async for raw_message in ws:
event = json.loads(raw_message)
event_type = event["type"]
if event_type == "error":
error = event["error"]
print(f"Error [{error['type']}]: {error['message']}")
if error["type"] == "invalid_request_error":
# Konfigurācijas kļūda, jālabo un jāatkārto
pass
elif error["type"] == "server_error":
# Problēma OpenAI pusē, jāveic atkārtota savienojuma izveide
pass
elif event_type == "session.updated":
print("Configuration applied successfully")
elif event_type == "response.done":
usage = event["response"].get("usage", {})
print(f"Tokens used: {usage}")
Galvenās atziņas
- Sesija tiek automātiski izveidota, izveidojot WebSocket savienojumu, un iznīcināta, to pārtraucot.
session.updatekonfigurē sesiju pēcsession.created; pirms paļauties uz jauno konfigurāciju, sagaidisession.updated.- Lai transkribētu ievadi sarunu sesijā, izmanto
gpt-transcribe;gpt-live-transcribeir paredzēts tikai transkribēšanas sesijām. - Protokols ir tīri notikumu virzīts: katram ziņojumam ir
type, kas nosaka tā apstrādi. - Klienta notikumi virza mijiedarbību; servera notikumi ziņo par rezultātiem.
- Kļūdu apstrāde ir kritiska: vienmēr klausies
errornotikumus.