Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Fiksē un notīri audio buferi

Nodarbība 8 no 16 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Audio bufera pārvaldība
  2. input_audio_buffer.commit
  3. input_audio_buffer.clear
  4. VAD režīms pret manuālo režīmu
  5. Galvenās atziņas

Atjaunināts 2026. gada 3. novembrī, pamatojoties uz xAI Voice API atsauces dokumentāciju: input_audio_buffer.commit ir pieejams tikai tad, ja turn_detection.type ir null; režīmā server_vad serveris pats fiksē audio. Avots: Voice API.

Audio bufera pārvaldība

Kad nosūti audio ar input_audio_buffer.append, dati uzkrājas buferī serverī. Šo buferi kontrolē divas operācijas: commit, lai nosūtītu tā saturu kā lietotāja ziņojumu, un clear, lai to iztukšotu bez apstrādes.

input_audio_buffer.commit

Šis notikums fiksē pašreizējo audio bufera saturu kā lietotāja ziņojumu. Tas ir obligāts manuālajā režīmā (nospied-un-runā) un automātisks VAD režīmā:

{
  "type": "input_audio_buffer.commit"
}

Kad serveris saņem fiksācijas pieprasījumu, tas:

  1. Izveido jaunu sarunas elementu ar uzkrāto audio
  2. Nosūta notikumu input_audio_buffer.committed, lai to apstiprinātu
  3. Nosūta notikumu conversation.item.added ar jauno elementu
  4. Sāk audio transkribēšanu (ja tā ir iespējota)

Servera atbilde

{
  "type": "input_audio_buffer.committed",
  "item_id": "item_audio_001"
}

item_id ļauj vēlāk sarunā atsaukties uz šo ziņojumu.

Kad veikt manuālu fiksāciju

  • Nospied-un-runā: lietotājs tur nospiestu pogu runāšanas laikā un atlaiž to, lai nosūtītu ierakstu
  • Manuāla segmentācija: tu klientpusē sadali audio plūsmu loģiskos segmentos
  • Telefonu integrācija: tu saņem audio gabalus no PBX un fiksē tos katra sarunas posma beigās
// Nospied-un-runā piemērs
talkButton.addEventListener("mousedown", () => {
  isRecording = true;
  startCapture();
});

talkButton.addEventListener("mouseup", () => {
  isRecording = false;
  stopCapture();

  // Fiksē buferi
  ws.send(JSON.stringify({
    type: "input_audio_buffer.commit"
  }));

  // Pieprasi atbildi
  ws.send(JSON.stringify({
    type: "response.create"
  }));
});

input_audio_buffer.clear

Šis notikums iztukšo audio buferi, neizveidojot ziņojumu sarunā:

{
  "type": "input_audio_buffer.clear"
}

Serveris to apstiprina ar:

{
  "type": "input_audio_buffer.cleared"
}

Kad notīrīt buferi

  • Atcelšana: lietotājs runāšanas laikā nospiež pogu “Atcelt”
  • Pārtraukums: lietotājs sāk runāt, bet cits notikums pārtrauc sarunas posmu
  • Atiestatīšana: pēc kļūdas vai noilguma notīri buferi pirms sāc no jauna
  • Fona troksnis: sistēma konstatē, ka buferī ir tikai troksnis, nevis runa
cancelButton.addEventListener("click", () => {
  stopCapture();
  ws.send(JSON.stringify({
    type: "input_audio_buffer.clear"
  }));
  showMessage("Ierakstīšana atcelta");
});

VAD režīms pret manuālo režīmu

VAD režīmā (server_vad) serveris automātiski veic visu ciklu:

  1. Tas konstatē runas sākumu (speech_started)
  2. Tas uzkrāj audio buferī
  3. Tas konstatē runas beigas (speech_stopped)
  4. Tas automātiski fiksē buferi
  5. Tas automātiski sāk ģenerēt atbildi

Manuālajā režīmā (turn_detection.type iestatīts uz null) tu pats veic katru soli, un tas ir vienīgais režīms, kurā ir pieejams input_audio_buffer.commit:

  1. Tu nosūti audio ar append
  2. Tu pats lemj, kad lietotājs ir beidzis runāt
  3. Tu nosūti commit
  4. Tu nosūti response.create

Salīdzinājums

AspektsVAD režīmsManuālais režīms
Runas noteikšanaAutomātiskaTava ziņā
Bufera fiksācijaAutomātiskaManuāla (commit)
Atbildes pieprasījumsAutomātisksManuāls (response.create)
KontroleMazāka kontrolePilna kontrole
SarežģītībaVienkāršsSarežģītāks
Lietošanas gadījumiBrīva sarunaNospied-un-runā, IVR

Galvenās atziņas

  • input_audio_buffer.commit nosūta audio buferi kā lietotāja ziņojumu
  • input_audio_buffer.clear iztukšo buferi bez tā apstrādes
  • VAD režīmā fiksācija notiek automātiski, tiklīdz tiek konstatētas runas beigas
  • Manuālajā režīmā (turn_detection.type iestatīts uz null) tev ir eksplicīti jānosūta commit un pēc tam response.create; commit ir pieejams tikai šajā režīmā
  • Manuālais režīms ir piemērots saskarnēm ar nospied-un-runā funkciju un IVR tālruņu sistēmām