Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Fiksuoti ir išvalyti garso buferį

Paskaita 8 iš 16 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Garso buferio valdymas
  2. input_audio_buffer.commit
  3. input_audio_buffer.clear
  4. VAD režimas prieš rankinį režimą
  5. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 3 d. pagal xAI Voice API dokumentaciją: input_audio_buffer.commit galima naudoti tik tada, kai turn_detection.type yra null; veikiant server_vad režimu, serveris pats fiksuoja garso įrašą. Šaltinis: Voice API.

Garso buferio valdymas

Kai siunči garso duomenis naudodamas input_audio_buffer.append, jie kaupiasi serverio buferio atmintyje. Šiam buferiui valdyti skirtos dvi operacijos: commit – pateikti sukauptą turinį kaip naudotojo žinutę, ir clear – išvalyti jį neapdorojant.

input_audio_buffer.commit

Šis įvykis fiksuoja dabartinį garso buferio turinį kaip naudotojo žinutę. Jis privalomas rankiniu režimu (paspausk ir kalbėk), o VAD režimu įvyksta automatiškai:

{
  "type": "input_audio_buffer.commit"
}

Gavęs fiksavimo komandą, serveris:

  1. Sukuria naują pokalbio elementą su sukauptu garso įrašu
  2. Siunčia input_audio_buffer.committed įvykį patvirtinimui gauti
  3. Siunčia conversation.item.added įvykį su nauju elementu
  4. Pradeda transkribuoti garso įrašą (jei ši funkcija įjungta)

Serverio atsakas

{
  "type": "input_audio_buffer.committed",
  "item_id": "item_audio_001"
}

item_id leidžia vėliau pokalbio eigoje nurodyti šią žinutę.

Kada fiksuoti rankiniu būdu

  • Paspausk ir kalbėk: naudotojas laiko mygtuką kalbėdamas ir paleidžia jį norėdamas išsiųsti
  • Rankinis segmentavimas: kliento pusėje garso srautą skirstai į loginius segmentus
  • Integracija su telefonija: gauni garso fragmentus iš PBX sistemos ir fiksuoji juos kiekvieno pokalbio etapo pabaigoje
// Paspausk ir kalbėk pavyzdys
talkButton.addEventListener("mousedown", () => {
  isRecording = true;
  startCapture();
});

talkButton.addEventListener("mouseup", () => {
  isRecording = false;
  stopCapture();

  // Fiksuoti buferį
  ws.send(JSON.stringify({
    type: "input_audio_buffer.commit"
  }));

  // Prašyti atsakymo
  ws.send(JSON.stringify({
    type: "response.create"
  }));
});

input_audio_buffer.clear

Šis įvykis išvalo garso buferį nesukuriant žinutės pokalbyje:

{
  "type": "input_audio_buffer.clear"
}

Serveris tai patvirtina taip:

{
  "type": "input_audio_buffer.cleared"
}

Kada valyti

  • Atšaukimas: naudotojas paspaudžia „Atšaukti“ mygtuką kalbėdamas
  • Pertraukimas: naudotojas pradeda kalbėti, bet kitas įvykis pertraukia pokalbio etapą
  • Resetavimas: įvykus klaidai ar pasibaigus laikui, prieš pradedant iš naujo išvalyk buferį
  • Foninis triukšmas: sistema aptinka, kad buferėje yra tik triukšmas, o ne kalba
cancelButton.addEventListener("click", () => {
  stopCapture();
  ws.send(JSON.stringify({
    type: "input_audio_buffer.clear"
  }));
  showMessage("Recording canceled");
});

VAD režimas prieš rankinį režimą

Veikiant VAD režimu (server_vad), serveris visą ciklą valdo automatiškai:

  1. Aptinka kalbos pradžią (speech_started)
  2. Kaupia garso įrašą buferio atmintyje
  3. Aptinka kalbos pabaigą (speech_stopped)
  4. Automatiškai fiksuoja buferį
  5. Automatiškai pradeda generuoti atsakymą

Rankiniu režimu (turn_detection.type nustatytas į null), kiekvieną žingsnį atlieki pats, ir tai vienintelis režimas, kuriame galima naudoti input_audio_buffer.commit:

  1. Siunči garso duomenis naudodamas append
  2. Pats nusprendi, kada naudotojas baigė kalbėti
  3. Siunči commit
  4. Siunči response.create

Palyginimas

AspektasVAD režimasRankinis režimas
Kalbos aptikimasAutomatinisTavo nuožiūra
Buferio fiksavimasAutomatinisRankinis (commit)
Atsakymo užklausaAutomatinėRankinė (response.create)
ValdymasMažiau kontrolėsPilna kontrolė
SudėtingumasPaprastaSudėtingiau
Naudojimo atvejaiLaisvas pokalbisPaspausk ir kalbėk, IVR

Svarbiausi punktai

  • input_audio_buffer.commit pateikia garso buferį kaip naudotojo žinutę
  • input_audio_buffer.clear išvalo buferį neapdorojant jo turinio
  • VAD režimu fiksavimas įvyksta automatiškai, aptikus kalbos pabaigą
  • Rankiniu režimu (turn_detection.type nustatytas į null), privalai aiškiai siųsti commit, o tada response.create; commit galima naudoti tik šiame režime
  • Rankinis režimas tinka „paspausk ir kalbėk“ sąsajoms ir IVR telefonijos sistemoms