Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

VAD: automātiska runas noteikšana

Nodarbība 6 no 16 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Kā darbojas sarunu maiņas noteikšana
  2. Divi režīmi, viens lauks
  3. VAD notikumi
  4. Uzrunā klusu lietotāju: idle_timeout_ms
  5. Manuālais režīms: turn_detection.type iestatīts uz null
  6. Izvēlies savu režīmu
  7. Galvenās atziņas

Atjaunināts 2026. gada 3. novembrī, pamatojoties uz xAI Speech to Speech lapu un Voice API atsauces dokumentāciju: sarunu maiņas noteikšana tiek konfigurēta, izmantojot turn_detection.type ("server_vad" vai null) un, pēc izvēles, turn_detection.idle_timeout_ms. Avoti: Speech to Speech · Voice API.

Kā darbojas sarunu maiņas noteikšana

Balss sarunā sistēmai ir jāzina, kad lietotājs sāk runāt un kad viņš apklust. Tieši to nodrošina VAD (balss aktivitātes noteikšana). xAI Voice Agent API piedāvā servera puses VAD – server_vad: serveris analizē audio plūsmu, nosaka katra teikuma beigas un pats ierosina atbildi.

Divi režīmi, viens lauks

Režīmu izvēlies session.update objekta turn_detection laukā:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad" }
  }
}
turn_detection.typeKas nosaka, kad saruna beidzasKo tu sūti
"server_vad"Serverisinput_audio_buffer.append, neko citu
nullTuinput_audio_buffer.append, tad input_audio_buffer.commit un response.create

Režīmā server_vad serveris sadala sarunas, fiksē audio un uzsāk atbildi. Arī pārtraukumi tiek apstrādāti automātiski: xAI iesaka šo režīmu dabiskai sarunu maiņai, kad lietotājs pārtrauc aģentu teikuma vidū. Dokumentācijā gan nav piedāvāti jutīguma vai klusuma ilguma iestatījumi: teikumu sadalīšana ir servera ziņā.

VAD notikumi

Izmantojot server_vad, serveris ziņo par katru pāreju:

  • input_audio_buffer.speech_started: VAD noteica runas sākumu;
  • input_audio_buffer.speech_stopped: tas noteica runas beigas;
  • input_audio_buffer.committed: audio tika fiksēts kā lietotāja ziņojums.
ws.on("message", (data) => {
  const event = JSON.parse(data);
  switch (event.type) {
    case "input_audio_buffer.speech_started":
      stopPlayback();       // lietotājs runā: apturi jau saņemto aģenta audio
      break;
    case "input_audio_buffer.speech_stopped":
      showThinking();       // noteiktas runas beigas: drīz būs atbilde
      break;
  }
});

Servera pusē pārtraukums notiek automātiski; klienta pusē audio, ko jau esi saņēmis, turpinātu skanēt, ja to neapturētu. speech_started ir īstais brīdis, lai iztukšotu atskaņošanas rindu.

Uzrunā klusu lietotāju: idle_timeout_ms

Vienīgais dokumentētais VAD iestatījums idle_timeout_ms liek aģentam atsākt sarunu, kad lietotājs pēc atbildes paliek kluss:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
  }
}

Ja šajā laikā pēc atbildes beigām netiek noteikta runa, serveris ģenerē notikumu input_audio_buffer.timeout_triggered, fiksē klusu lietotāja sarunu un ģenerē pārbaudes jautājumu. Taimeris tiek atiestatīts pēc katras atbildes, tāpēc tas atkārtoti nostrādā ik pēc idle_timeout_ms, kamēr lietotājs klusē. Pēc noklusējuma tas ir izslēgts (null). Telefonu centrālē pārbaudes jautājums pēc dažām sekundēm novērš ieilgušu klusumu; norādījumos ieraksti frāzi, ko aģentam šādā brīdī lietot.

Manuālais režīms: turn_detection.type iestatīts uz null

Push-to-talk saskarnei vai jebkurā gadījumā, kad vēlies pats lemt, kad saruna beidzas, iestati tipu uz null:

{
  "type": "session.update",
  "session": {
    "turn_detection": { "type": null }
  }
}

Tad tu sūti audio ar input_audio_buffer.append un, kad lietotājs atlaiž pogu, nosūti input_audio_buffer.commit, lai fiksētu sarunu, un response.create, lai pieprasītu atbildi. input_audio_buffer.commit ir pieejams tikai manuālajā režīmā. input_audio_buffer.clear dzēš nosūtīto, bet vēl nefiksēto audio, bet response.cancel aptur notiekošo atbildi, jo manuālajā režīmā pārtraukumi vairs nav automātiski.

Izvēlies savu režīmu

  • Brīva saruna (palīgs, telefoncentrāle, kiosks): server_vad, ar idle_timeout_ms, lai vajadzības gadījumā uzrunātu klusus lietotājus.
  • Rācija, diktēšana, ļoti trokšņaina vide: manuālais režīms, kur sarunas beigas nosaka pogas nospiešana un fona trokšņi neko neierosina.

Galvenās atziņas

  • turn_detection.type ir vai nu "server_vad" (serveris sadala sarunas un apstrādā pārtraukumus), vai null (manuālais režīms)
  • xAI dokumentācijā nav jutīguma sliekšņa vai klusuma ilguma iestatījumu pielāgošanai
  • speech_started, speech_stopped un committed ziņo par VAD pārejām
  • idle_timeout_ms uzrunā klusu lietotāju, izmantojot notikumu input_audio_buffer.timeout_triggered
  • Manuālajā režīmā: append, tad commit un response.create