Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Konfigurēt balss sesiju

Nodarbība 2 no 14 Atjaunota 2026. gada 3. novembris Vidējs
Šajā lapā
  1. Ziņojums, kas nosaka visu: session.update
  2. Raksti instrukcijas ausij, nevis acij
  3. Runas maiņas noteikšana
  4. Izvēlies pareizo audio formātu
  5. Nodroši aģentam rīkus
  6. Galvenās atziņas

Atjaunināts 2026. gada 3. novembrī, pamatojoties uz xAI Speech to Speech lapu un balss uzvedņu rokasgrāmatu. Avoti: Speech to Speech · Prompting Guide.

Ziņojums, kas nosaka visu: session.update

Tiklīdz WebSocket savienojums ir atvērts, nekas vēl nenotiek. Ziņojums session.update ir tas, kas piešķir aģentam tā raksturu: balsi, ko tas izmanto, instrukcijas, kurām tas seko, veidu, kā tas noteic runas maiņu, un rīkus, kurus tas drīkst izsaukt. Uztver to kā sesijas dzimšanas apliecību. Viss pārējais sarunā izriet tieši no tā.

{
  "type": "session.update",
  "session": {
    "instructions": "You are a professional voice assistant for an e-commerce company. Keep your answers short and help customers with their orders.",
    "voice": "Ara",
    "turn_detection": {
      "type": "server_vad"
    },
    "audio": {
      "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
      "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
    },
    "tools": [
      { "type": "web_search" }
    ]
  }
}

Serveris to apstiprina ar notikumu session.updated. Tev nav jānosūta šis ziņojums tikai vienreiz. Tu vari to nosūtīt vēlreiz sarunas vidū, lai dinamiski mainītu iestatījumu, piemēram, lai pārslēgtu balsi, kad zvanis pāriet no pārdošanas uz tehnisko atbalstu, nepārtraucot savienojumu.

Raksti instrukcijas ausij, nevis acij

Lauks instructions spēlē sistēmas uzvednes lomu. Izmanto to, lai noteiktu aģenta personību (formālu, ikdienišķu, tehnisku), tēmas, ko tas drīkst apskatīt, ierobežojumus tā atbildēm (garums, formāts, valoda) un biznesa kontekstu, kas tam nepieciešams: tava uzņēmuma nosaukums, produktu klāsts un iekšējās procedūras.

Problēma slēpjas tajā, ka tas, kas padara rakstisku uzvedni labu, bieži vien padara balss aģentu sliktu. Ja to atstāj vienu pašu, modelis ģenerē desmit rindu garas atbildes. Lasot tās skaļi, tās ievelkas, un lietotājs zaudē uzmanību pirms beigām. Tāpēc tieši pieprasī īsas un konkrētas atbildes. Ja tava lietotne darbojas vienā valodā, norādi to, pretējā gadījumā aģents var pāriet uz zvanītāja akcentam atbilstošu valodu. Un pastāsti tam, ko darīt, ja tas nesaprot: instrukcija „uzdod precizējošu jautājumu, nevis min” novērš situācijas, kad nepareizi dzirdēts pasūtījuma numurs izraisa bezjēdzīgu meklēšanu. xAI balss uzvedņu rokasgrāmata pat iesaka piecu daļu struktūru (loma un personība, mērķis, sarunas plūsma, aizsardzības mehānismi un eskalācija, balss stils) un iesaka vienu vai divus īsus teikumus katrā runas maiņā, ja vien zvanītājs neprasa vairāk detaļu.

Runas maiņas noteikšana

Bloks turn_detection nosaka, kurš runā un kad, un xAI dokumentācija piedāvā tam tikai divus iestatījumus. Pirmais ir type. Režīmā "server_vad" serveris patstāvīgi nosaka katra teikuma beigas, fiksē audio, sāk ģenerēt atbildi un apstrādā pārtraukumus: tev tikai jānosūta audio ar input_audio_buffer.append. Otrais iestatījums, idle_timeout_ms, ir neobligāts. Ja lietotājs pēc atbildes klusē tik milisekunžu, cik norādīts, serveris viņu uzrunā, un dara to atkal pēc katra jauna tāda paša ilguma klusuma brīža.

{
  "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}

Nav jāpielāgo jutīguma slieksnis vai klusuma ilgums. Parametri threshold, silence_duration_ms un prefix_padding_ms, kurus redzēsi piemēros, kas rakstīti OpenAI Realtime API, xAI dokumentācijā neparādās.

Ja automātiskā uzvedība tev neder, iestati tipu uz null un pārņem kontroli. Tad tavs uzdevums ir buferizēt audio ar input_audio_buffer.append, tieši apstiprināt runas maiņu ar input_audio_buffer.commit un iedarbināt ģenerēšanu ar response.create. Manuālais režīms ir pareizā izvēle saskarnei ar tipu „nospied, lai runātu” (push-to-talk) vai jebkurā brīdī, kad vēlies precīzu kontroli pār to, kad aģents runā.

Izvēlies pareizo audio formātu

Bloks audio neatkarīgi iestata ievades un izvades formātus:

{
  "audio": {
    "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
    "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
  }
}

Tiek pieņemti četri tipi. Ja tu nenorādi nevienu, tiek izmantots PCM ar 24 000 Hz:

TipsKodējumsDiskrētizācijas frekvences
audio/pcmPCM Linear16, little-endian8000, 16000, 22050, 24000, 32000, 44100, 48000 Hz
audio/pcmuG.711 mu-law (Ziemeļamerikas telefonija)Tikai 8000 Hz
audio/pcmaG.711 A-law (Eiropas telefonija)Tikai 8000 Hz
audio/opusOpus, viena pakete vienā ziņojumā24000 Hz

Tavu izvēli nosaka piegādes kanāls. Tīmekļa lietotnei pārlūkprogrammā pietiek ar 24 000 Hz PCM, kas ir labs līdzsvars starp uztverto kvalitāti un joslas platumu. SIP tālruņa integrācijai izvēles nav: tīkls pārraida G.711 ar 8000 Hz, un augstākas kvalitātes formāta uzspiešana tam tikai pievieno bezjēdzīgu konvertēšanu.

Nodroši aģentam rīkus

Masīvs tools uzskaita to, ko aģents drīkst izsaukt sarunas laikā, un vienā sesijā vari sajaukt dažādus veidus:

{
  "tools": [
    { "type": "web_search" },
    { "type": "x_search", "allowed_x_handles": ["gaborit_music"] },
    {
      "type": "function",
      "name": "get_order_status",
      "parameters": {
        "type": "object",
        "properties": {
          "order_id": { "type": "string" }
        },
        "required": ["order_id"]
      }
    }
  ]
}

Tu nodrošini rīku kasti; aģents izvēlas rīku. Sarunai ritot, tas nolemj, ka jautājums par jaunumiem prasa tīmekļa meklēšanu, savukārt pasūtījuma numurs prasa get_order_status. Tavs uzdevums ir mazāk saistīts ar izsaukumu orķestrēšanu un vairāk ar katra rīka skaidru aprakstīšanu, lai aģents izdarītu pareizo izvēli.

Galvenās atziņas

  • Ziņojums session.update konfigurē balsi, instrukcijas, VAD un rīkus
  • Servera puses VAD (server_vad) nosaka runas maiņas un apstrādā pārtraukumus; idle_timeout_ms ir vienīgais iestatījums
  • Manuālais režīms (turn_detection.type iestatīts uz null) nodrošina precīzu kontroli, piemēram, izmantojot „nospied, lai runātu”
  • Audio formāti PCM, G.711 un Opus aptver gan tīmekļa, gan telefonijas lietojumus
  • Konfigurāciju vari mainīt sesijas laikā, nepārtraucot savienojumu