Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Konfiguracija glasovne seje

Lekcija 2 od 14 Posodobljeno 3. november 2026 Srednje napredni
Na tej strani
  1. Sporočilo, ki določa vse: session.update
  2. Piši navodila za uho, ne za oko
  3. Zaznavanje menjave govorcev
  4. Izberi pravi avdio format
  5. Agentu daj orodja
  6. Ključne ugotovitve

Posodobljeno 3. novembra 2026 na podlagi strani xAI Speech to Speech in vodnika za glasovne pozive. Viri: Speech to Speech · Prompting Guide.

Sporočilo, ki določa vse: session.update

Ko je povezava WebSocket vzpostavljena, se še nič ne zgodi. Sporočilo session.update je tisto, ki agentu vdahne značaj: glas, ki ga uporablja, navodila, ki jih sledi, način zaznavanja menjave govorcev in orodja, ki jih sme klicati. Razmišljaj o njem kot o rojstnem listu seje. Vse ostalo v pogovoru izhaja iz njega.

{
  "type": "session.update",
  "session": {
    "instructions": "You are a professional voice assistant for an e-commerce company. Keep your answers short and help customers with their orders.",
    "voice": "Ara",
    "turn_detection": {
      "type": "server_vad"
    },
    "audio": {
      "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
      "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
    },
    "tools": [
      { "type": "web_search" }
    ]
  }
}

Strežnik to potrdi z dogodkom session.updated. Tega sporočila ni treba poslati le enkrat. Lahko ga pošlješ ponovno sredi pogovora, da spremeniš nastavitev v realnem času, na primer za preklop glasu, ko klic preide iz prodaje na tehnično podporo, ne da bi kdajkoli prekinil povezavo.

Piši navodila za uho, ne za oko

Polje instructions igra vlogo sistemskega poziva. Uporabi ga za določanje osebnosti agenta (formalna, sproščena, tehnična), tem, ki jih sme obravnavati, omejitev njegovih odgovorov (dolžina, oblika, jezik) in poslovnega konteksta, ki ga potrebuje: ime tvoje družbe, ponudba izdelkov in interni postopki.

Težava je v tem, da tisto, kar deluje kot dober pisni poziv, pogosto ustvari slabega glasovnega agenta. Prepuščen sam sebi, model napiše desetvrstične odgovore. Ko jih prebereš na glas, se vlečejo in uporabnik izgubi pozornost, preden pride do konca. Zato izrecno zahtevaj kratke in neposredne odgovore. Če tvoja aplikacija deluje v enem samem jeziku, to navedi, sicer lahko agent preklopi jezik, da se prilagodi nagovoru klicatelja. Povej mu tudi, kaj naj stori, ko ne razume: navodilo, kot je „namesto ugibanja postavi pojasnjevalno vprašanje”, prepreči, da bi napačno slišana številka naročila sprožila nesmiselno iskanje. Vodnik za glasovne pozive xAI celo predlaga petdelno strukturo (vloga in persona, cilj, potek pogovora, varovala in eskalacija, slog govora) in priporoča eno ali dve kratki povedi na menjavo, razen če klicatelj zahteva več podrobnosti.

Zaznavanje menjave govorcev

Blok turn_detection odloča, kdo govori in kdaj, dokumentacija xAI pa zanj ponuja le dve nastavitvi. Prva je type. V načinu "server_vad" strežnik samodejno zazna konec vsakega izreka, potrdi zvok, začne odziv in upravlja prekinitve: tvoja edina naloga je pošiljanje zvoka z input_audio_buffer.append. Druga nastavitev, idle_timeout_ms, je izbirna. Če uporabnik po odzivu molči toliko milisekund, ga strežnik pozove k odgovoru, in to ponovi po vsaki novi tišini enake dolžine.

{
  "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}

Ni praga občutljivosti ali trajanja tišine, ki bi ga lahko prilagodil. Parametri threshold, silence_duration_ms in prefix_padding_ms, ki jih vidiš v primerih, napisanih za OpenAI Realtime API, se v dokumentaciji xAI ne pojavljajo.

Če ti samodejno obnašanje ne ustreza, nastavi tip na null in prevzemi nadzor. Takrat je tvoja naloga, da medpomniš zvok z input_audio_buffer.append, izrecno potrdiš menjavo z input_audio_buffer.commit in sprožiš generiranje z response.create. Ročni način je prava izbira za vmesnik „pritisni za govor” (push-to-talk) ali kadar koli želiš natančen nadzor nad tem, kdaj agent spregovori.

Izberi pravi avdio format

Blok audio neodvisno nastavlja vhodne in izhodne formate:

{
  "audio": {
    "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
    "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
  }
}

Sprejetih je štiri vrste. Če ne določiš nobene, dobiš PCM pri 24.000 Hz:

VrstaKodiranjeFrekvence vzorčenja
audio/pcmPCM Linear16, little-endian8000, 16000, 22050, 24000, 32000, 44100, 48000 Hz
audio/pcmuG.711 mu-law (severnoameriška telefonija)Samo 8000 Hz
audio/pcmaG.711 A-law (evropska telefonija)Samo 8000 Hz
audio/opusOpus, en paket na sporočilo24000 Hz

Odloča tvoj dostavni kanal. Spletna aplikacija v brskalniku dobro deluje s PCM pri 24.000 Hz, kar je dobro ravnovesje med zaznano kakovostjo in pasovno širino. Integracija s telefonom SIP nima izbire: omrežje prenaša G.711 pri 8.000 Hz in vsiljevanje formata višje kakovosti nanj le doda nepotrebno pretvorbo.

Agentu daj orodja

Polje tools našteva, kaj sme agent klicati med pogovorom, v isti seji pa lahko mešaš različne vrste:

{
  "tools": [
    { "type": "web_search" },
    { "type": "x_search", "allowed_x_handles": ["gaborit_music"] },
    {
      "type": "function",
      "name": "get_order_status",
      "parameters": {
        "type": "object",
        "properties": {
          "order_id": { "type": "string" }
        },
        "required": ["order_id"]
      }
    }
  ]
}

Ti zagotoviš orodjarno, agent pa izbere orodje. Ko pogovor teče, se odloči, da vprašanje o novicah zahteva spletno iskanje, medtem ko številka naročila zahteva get_order_status. Tvoje delo je torej manj usklajevanje klicev in bolj jasen opis vsakega orodja, da bo agent sprejel pravo odločitev.

Ključne ugotovitve

  • Sporočilo session.update konfigurira glas, navodila, VAD in orodja.
  • VAD na strani strežnika (server_vad) zazna menjave govorcev in upravlja prekinitve; idle_timeout_ms je edina nastavitev.
  • Ročni način (turn_detection.type nastavljen na null) ti daje natančen nadzor, na primer pri uporabi „pritisni za govor”.
  • Avdio formati PCM, G.711 in Opus pokrivajo primere uporabe tako za splet kot za telefonijo.
  • Konfiguracijo lahko spremeniš sredi seje, ne da bi prekinil povezavo.