Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Konfigūruoti garso seansą

Paskaita 2 iš 14 Atnaujinta 2026 m. lapkričio 3 d. Vidutinis lygis
Šiame puslapyje
  1. Žinutė, kuri nustato viską: session.update
  2. Rašyk instrukcijas ausiai, o ne akims
  3. Posūkio aptikimas
  4. Pasirink tinkamą garso formatą
  5. Suteik agentui įrankių
  6. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 3 d., remiantis xAI Speech to Speech puslapiu ir garso užuominų vadovu. Šaltiniai: Speech to Speech · Prompting Guide.

Žinutė, kuri nustato viską: session.update

Kai „WebSocket“ ryšys užmezgamas, dar niekas nevyksta. Būtent session.update žinutė suteikia agentui jo charakterį: naudojamą balsą, laikomasis instrukcijas, nustato, kaip aptinkami pokalbio posūkiai, ir kokius įrankius jis gali naudoti. Įsivaizduok tai kaip seanso gimimo liudijimą. Visas tolesnis pokalbis remiasi šiuo pagrindu.

{
  "type": "session.update",
  "session": {
    "instructions": "You are a professional voice assistant for an e-commerce company. Keep your answers short and help customers with their orders.",
    "voice": "Ara",
    "turn_detection": {
      "type": "server_vad"
    },
    "audio": {
      "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
      "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
    },
    "tools": [
      { "type": "web_search" }
    ]
  }
}

Serveris tai patvirtina session.updated įvykiu. Šios žinutės nereikia siųsti tik vieną kartą. Gali ją išsiųsti dar kartą pokalbio viduryje, norėdamas pakeisti nustatymą realiuoju laiku, pavyzdžiui, perjungti balsą, kai skambutis pereina nuo pardavimų prie techninės pagalbos, neatjungiant ryšio.

Rašyk instrukcijas ausiai, o ne akims

Laukas instructions atlieka sistemos užuominos (system prompt) vaidmenį. Naudok jį agento asmenybei nustatyti (formalus, laisvas, techninis), temoms, kurias jis gali nagrinėti, atsakymų apribojimams (ilgis, formatas, kalba) ir verslo kontekstui, kurio jam reikia: tavo įmonės pavadinimui, produktų asortimentui ir vidinėms procedūroms.

Problema ta, kad tai, kas tinka rašytinei užuominai, dažnai netinka garso agentui. Paliktas savo valiai, modelis kuria dešimties eilučių atsakymus. Perskaičius juos garsiai, jie užsitęsia, o naudotojas nustoja klausytis dar prieš pabaigą. Todėl aiškiai reikalauk trumpų ir tiesių atsakymų. Jei tavo programa veikia viena kalba, nurodyk ją, kitaip agentas gali perjungti kalbą, prisitaikydamas prie skambinančiojo akcento. Taip pat nurodyk, ką daryti, kai jis nieko nesupranta: instrukcija „užduok patikslinamąjį klausimą, o ne spėliok“ neleidžia neteisingai išgirstam užsakymo numeriui sukelti beprasmės paieškos. xAI garso užuominų vadove netgi siūloma penkių dalių struktūra (vaidmuo ir asmenybė, tikslas, pokalbio eiga, apsaugos ribos ir eskalavimas, balso stilius) ir rekomenduojama skirti vieną ar du trumpus sakinius kiekvienam posūkiui, nebent skambinantisysis prašo daugiau detalių.

Posūkio aptikimas

Blokas turn_detection nusprendžia, kas ir kada kalba, o xAI dokumentacijoje pateikiami tik du jo nustatymai. Pirmasis yra type. Veiksenoje "server_vad" serveris savarankiškai aptinka kiekvieno pasakymo pabaigą, fiksuoja garso įrašą, pradeda generuoti atsakymą ir tvarko pertraukimus: tau tereikia siųsti garso duomenis naudodamas input_audio_buffer.append. Antrasis nustatymas, idle_timeout_ms, yra neprivalomas. Jei naudotojas tyli tiek milisekundžių po atsakymo, serveris jį paragina kalbėti, ir tai kartojasi po kiekvienos tokio paties ilgio tylos.

{
  "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}

Nėra jokių jautrumo slenksčių ar tylos trukmės parametrų, kuriuos reikėtų derinti. Parametrai threshold, silence_duration_ms ir prefix_padding_ms, kuriuos matysi pavyzdžiuose, skirtuose „OpenAI Realtime API“, xAI dokumentacijoje nefigūruoja.

Jei automatinis elgesys tau netinka, nustatyk tipą į null ir perimk kontrolę. Tada tavo pareiga yra buferizuoti garso įrašą naudojant input_audio_buffer.append, aiškiai užfiksuoti posūkį su input_audio_buffer.commit ir inicijuoti generavimą su response.create. Rankinis režimas yra tinkamas pasirinkimas „paspausk ir kalbėk“ (push-to-talk) sąsajai arba bet kada, kai nori tiksliai kontroliuoti, kada agentas kalba.

Pasirink tinkamą garso formatą

Blokas audio nepriklausomai nustato įvesties ir išvesties formatus:

{
  "audio": {
    "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
    "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
  }
}

Priimami keturi tipai. Jei nenurodysi nė vieno, gausi PCM 24 000 Hz dažniu:

TipasKodavimasDiskretizavimo dažniai
audio/pcmPCM Linear16, mažosios galios baitų tvarka (little-endian)8000, 16000, 22050, 24000, 32000, 44100, 48000 Hz
audio/pcmuG.711 mu-law (Šiaurės Amerikos telefonija)Tik 8000 Hz
audio/pcmaG.711 A-law (Europos telefonija)Tik 8000 Hz
audio/opusOpus, vienas paketas vienoje žinutėje24000 Hz

Tavo pristatymo kanalas lemia pasirinkimą. Žiniatinklio programai naršyklėje puikiai tinka 24 000 Hz PCM – tai geras balansas tarp suvokiamos kokybės ir pralaidumo. Integruojant SIP telefoną pasirinkimo nėra: tinklas perduoda G.711 8 000 Hz dažniu, o aukštesnės kokybės formato diegimas tik pridėtų beprasmę konversiją.

Suteik agentui įrankių

Masyvas tools išvardija, ką agentas gali iškviesti pokalbio metu, ir tame pačiame seanse gali maišyti skirtingus tipus:

{
  "tools": [
    { "type": "web_search" },
    { "type": "x_search", "allowed_x_handles": ["gaborit_music"] },
    {
      "type": "function",
      "name": "get_order_status",
      "parameters": {
        "type": "object",
        "properties": {
          "order_id": { "type": "string" }
        },
        "required": ["order_id"]
      }
    }
  ]
}

Tu pateiki įrankių dėžutę, o agentas pasirenka įrankį. Pokalbiui vykstant, jis nusprendžia, kad klausimas apie naujienas reikalauja interneto paieškos, o užsakymo numeris – funkcijos get_order_status. Todėl tavo darbas yra ne tiek orchestraciją vykdyti, kiek aiškiai aprašyti kiekvieną įrankį, kad agentas priimtų teisingą sprendimą.

Svarbiausi punktai

  • Žinutė session.update konfigūruoja balsą, instrukcijas, VAD ir įrankius
  • Serverio pusės VAD (server_vad) aptinka posūkius ir tvarko pertraukimus; idle_timeout_ms yra vienintelis nustatymas
  • Rankinis režimas (turn_detection.type nustatytas į null) suteikia tikslią kontrolę, pavyzdžiui, naudojant „paspausk ir kalbėk“
  • PCM, G.711 ir Opus garso formatai apima tiek žiniatinklio, tiek telefonijos naudojimo atvejus
  • Konfigūraciją gali keisti seanso viduryje neatjungdamas ryšio