Konfigūruok seansą naudodamas session.update
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 3 d., remiantis xAI Speech to Speech ir Text to Speech puslapiais: 28 integruoti balsai, o
turn_detectionnustatomas tik pagal jotype(su pasirenkamuidle_timeout_ms). Šaltiniai: Speech to Speech · Text to Speech.
Konfigūruok savo balso agentą
Kai WebSocket ryšys užmegztas ir gavai session.created įvykį, konfigūruok seansą siųsdamas session.update žinutę. Čia apibrėži, kaip elgsis tavo balso agentas: jo asmenybę, balsą, įrankius, kuriuos jis gali naudoti, ir kaip jis aptinka kalbėtojo pasikeitimą.
Pilna session.update struktūra
Štai išsamus konfigūracijos pavyzdys:
{
"type": "session.update",
"session": {
"instructions": "You are a professional voice assistant for a law firm. Answer concisely and precisely. Use a formal tone.",
"voice": "Rex",
"tools": [
{"type": "web_search"},
{
"type": "function",
"name": "look_up_case",
"description": "Looks up a client case by number",
"parameters": {
"type": "object",
"properties": {
"case_number": {
"type": "string",
"description": "Client case number"
}
},
"required": ["case_number"]
}
}
],
"turn_detection": {
"type": "server_vad"
},
"audio": {
"input": {
"format": {"type": "audio/pcm", "rate": 24000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
Išsamus nustatymų aprašymas
Instrukcijos (sistemos promptas)
Laukas instructions atitinka sistemos promptą tekstiniuose API: jis apibrėžia tavo balso agento asmenybę, kontekstą ir apribojimus. Tačiau rašant jį tenka laikytis balso technologijoms būdingo apribojimo – glaustumo. Kiekvienas prompto tokenas apdorojamas prieš pirmąjį atsakymą, o pernelyg išplėtotas promptas sujaukia veiksmą ir sukelia pastebimą delsą vos prisijungus skambučiui. Laikykitės esminių dalykų, o detales perkelskite į savo programos logiką. Turint tokį ribotą biudžetą, trys dalykai yra būtini. Tonas (formalus, draugiškas, techninis), nes balso agentas tiesiogine prasme įkūnija tavo prekės ženklą kliento ausyje. Kalba: nurodykite ją („atsakykite anglų kalba“), kitaip agentas gali sekti naudotojo ar klausimo kalbą. Ir ribos: ką agentas gali daryti ir, svarbiausia, ko jis turi atsisakyti ar perduoti žmogui, nes telefone atsakymas ne tema nuskamba dar prieš kam nors jį peržiūrint.
Balsas
Nustatymas voice priima vieną iš 28 xAI integruotų balsų (2026 m. lapkričio 3 d. duomenimis), bendrų balso agentui ir teksto pavertimui kalba, arba specialaus balso, sukurto naudojant Custom Voices API, ID. Balsų ID nėra jautrūs didžiosioms raidėms: eve, Eve ir EVE reiškia tą patį balsą. Kiekvienas balsas kalba visomis palaikomomis kalbomis.
Penki originalūs balsai, kaip juos apibūdina xAI:
- eve: energingas ir linksmas, britų akcentas
- ara: šiltas ir draugiškas
- rex: pasitikintis savimi ir aiškus
- sal: sklandus ir subalansuotas
- leo: autoritetingas ir galingas, britų akcentas
Prie jų prisijungia dvidešimt trys naujesni balsai: carina, zagan, helix, orion, luna, iris, altair, zenith, perseus, helios, lux, kepler, rigel, cosmo, celeste, ursa, sirius, lumen, castor, naksh, atlas, aurora ir liora. Dabartinį sąrašą su kiekvieno balso tonu ir naudojimo atvejais gali gauti naudodamas GET /v1/tts/voices arba xAI Text to Speech puslapyje.
Įrankiai
Masyvas tools apibrėžia įrankius, kuriuos agentas gali iškviesti pokalbio metu. Galite derinti kelis tipus: žiniatinklio paiešką, X paiešką, pasirinktines funkcijas, RAG kolekcijas ir MCP serverius. Šiuose ir kituose pamokose įrankiai bus nagrinėjami išsamiau.
Garso konfigūracija
Objektas audio nustato įvesties ir išvesties formatus. Jei tavo architektūra to reikalauja, įvesties ir išvesties formatams gali naudoti skirtingus formatus (pavyzdžiui, gauti G.711 iš telefono sistemos ir siųsti PCM į naršyklę).
Seanso atnaujinimas pokalbio viduryje
Pokalbio metu session.update gali siųsti kelis kartus. Tai leidžia dinamiškai keisti agento elgseną:
// Pakeisti balsą pokalbio viduryje
ws.send(JSON.stringify({
type: "session.update",
session: {
voice: "Ara"
}
}));
// Pridėti kitą įrankį
ws.send(JSON.stringify({
type: "session.update",
session: {
tools: [
{ type: "web_search" },
{ type: "x_search" }
]
}
}));
xAI dokumentacija aiškiai palaiko pakeitimus seanso viduryje keliems nustatymams (transkripcijos kalba, raktiniai žodžiai, tarimo pakeitimai, garso transportas), o session.updated tai patvirtina: patikrink jį, kad įsitikintum, jog konfigūracija buvo pritaikyta.
Svarbiausi punktai
session.updateyra pirmoji žinutė, kurią reikia išsiųsti posession.created- Laukas
instructionsapibrėžia agento asmenybę ir apribojimus - Yra prieinami 28 integruoti balsai (įskaitant eve, ara, rex, sal ir leo), taip pat specialūs balsai
- Garso konfigūracija ir įrankiai yra pritaikomi
session.updategali siųsti kelis kartus, kad pakeistum elgseną pokalbio viduryje