TTS straumēšana, izmantojot WebSocket
Šajā lapā
Atjaunināts 2026. gada 3. novembrī, pamatojoties uz xAI Text to Speech lapu. Avots: Text to Speech.
Kāpēc straumēšana maina pieredzi
HTTP režīmā TTS atgriež kontroli tikai tad, kad viss audio ir ģenerēts. Divu teikumu paziņojumam neviens nepamanīs gaidīšanu. Taču bloga ierakstam, grāmatas nodaļai vai nepārtraukti ritināmai ziņu plūsmai šī gaida kļūst par tava produkta lielāko trūkumu: lietotāji noklikšķina, un tad vairākas sekundes vēro ielādes indikatoru.
WebSocket režīms novērš šo gaidīšanu, nosūtot audio datus tiklīdz tie tiek sintezēti. Atskaņošana sākas pie pirmajiem vārdiem, kamēr teksta beigas vēl nav apstrādātas. Tieši šī ir atšķirība starp lapu, kas šķiet iesaldēta, un audio, kas atskaņojas uzreiz.
Savienojuma izveide
Savienojums tiek atvērts uz wss://api.x.ai/v1/tts, un visa konfigurācija tiek norādīta URL vaicājuma virknē, nevis inicializācijas ziņojumā.
const ws = new WebSocket(
"wss://api.x.ai/v1/tts?language=en&voice=ara&codec=mp3&sample_rate=24000",
{
headers: {
"Authorization": "Bearer " + XAI_API_KEY
}
}
);
Šie ir pieņemtie parametri:
- language (obligāts): BCP-47 kods vai
auto - voice (neobligāts, noklusējums:
eve): balss ID - codec (neobligāts, noklusējums:
mp3): izejas audio formāts - sample_rate (neobligāts, noklusējums:
24000): diskretizācijas frekvence Hz - bit_rate (neobligāts, noklusējums:
128000): bitu ātrums bps (tikai MP3)
Šie iestatījumi attiecas uz visu sesiju: tu nevari mainīt balsi vai kodeku sesijas laikā. Ja tavai lietotnei ir jāpārslēdzas starp diviem stāstniekiem, atver divus savienojumus.
Ziņojumu protokols
Nosūtīšanas pusē sintēzes vadīšanai pietiek ar diviem ziņojumu veidiem. Pirmais nosūta teksta daļu; otrais paziņo, ka teksts ir pabeigts.
{ "type": "text.delta", "delta": "Hello and welcome " }
{ "type": "text.done" }
Tu vari nosūtīt tik daudz text.delta ziņojumu, cik nepieciešams, katru līdz 60 000 zīmēm garu. Tomēr labāk šo limitu nesasniegt: sadalot tekstu daļās pa dažiem teikumiem, pirmo audio fragmentu saņemsi daudz ātrāk, kas ir visa straumēšanas jēga. Viens delta ar vairākiem tūkstošiem zīmju atgriež tevi pie HTTP režīma uzvedības.
Saņemšanas pusē katrs audio.delta nes base64 kodētu audio fragmentu tajā kodekā, ko norādīji savienojuma brīdī. Atkodē to un pievieno savu atskaņošanas buferim.
{ "type": "audio.delta", "delta": "<base64 audio>" }
{ "type": "audio.done", "trace_id": "trace-uuid" }
Notikums audio.done apzīmē sintēzes beigās. Tā trace_id ir identifikators, kas jānorāda atbalsta dienestam vai jāieraksta žurnālos, ja ģenerēšana norit nepareizi. Ja teksts ir nederīgs vai esi pārsniedzis savu kvotu, saņemsi kļūdas ziņojumu.
{ "type": "error", "message": "description of the error" }
Pilnīga implementācija
Zemāk esošais piemērs sadala garu tekstu rindkopās, nosūta tās visas un pēc tam saliek saņemtos audio fragmentus MP3 failā.
const WebSocket = require("ws");
const fs = require("fs");
const ws = new WebSocket(
"wss://api.x.ai/v1/tts?language=en&voice=rex&codec=mp3",
{ headers: { "Authorization": "Bearer " + process.env.XAI_API_KEY } }
);
const audioChunks = [];
ws.on("open", () => {
const paragraphs = longText.split("\n\n");
for (const para of paragraphs) {
ws.send(JSON.stringify({
type: "text.delta",
delta: para + " "
}));
}
ws.send(JSON.stringify({ type: "text.done" }));
});
ws.on("message", (data) => {
const msg = JSON.parse(data);
if (msg.type === "audio.delta") {
audioChunks.push(Buffer.from(msg.delta, "base64"));
} else if (msg.type === "audio.done") {
fs.writeFileSync("output.mp3", Buffer.concat(audioChunks));
ws.close();
}
});
Ņem vērā para + " ": bez šīs atstarpes vienas rindkopas beigas saplūst ar nākamās sākumu, un dzinējs abus vārdus nolasa kopā, neieliekot elpu.
Limiti, kas jāzina
| Metrika | Vērtība |
|---|---|
| Teksts vienā delta | Maks. 60 000 zīmes |
| Kopējais teksts | Neierobežots |
| Vienlaicīgas sesijas | 50 uz komandu |
| Sesijas atļauja | 600 sekundes |
| Savienojuma noilgums | Nav |
xAI lapā teikts, ka savienojumam nav noilguma, un atsevišķi minēta „sesijas atļauja” 600 sekunžu garumā, nepaskaidrojot, kas notiek, kad tā beidzas. Drošības labad izveido savienojumu tikai tad, kad ir teksts, ko nosūtīt, nevis lapas ielādes brīdī, un plāno atkārtotu savienojuma izveidi. Plāno arī ap 50 vienlaicīgu sesiju limitu uz komandu tāpat: audio bibliotēkai, kas fonā konvertē savu katalogu, vajadzētu rindot savus uzdevumus, nevis atvērt divsimt savienojumus paralēli.
HTTP vai WebSocket
HTTP režīms joprojām ir pareizā izvēle īsiem tekstiem, vienreizējai ģenerēšanai un visur, kur integrācijas vienkāršība ir svarīgākā: viens pieprasījums, viena atbilde, nav jāpārvalda stāvoklis. WebSocket ir īstais ceļš, kad teksts kļūst garš, kad audio ir jāatskaņo tā ģenerēšanas laikā vai kad pats saturs ierodas kā straume, parasti valodu modeļa izeja, ko balsini ģenerēšanas procesā.
Galvenās atziņas
- WebSocket TTS ļauj saņemt straumētu audio, negaidot ģenerēšanas pabeigšanu
- Konfigurācijas parametri tiek norādīti savienojuma URL vaicājuma virknē
- Protokols ir vienkāršs:
text.deltateksta nosūtīšanai,audio.deltaaudio saņemšanai - WebSocket sesijas ir ierobežotas līdz 50 vienlaicīgām uz komandu; plāno atkārtotu savienojuma izveidi
- Dod priekšroku WebSocket gariem tekstiem un reāllaika klausīšanās pieredzei