Eestikeelne versioon
Voice Agent API: reaalajas vestlused
Looge häälagentide lahendusi WebSocketi abil: VAD, häälefunktsioonide kutsumine, sündmused ja SIP-telefonide integreerimine.
16 õppetundi ca. 1 h Arendajatele
Mida te õpite
- Avage reaalajas WebSocketi seanss, mis on autentitud ajutiste tokenitega ja konfigureeritud session.update kaudu
- Töödelge PCM ja G.711 helivooge, hallates samal ajal automaatset kõnetuvastust
- Käsitlege vestluse kliendi-serveri ja serveri-kliendi sündmuste tsüklit
- Käivitage häälefunktsioonide kutsumine ja sisseehitatud tööriistad reaalajas vahetuse ajal
- Ühendage häälagent telefoniaga SIP ja LiveKiti kaudu ning teisendage heli Pythonis
Kursuse andmed
- Kellele mõeldud
- Arendajad, insenerid ja integraatorid, kes soovivad kasutada Grok-i oma rakendustes API kaudu.
- Eeltingimused
- Võime lugeda Pythoni või JavaScripti ja JSON-i ning baastasemel käsurea oskused. xAI konsoolist saadud API võti näidiste proovimiseks.
- Kestus
- 1 h — 16 õppetundi
- Õppevormid
- 100% veebipõhine ja iseseisev õpe, saadaval 24/7 mis tahes veebibrauserist. Teie edenemine salvestatakse, nii et saate igal ajal pooleli jäänud kohast jätkata. Hinnanguline aeg: 1 h.
- Hindamine
- Enesehindamine iga õppetunni lõpus olevate põhitulemuste põhjal ja praktiline harjutamine, rakendades näiteid oma kasutusjuhtudele. Viimase õppetunni lõpus olev 5 küsimusest koosnev lõppviktoriin vastustega võimaldab teil kontrollida oma teadmisi.
- Kättesaadavus
- See kursus on loodud olema ligipääsetav puuetega inimestele: tekstisisu ühildub ekraanilugeritega, toetatud on klaviatuuriga navigeerimine ja värvikontrast vastab nõuetele. Mis tahes kohandamistaotluse korral saatke e-kiri aadressil [email protected].
- Hind
- Tasuta
Kursuse sisu
- 01 WebSocketi lõpp-punkt ja reaalajas ühendus
- 02 Autentimine ja ajutised tokenid
- 03 Seansi konfigureerimine session.update abil
- 04 Sündmused session.created ja session.updated
- 05 Helivormingud: PCM ja G.711
- 06 VAD: kõne automaatne tuvastamine
- 07 Saada heli sisends puhvrisse käsuga input_audio_buffer.append
- 08 Salvesta ja tühjenda helipuhver
- 09 Kliendi ja serveri vahelised sündmused
- 10 Serveri ja kliendi vahelised sündmused
- 11 Vasta heli vastuvõtt ja esitamine
- 12 MCP sündmused helikõnedes
- 13 Häälkäskluste funktsioonide kutsumine
- 14 Sisseehitatud tööriistad: veebiotsing, X ja kogumikud
- 15 Telefonivõrk: SIP, LiveKit ja G.711
- 16 Heli teisendamise utiliitide kasutamine Pythonis