Българско издание
Realtime API и гласови агенти
Този курс обхваща Realtime API, Whisper, TTS и изграждането на пълноценни гласови агенти за телефония и асистенти.
18 урока ок. 1 ч 15 мин Програмист
Какво ще научите
- Установяване на WebSocket сесия с Realtime API и управление на събитията от жизнения цикъл
- Потоково предаване на двупосочно аудио с обработка на прекъсвания и управление на смяната на говорещия
- Транскрибиране и превод на аудио файлове с Whisper, като се оптимизира качеството въз основа на езика
- Генериране на реч с TTS API чрез контрол на гласа, просодията и скоростта
- Изграждане на гласов агент, интегриран с телефония, и овладяване на неговата латентност в производствена среда
Информация за курса
- За кого е
- Разработчици, инженери и интегратори, които искат да използват ChatGPT чрез API в своите приложения.
- Предварителни изисквания
- Умение за четене на Python и JSON, основи на командния ред. API ключ от платформата на OpenAI за тестване на примерите.
- Продължителност
- 1 ч 15 мин — 18 урока
- Формати
- 100% онлайн курс в собствен темп, достъпен 24/7 от браузър. Прогресът се запазва, възобновяване по всяко време. Приблизителна продължителност: 45 мин.
- Оценяване
- Интегрирани в курса тестове за валидиране. Всяка лекция завършва със своите основни изводи, подпомагащи самооценката.
- Достъпност
- Курс в собствен темп, достъпен за хора с увреждания: текстово съдържание, съвместимо с екранни четци, навигация с клавиатура и съответстващи контрасти. За всякакви нужди от адаптация, пишете на [email protected].
- Цена
- Безплатно
Уроци
- 01 Архитектура на WebSocket за Realtime API
- 02 Сесии, събития и жизнен цикъл
- 03 Поток на аудио данни в двете посоки
- 04 Извикване на функции в реално време
- 05 Прекъсвания и управление на репликите
- 06 Транскрибиране на аудиофайл: gpt-transcribe и Whisper
- 07 Поддържани формати и езици
- 08 Автоматичен превод
- 09 Оптимизиране на качеството на транскрипцията
- 10 API TTS: Генериране на реч
- 11 Налични гласове и персонализиране
- 12 Потоково предаване на аудио в реално време
- 13 Контрол на просодията и темпото на речта
- 14 Изграждане на пълен гласов агент
- 15 Интеграция с телефония (Twilio и др.)
- 16 Асистент с гласов и мултимодален интерфейс
- 17 Латентност и оптимизация в реално време
- 18 Продукция: Мащабиране и наблюдение