Българско издание
Продукция, оценки и оптимизация
Обхваща латентност, кеширане на подкани, Batch API, оценки, компресиране и пълна архитектура за продукция.
20 урока ок. 2 ч Напреднало
Какво ще научите
- Измерване на латентността от край до край на обаждане и идентифициране на приоритетни лостове за оптимизация
- Намаляване на разходите в мащаб чрез кеширане на подкани, предвидени изходи и Batch API
- Проектиране на асинхронна архитектура, базирана на опашки, паралелизъм и фонов режим
- Овладяване на дълги разговори чрез компресиране, броене на токени и бюджетиране
- Автоматизиране на оценките с рамката Evals и интегрирането им в CI/CD тръбопровод
Информация за курса
- За кого е
- Разработчици, инженери и интегратори, които искат да използват ChatGPT чрез API в своите приложения.
- Предварителни изисквания
- Потвърден опит в разработването на приложения и тяхното внедряване в продукция.
- Продължителност
- 2 ч — 20 урока
- Формати
- 100% онлайн курс със собствен темп, достъпен 24/7 от браузър. Прогресът се запазва, което Ви позволява да продължите по всяко време. Приблизителна продължителност: 2 ч.
- Оценяване
- Самооценка въз основа на основните изводи, завършващи всеки урок, и директно прилагане на примери върху Ваши собствени случаи. Финален тест от 5 въпроса с отговори в края на последния урок утвърждава обучението.
- Достъпност
- Курс със собствен темп, достъпен за хора с увреждания: текстово съдържание, съвместимо с екранни четци, навигация с клавиатура и съответстващи контрасти. За всякакви нужди от адаптация, пишете на [email protected].
- Цена
- Безплатно
Уроци
- 01 Измерване и анализ на латентност
- 02 Оптимизация от край до край: от промпт до мрежа
- 03 Кеширане на подкани: Повторно използване на изчисления
- 04 Предварително генерирани изходи: По-бързи отговори
- 05 Оптимизирано стрийминг предаване
- 06 Batch API: Масова асинхронна обработка
- 07 Асинхронна архитектура и опашки
- 08 Паралелизъм и конкурентност
- 09 Режим на работа във фонов режим
- 10 Оптимизиране на разходите в мащаб
- 11 Компактизиране: Компресиране на дълги разговори
- 12 Броене и бюджетиране на токени
- 13 Разширено кеширане на подкани
- 14 Стратегии за контекст при агенти
- 15 Оценяване на вашите подкани: методи, оценители и миграция към Promptfoo
- 16 Създаване на персонализирани оценки
- 17 Метрики и бенчмаркове
- 18 CI/CD за ИИ: Автоматизирани оценки
- 19 Модериране на съдържание в мащаб
- 20 Архитектура за продукция: мониторинг, предупреждения, мащабиране