Wersja polska
Produkcja: Przetwarzanie wsadowe, optymalizacja i obserwowalność
Przejście do środowiska produkcyjnego: wnioskowanie wsadowe do 1 mln żądań, przewidywane wyniki, cytaty ze źródłami oraz obserwowalność (ślady, sędziowie, ewaluacje offline).
16 lekcji ok. 1 h 15 min Zaawansowany
Czego się nauczysz
- Przygotowanie zadania wnioskowania wsadowego w formacie JSONL, śledzenie jego statusu i pobieranie wyników
- Redukcja opóźnień odpowiedzi dzięki przewidywanym wynikom w zadaniach przepisywania
- Wdrożenie cytatów z obiektem odniesienia w celu osadzenia odpowiedzi w ich źródłach
- Śledzenie aplikacji za pomocą OpenTelemetry, eksploracja śladów produkcyjnych oraz automatyzacja ewaluacji przy użyciu sędziów LLM
- Budowa zbiorów danych na podstawie śladów i pomiar każdej wersji za pomocą ewaluacji offline
Karta kursu
- Dla kogo
- Deweloperzy, inżynierowie i integratorzy, którzy chcą wykorzystywać Mistral AI poprzez API w swoich aplikacjach.
- Wymagania wstępne
- Udowodnione doświadczenie w tworzeniu aplikacji i wdrażaniu ich do środowiska produkcyjnego.
- Czas trwania
- 1 h 15 min — 16 lekcji
- Forma
- Kurs w 100% online, we własnym tempie, dostępny 24/7 z poziomu przeglądarki. Postępy są zapisywane, a naukę można wznowić w dowolnym momencie. Szacowany czas trwania: 1 h 15 min.
- Weryfikacja wiedzy
- Samoocena oparta na kluczowych wnioskach kończących każdą lekcję oraz bezpośrednie ćwiczenie przykładów na własnych danych. Końcowy quiz składający się z 5 ocenianych pytań na zakończenie ostatniej lekcji potwierdza nabytą wiedzę.
- Dostępność
- Kurs dostępny dla osób z niepełnosprawnościami: treść tekstowa kompatybilna z czytnikami ekranu, nawigacja za pomocą klawiatury oraz zgodny kontrast kolorów. W przypadku potrzeby dostosowań prosimy o kontakt pod adresem [email protected].
- Cena
- Bezpłatnie
Program kursu
- 01 Inferencja wsadowa: dlaczego, kiedy i oszczędności kosztów
- 02 Format JSONL, custom_id i przesyłanie plików
- 03 Tworzenie zadania wsadowego, śledzenie statusu i pobieranie wyników
- 04 Batchowanie inline: do 10 tys. żądań bez pliku
- 05 Zmniejsz opóźnienia dzięki przewidywanym wynikom
- 06 Praktyczne przypadki użycia dla Przewidywanych Wyjść
- 07 Implementacja przewidywanych wyników w Pythonie
- 08 Cytaty ze źródłami: obiekt referencyjny i RAG
- 09 Implementacja cytowań w Pythonie
- 10 Ugruntowanie odpowiedzi w źródłach i redukcja halucynacji
- 11 Wprowadzenie do obserwowalności: ślady, sędziowie i ewaluacje
- 12 Eksploracja: Wyszukiwanie i inspekcja śladów produkcyjnych
- 13 Sędziowie: Zautomatyzowana ewaluacja LLM
- 14 Évaluations hors ligne : mesurez avant de déployer
- 15 Zbiory danych: Tworzenie zestawów ewaluacyjnych i iteracja
- 16 Potok end-to-end: ślady, sędziowie, zbiory danych, ewaluacje