Lietuviška laida
Gamybinė aplinka: batch, optimizavimas ir stebimumas
Perėjimas į gamybinę aplinką: batch inferencija iki 1 mln. užklausų, numatytosios išvestys, citatos su šaltiniais ir stebimumas (pėdsakai, vertintojai, offline vertinimai).
16 paskaitų maždaug 1 val. 15 min Pažengusiems
Ko išmoksite
- Paruošti batch inferencijos darbą JSONL formatu, sekti jo būseną ir atgauti rezultatus
- Sumažinti atsakymų vėlavimą taikant numatytąsias išvestis (predicted outputs) perrašymo užduotims
- Įgyvendinti citatas su nuorodomis į objektus, siejant atsakymus su šaltiniais
- Stebėti programą su OpenTelemetry, naršyti pėdsakus (traces) gamybinėje aplinkoje ir automatizuoti vertinimą su LLM vertintojais
- Sukurti duomenų rinkinius iš pėdsakų ir vertinti kiekvieną versiją offline vertinimais
Kurso kortelė
- Kam skirta
- Kūrėjai, inžinieriai ir integratoriai, norintys naudoti Mistral AI per API savo programose.
- Būtinos žinios
- Patirtis kuriant programas bei diegiant jas gamybinėje aplinkoje.
- Trukmė
- 1 val. 15 min — 16 paskaitų
- Formatas
- 100 % nuotolinis savarankiško mokymosi kursas, prieinamas 24/7 per naršyklę. Eiga išsaugoma, galima tęsti bet kada. Numatoma trukmė: 1 val. 15 min.
- Vertinimas
- Savęs vertinimas pagal kiekvieną pamoką užbaigiančias pagrindines įžvalgas ir tiesioginis pavyzdžių diegimas savo naudojimo atvejais. Paskutinės pamokos pabaigoje pateikiamas baigiamasis 5 klausimų testas su atsakymais, leidžiantis patvirtinti įgytus įgūdžius.
- Prieinamumas
- Kursas, prieinamas žmonėms su negalia: teksto turinys suderinamas su ekrano skaitytuvais, navigacija klaviatūra ir kontrastai atitinka reikalavimus. Dėl bet kokių pritaikymo poreikių kreipkitės el. paštu [email protected].
- Kaina
- Nemokama
Kurso turinys
- 01 Išvesties apdorojimas grupėmis: kodėl, kada ir sąnaudų mažinimas
- 02 Formatas JSONL, custom_id ir failo įkėlimas
- 03 Sukurti paketinį užduotį, stebėti būseną ir atsisiųsti rezultatus
- 04 Inline Batching: iki 10 000 užklausų be failo
- 05 Sumažinkite delsą naudodami numatytąją išvestį
- 06 Naudojimo atvejai prognozuojamai išvestiai realiame pasaulyje
- 07 Implementuoti numatytąją išvestį Python kalba
- 08 Citatos su šaltiniais: nuorodų objektas ir RAG
- 09 Įgyvendinti citatas Python kalba
- 10 Įtvirtinti atsakymus šaltiniuose ir sumažinti haliucinacijas
- 11 Įvadas į stebimumą: sekos, vertintojai ir vertinimai
- 12 Naršyklė: paieška ir gamybinių pėdsakų tikrinimas
- 13 Teisėjai: automatizuotas LLM vertinimas
- 14 Évaluations hors ligne : mesurez avant de déployer
- 15 Duomenų rinkiniai: kurkite vertinimo rinkinius ir kartokite
- 16 Visas observabilumo grandinė: pėdsakai, vertintojai, duomenų rinkiniai, vertinimai