Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Lietuviška laida

Gamybinė aplinka: batch, optimizavimas ir stebimumas

Perėjimas į gamybinę aplinką: batch inferencija iki 1 mln. užklausų, numatytosios išvestys, citatos su šaltiniais ir stebimumas (pėdsakai, vertintojai, offline vertinimai).

16 paskaitų maždaug 1 val. 15 min Pažengusiems

Ko išmoksite

  • Paruošti batch inferencijos darbą JSONL formatu, sekti jo būseną ir atgauti rezultatus
  • Sumažinti atsakymų vėlavimą taikant numatytąsias išvestis (predicted outputs) perrašymo užduotims
  • Įgyvendinti citatas su nuorodomis į objektus, siejant atsakymus su šaltiniais
  • Stebėti programą su OpenTelemetry, naršyti pėdsakus (traces) gamybinėje aplinkoje ir automatizuoti vertinimą su LLM vertintojais
  • Sukurti duomenų rinkinius iš pėdsakų ir vertinti kiekvieną versiją offline vertinimais

Kurso kortelė

Kam skirta
Kūrėjai, inžinieriai ir integratoriai, norintys naudoti Mistral AI per API savo programose.
Būtinos žinios
Patirtis kuriant programas bei diegiant jas gamybinėje aplinkoje.
Trukmė
1 val. 15 min — 16 paskaitų
Formatas
100 % nuotolinis savarankiško mokymosi kursas, prieinamas 24/7 per naršyklę. Eiga išsaugoma, galima tęsti bet kada. Numatoma trukmė: 1 val. 15 min.
Vertinimas
Savęs vertinimas pagal kiekvieną pamoką užbaigiančias pagrindines įžvalgas ir tiesioginis pavyzdžių diegimas savo naudojimo atvejais. Paskutinės pamokos pabaigoje pateikiamas baigiamasis 5 klausimų testas su atsakymais, leidžiantis patvirtinti įgytus įgūdžius.
Prieinamumas
Kursas, prieinamas žmonėms su negalia: teksto turinys suderinamas su ekrano skaitytuvais, navigacija klaviatūra ir kontrastai atitinka reikalavimus. Dėl bet kokių pritaikymo poreikių kreipkitės el. paštu [email protected].
Kaina
Nemokama

Kurso turinys

  1. 01 Išvesties apdorojimas grupėmis: kodėl, kada ir sąnaudų mažinimas
  2. 02 Formatas JSONL, custom_id ir failo įkėlimas
  3. 03 Sukurti paketinį užduotį, stebėti būseną ir atsisiųsti rezultatus
  4. 04 Inline Batching: iki 10 000 užklausų be failo
  5. 05 Sumažinkite delsą naudodami numatytąją išvestį
  6. 06 Naudojimo atvejai prognozuojamai išvestiai realiame pasaulyje
  7. 07 Implementuoti numatytąją išvestį Python kalba
  8. 08 Citatos su šaltiniais: nuorodų objektas ir RAG
  9. 09 Įgyvendinti citatas Python kalba
  10. 10 Įtvirtinti atsakymus šaltiniuose ir sumažinti haliucinacijas
  11. 11 Įvadas į stebimumą: sekos, vertintojai ir vertinimai
  12. 12 Naršyklė: paieška ir gamybinių pėdsakų tikrinimas
  13. 13 Teisėjai: automatizuotas LLM vertinimas
  14. 14 Évaluations hors ligne : mesurez avant de déployer
  15. 15 Duomenų rinkiniai: kurkite vertinimo rinkinius ir kartokite
  16. 16 Visas observabilumo grandinė: pėdsakai, vertintojai, duomenų rinkiniai, vertinimai