Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Dansk udgave

Produktion: Batch, optimering og observerbarhed

Gå til produktion: batch-inferens op til 1 mio. anmodninger, forudsagte output, citater med kilder og observerbarhed (spor, dommere, offline-evalueringer).

16 lektioner ca. 1 t 15 min Avanceret

Hvad du lærer

  • Forbered et batch-inferensjob i JSONL, spor dets status, og hent resultaterne
  • Reducer responslatens med forudsagte output på omskrivningsopgaver
  • Implementer citater med referenceobjekt for at forankre svar i deres kilder
  • Spor en applikation med OpenTelemetry, udforsk produktionsspor, og automatiser evaluering med LLM-dommere
  • Byg datasæt fra spor og mål hver version med offline-evalueringer

Kursusark

Målgruppe
Udviklere, ingeniører og integratorer, der ønsker at bruge Mistral AI via API i deres applikationer.
Forudsætninger
Dokumenteret erfaring med at udvikle applikationer og implementere dem i produktion.
Varighed
1 t 15 min — 16 lektioner
Formater
100 % online, selvstyret kursus, tilgængeligt 24/7 fra en browser. Fremdriften gemmes, og du kan genoptage når som helst. Estimeret varighed: 1 t 15 min.
Vurdering
Selvbedømmelse baseret på de vigtigste pointer, der afslutter hver lektion, og direkte praksis med eksemplerne på dine egne eksempler. En afsluttende quiz med 5 bedømte spørgsmål i slutningen af den sidste lektion validerer det, du har lært.
Tilgængelighed
Kurset er tilgængeligt for personer med handicap: tekstindhold kompatibelt med skærmlæsere, tastaturnavigation og overholdelse af farvekontrast. For eventuelle tilpasningsbehov, send en e-mail til [email protected].
Pris
Gratis

Kursets indhold

  1. 01 Batch-inferens: Hvorfor, hvornår og besparelser
  2. 02 JSONL-format, custom_id og filupload
  3. 03 Opret et batch-job, spor status, og download resultater
  4. 04 Inline Batching: Op til 10.000 forespørgsler uden en fil
  5. 05 Reducér ventetid med forudsagte outputs
  6. 06 Reelle brugstilfælde for forudsagte output
  7. 07 Implementér forudsagte output i Python
  8. 08 Citationer med kilder: Referenceobjekt og RAG
  9. 09 Implementér citationer i Python
  10. 10 Forankr svar i kilder og reducer hallucinationer
  11. 11 Introduktion til observability: Spor, dommere og evalueringer
  12. 12 Udforsk: Søg og inspicer produktionsspor
  13. 13 Dommer: Automatiseret LLM-evaluering
  14. 14 Évaluations hors ligne : mesurez avant de déployer
  15. 15 Datasæt: Opret evalueringssæt og iterér
  16. 16 End-to-end-pipeline: spor, dommere, datasæt, evalueringer