Dansk udgave
Produktion: Batch, optimering og observerbarhed
Gå til produktion: batch-inferens op til 1 mio. anmodninger, forudsagte output, citater med kilder og observerbarhed (spor, dommere, offline-evalueringer).
16 lektioner ca. 1 t 15 min Avanceret
Hvad du lærer
- Forbered et batch-inferensjob i JSONL, spor dets status, og hent resultaterne
- Reducer responslatens med forudsagte output på omskrivningsopgaver
- Implementer citater med referenceobjekt for at forankre svar i deres kilder
- Spor en applikation med OpenTelemetry, udforsk produktionsspor, og automatiser evaluering med LLM-dommere
- Byg datasæt fra spor og mål hver version med offline-evalueringer
Kursusark
- Målgruppe
- Udviklere, ingeniører og integratorer, der ønsker at bruge Mistral AI via API i deres applikationer.
- Forudsætninger
- Dokumenteret erfaring med at udvikle applikationer og implementere dem i produktion.
- Varighed
- 1 t 15 min — 16 lektioner
- Formater
- 100 % online, selvstyret kursus, tilgængeligt 24/7 fra en browser. Fremdriften gemmes, og du kan genoptage når som helst. Estimeret varighed: 1 t 15 min.
- Vurdering
- Selvbedømmelse baseret på de vigtigste pointer, der afslutter hver lektion, og direkte praksis med eksemplerne på dine egne eksempler. En afsluttende quiz med 5 bedømte spørgsmål i slutningen af den sidste lektion validerer det, du har lært.
- Tilgængelighed
- Kurset er tilgængeligt for personer med handicap: tekstindhold kompatibelt med skærmlæsere, tastaturnavigation og overholdelse af farvekontrast. For eventuelle tilpasningsbehov, send en e-mail til [email protected].
- Pris
- Gratis
Kursets indhold
- 01 Batch-inferens: Hvorfor, hvornår og besparelser
- 02 JSONL-format, custom_id og filupload
- 03 Opret et batch-job, spor status, og download resultater
- 04 Inline Batching: Op til 10.000 forespørgsler uden en fil
- 05 Reducér ventetid med forudsagte outputs
- 06 Reelle brugstilfælde for forudsagte output
- 07 Implementér forudsagte output i Python
- 08 Citationer med kilder: Referenceobjekt og RAG
- 09 Implementér citationer i Python
- 10 Forankr svar i kilder og reducer hallucinationer
- 11 Introduktion til observability: Spor, dommere og evalueringer
- 12 Udforsk: Søg og inspicer produktionsspor
- 13 Dommer: Automatiseret LLM-evaluering
- 14 Évaluations hors ligne : mesurez avant de déployer
- 15 Datasæt: Opret evalueringssæt og iterér
- 16 End-to-end-pipeline: spor, dommere, datasæt, evalueringer