Svensk version
Produktion: Batch, optimering och observerbarhet
Gå till produktion: batch-inferens upp till 1 miljon förfrågningar, förutsägda utdata, citat med källor och observerbarhet (spår, domare, offline-utvärderingar).
16 lektioner ca. 1 h 15 min Avancerad
Vad du lär dig
- Förbereda ett batch-inferensjobb i JSONL, spåra dess status och hämta resultaten
- Minska svarslatens med förutsägda utdata vid omskrivningsuppgifter
- Implementera citat med referensobjekt för att förankra svar i deras källor
- Spåra en applikation med OpenTelemetry, utforska produktionsspår och automatisera utvärdering med LLM-domare
- Bygga datamängder från spår och mäta varje version med offline-utvärderingar
Kursöversikt
- Målgrupp
- Utvecklare, ingenjörer och integratörer som vill använda Mistral AI via API i sina applikationer.
- Förkunskaper
- Bevisad erfarenhet av att utveckla applikationer och distribuera dem till produktion.
- Studietid
- 1 h 15 min — 16 lektioner
- Upplägg
- 100 % online, självstudiekurs, tillgänglig 24/7 från en webbläsare. Framsteg sparas och du kan fortsätta när som helst. Beräknad tid: 1 h 15 min.
- Bedömning
- Självutvärdering baserad på de viktigaste punkterna som avslutar varje lektion, och direkt övning av exemplen på dina egna exempel. Ett avslutande quiz med 5 betygsatta frågor i slutet av den sista lektionen validerar det du har lärt dig.
- Tillgänglighet
- Kursen är tillgänglig för personer med funktionsnedsättning: textinnehåll kompatibelt med skärmläsare, tangentbordsnavigering och färgkontrast som följer standarden. För eventuella anpassningsbehov, mejla [email protected].
- Pris
- Gratis
Kursens innehåll
- 01 Batchinferens: Varför, när och kostnadsbesparingar
- 02 Format JSONL, custom_id et téléversement de fichier
- 03 Skapa ett batchjobb, spåra status och ladda ner resultat
- 04 Batchning inline: upp till 10 000 förfrågningar utan fil
- 05 Minska latens med förutsägda utdata
- 06 Cas d'usage concrets pour les sorties prédites
- 07 Implementera förutsägda utdata i Python
- 08 Citat med källor: Referensobjekt och RAG
- 09 Implementera citat i Python
- 10 Förankra svar i källor och minska hallucinationer
- 11 Introduktion till observerbarhet: Spår, domare och utvärderingar
- 12 Utforska: Sök och inspektera produktionsspår
- 13 Domare: Automatiserad LLM-utvärdering
- 14 Évaluations hors ligne : mesurez avant de déployer
- 15 Jeux de données : Construire des ensembles d'évaluation et itérer
- 16 Pipeline end-to-end: spår, domare, datamängder, utvärderingar