Nederlandstalige editie
Productie: Batch, Optimalisatie en Observeerbaarheid
Stap over naar productie: batch-inferentie tot 1 miljoen verzoeken, voorspelde uitvoer, citaten met bronnen en observeerbaarheid (traces, judges, offline-evaluaties).
16 lessen ca. 1 h 15 min Gevorderd
Wat u leert
- Een batch-inferentietaak in JSONL voorbereiden, de status ervan volgen en de resultaten ophalen
- De responslatentie verminderen met voorspelde uitvoer bij herschrijftaken
- Citaten implementeren met een referentieobject om antwoorden te verankeren in hun bronnen
- Een toepassing traceren met OpenTelemetry, productietraces verkennen en evaluatie automatiseren met LLM-judges
- Datasets bouwen op basis van traces en elke versie meten met offline-evaluaties
Cursusoverzicht
- Voor wie
- Ontwikkelaars, engineers en integrators die Mistral AI via API in hun toepassingen willen gebruiken.
- Vereisten
- Bewezen ervaring met het ontwikkelen van toepassingen en het implementeren ervan in productie.
- Duur
- 1 h 15 min — 16 lessen
- Modaliteiten
- 100% online, zelfgestuurd cursusaanbod, 24/7 toegankelijk via een browser. De voortgang wordt opgeslagen en u kunt op elk moment verdergaan. Geschatte duur: 1 h 15 min.
- Toetsing
- Zelfevaluatie op basis van de kernpunten die elke les afsluiten, en directe praktijktoepassing van de voorbeelden op uw eigen casussen. Een eindquiz van 5 beoordeelde vragen aan het einde van de laatste les valideert wat u heeft geleerd.
- Toegankelijkheid
- Cursus toegankelijk voor personen met een handicap: tekstinhoud compatibel met schermlezers, toetsenbordnavigatie en conforme kleurcontrasten. Voor aanpassingsbehoeften kunt u e-mailen naar [email protected].
- Prijs
- Gratis
Inhoud van de cursus
- 01 Batch-inferentie: waarom, wanneer en kostenbesparing
- 02 Indeling JSONL, custom_id en uploaden van bestanden
- 03 Een batchtaak maken, de status volgen en resultaten downloaden
- 04 Inline Batching: tot 10.000 verzoeken zonder bestand
- 05 Verlaag de latentie met voorspelde uitvoer
- 06 Cas d'usage concrets pour les sorties prédites
- 07 Implementatie van Voorspelde Uitvoer in Python
- 08 Citaties met bronnen: Referentieobject en RAG
- 09 Implementeer citaties in Python
- 10 Responsen verankeren in bronnen en hallucinaties beperken
- 11 Inleiding tot observability: traces, judges en evaluaties
- 12 Verkennen: Productietraces doorzoeken en inspecteren
- 13 Judges: Geautomatiseerde LLM-evaluatie
- 14 Évaluations hors ligne : mesurez avant de déployer
- 15 Datasets : construire des ensembles d'évaluation et itérer
- 16 End-to-end pipeline: traces, judges, datasets, evaluations