Deutsche Ausgabe
Produktion: Batch-Verarbeitung, Optimierung und Observability
Einführung in die Produktionsumgebung: Batch-Inferenz für bis zu 1 Million Anfragen, vorhergesagte Ausgaben, Zitate mit Quellenangaben sowie Observability (Traces, Judges und Offline-Evaluierungen).
16 Lektionen ca. 1 h 15 min Fortgeschritten
Das lernen Sie
- Einen Batch-Inferenz-Job im JSONL-Format vorbereiten, dessen Status verfolgen und die Ergebnisse abrufen
- Die Antwortlatenz bei Umschreibaufgaben durch vorhergesagte Ausgaben reduzieren
- Zitate mithilfe von Referenzobjekten implementieren, um Antworten in ihren Quellen zu verankern
- Eine Anwendung mit OpenTelemetry nachverfolgen, Produktions-Traces analysieren und die Evaluierung mit LLM-Judges automatisieren
- Datensätze aus Traces erstellen und jede Version mittels Offline-Evaluierungen messen
Kursübersicht
- Zielgruppe
- Entwickler, Ingenieure und Integratoren, die Mistral AI über die API in ihren Anwendungen nutzen möchten.
- Voraussetzungen
- Nachgewiesene Erfahrung in der Entwicklung von Anwendungen und deren Bereitstellung in der Produktionsumgebung.
- Dauer
- 1 h 15 min — 16 Lektionen
- Modalitäten
- 100 % Online-Selbstlernkurs, rund um die Uhr über den Browser zugänglich. Der Fortschritt wird gespeichert und kann jederzeit fortgesetzt werden. Geschätzte Dauer: 1 h 15 min.
- Bewertung
- Selbsteinschätzung auf Basis der wichtigsten Erkenntnisse am Ende jeder Lektion sowie direkte Anwendung der Beispiele an eigenen Use Cases. Ein abschließendes Quiz mit 5 bewerteten Fragen am Ende der letzten Lektion validiert das Gelernte.
- Barrierefreiheit
- Der Kurs ist für Menschen mit Behinderungen zugänglich: Textinhalte sind mit Screenreadern kompatibel, die Navigation erfolgt über die Tastatur und die Farbkontraste entsprechen den Richtlinien. Bei Anpassungsbedarf wenden Sie sich bitte per E-Mail an [email protected].
- Preis
- Kostenlos
Kursinhalt
- 01 Batch-Inferenz: Warum, Wann und Kosteneinsparungen
- 02 JSONL-Format, custom_id und Datei-Upload
- 03 Einen Batch-Job erstellen, den Status verfolgen und Ergebnisse herunterladen
- 04 Inline Batching: Bis zu 10.000 Anfragen ohne Datei
- 05 Latenz reduzieren mit vorhergesagten Ausgaben
- 06 Praxisnahe Anwendungsfälle für vorhergesagte Ausgaben
- 07 Vorhersage von Ausgaben in Python implementieren
- 08 Zitate mit Quellen: Referenzobjekt und RAG
- 09 Implementierung von Zitaten in Python
- 10 Quellen verankern und Halluzinationen reduzieren
- 11 Einführung in Observability: Traces, Judges und Evaluations
- 12 Entdecken: Suche und Inspektion von Produktions-Traces
- 13 Richter: Automatisierte LLM-Bewertung
- 14 Offline-Evaluierungen: Messen, bevor Sie bereitstellen
- 15 Datensätze: Bewertungsmengen erstellen und iterieren
- 16 End-to-end-Pipeline: Traces, Judges, Datensätze, Evaluierungen