Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Deutsche Ausgabe

Produktion: Batch-Verarbeitung, Optimierung und Observability

Einführung in die Produktionsumgebung: Batch-Inferenz für bis zu 1 Million Anfragen, vorhergesagte Ausgaben, Zitate mit Quellenangaben sowie Observability (Traces, Judges und Offline-Evaluierungen).

16 Lektionen ca. 1 h 15 min Fortgeschritten

Das lernen Sie

  • Einen Batch-Inferenz-Job im JSONL-Format vorbereiten, dessen Status verfolgen und die Ergebnisse abrufen
  • Die Antwortlatenz bei Umschreibaufgaben durch vorhergesagte Ausgaben reduzieren
  • Zitate mithilfe von Referenzobjekten implementieren, um Antworten in ihren Quellen zu verankern
  • Eine Anwendung mit OpenTelemetry nachverfolgen, Produktions-Traces analysieren und die Evaluierung mit LLM-Judges automatisieren
  • Datensätze aus Traces erstellen und jede Version mittels Offline-Evaluierungen messen

Kursübersicht

Zielgruppe
Entwickler, Ingenieure und Integratoren, die Mistral AI über die API in ihren Anwendungen nutzen möchten.
Voraussetzungen
Nachgewiesene Erfahrung in der Entwicklung von Anwendungen und deren Bereitstellung in der Produktionsumgebung.
Dauer
1 h 15 min — 16 Lektionen
Modalitäten
100 % Online-Selbstlernkurs, rund um die Uhr über den Browser zugänglich. Der Fortschritt wird gespeichert und kann jederzeit fortgesetzt werden. Geschätzte Dauer: 1 h 15 min.
Bewertung
Selbsteinschätzung auf Basis der wichtigsten Erkenntnisse am Ende jeder Lektion sowie direkte Anwendung der Beispiele an eigenen Use Cases. Ein abschließendes Quiz mit 5 bewerteten Fragen am Ende der letzten Lektion validiert das Gelernte.
Barrierefreiheit
Der Kurs ist für Menschen mit Behinderungen zugänglich: Textinhalte sind mit Screenreadern kompatibel, die Navigation erfolgt über die Tastatur und die Farbkontraste entsprechen den Richtlinien. Bei Anpassungsbedarf wenden Sie sich bitte per E-Mail an [email protected].
Preis
Kostenlos

Kursinhalt

  1. 01 Batch-Inferenz: Warum, Wann und Kosteneinsparungen
  2. 02 JSONL-Format, custom_id und Datei-Upload
  3. 03 Einen Batch-Job erstellen, den Status verfolgen und Ergebnisse herunterladen
  4. 04 Inline Batching: Bis zu 10.000 Anfragen ohne Datei
  5. 05 Latenz reduzieren mit vorhergesagten Ausgaben
  6. 06 Praxisnahe Anwendungsfälle für vorhergesagte Ausgaben
  7. 07 Vorhersage von Ausgaben in Python implementieren
  8. 08 Zitate mit Quellen: Referenzobjekt und RAG
  9. 09 Implementierung von Zitaten in Python
  10. 10 Quellen verankern und Halluzinationen reduzieren
  11. 11 Einführung in Observability: Traces, Judges und Evaluations
  12. 12 Entdecken: Suche und Inspektion von Produktions-Traces
  13. 13 Richter: Automatisierte LLM-Bewertung
  14. 14 Offline-Evaluierungen: Messen, bevor Sie bereitstellen
  15. 15 Datensätze: Bewertungsmengen erstellen und iterieren
  16. 16 End-to-end-Pipeline: Traces, Judges, Datensätze, Evaluierungen