Offline-Evaluierungen: Messen, bevor Sie bereitstellen
Auf dieser Seite
Lektion am 2. November 2026 neu geschrieben basierend auf Mistrals Offline-Evaluierungen-Dokumentation: Die „Campaigns” der vorherigen Version und deren
campaigns.*-Methoden existieren nicht mehr. Große Evaluierungen nutzen nun dasmistralai-evaluations-SDK, das eine Aufgabe auf einem Datensatz ausführt, diese mit Evaluatoren bewertet und die Ergebnisse in Studio veröffentlicht. Quellen: Offline-Evaluierungen · Evaluatoren · Ziele. Update am 3. November:mistralai-evaluations0.9.1 erfordertmistralai< 3 und ersetzt das 3.x-SDK durch eine 2.x-Version, wenn es gemeinsam installiert wird; die Lektion empfiehlt die Verwendung einer dedizierten Umgebung (Abhängigkeiten auf PyPI).
Vom Einzelfall zur Skalierung
Ein Richter, der an zwanzig Gesprächen validiert wurde, sagt Ihnen nichts über Ihre Anwendung als Ganzes. Um zu entscheiden, ob ein neuer Prompt, ein Modell oder eine Einstellung besser ist als die aktuelle, müssen Sie diese gegen einen repräsentativen, konsistenten Satz von Fällen messen und die Ergebnisse vergleichen. Dies ist die Rolle der Offline-Evaluierungen.
Diese sind für Enterprise-Organisationen reserviert und erfordern Python 3.12 oder höher:
pip install mistralai-evaluations
Installieren Sie es in einer separaten Umgebung. Version 0.9.1, die neueste vom 3. November 2026, erfordert mistralai 2.x (mistralai>=2.7.1,<3). In einer Umgebung, die bereits das 3.x-SDK enthält, entfernt pip dieses und installiert eine 2.x-Version, ohne weitere Warnung als die Ausgabezeilen: verifiziert mit mistralai 3.7.0, ersetzt durch 2.10.1. Eine dedizierte virtuelle Umgebung für Evaluierungen verhindert Regressionen in Ihrer Anwendung.
Das mentale Modell
Das SDK folgt einem einfachen Ablauf:
Datensatz → Aufgabe → Evaluatoren → Ergebnisse
- Datensatz: eine Liste von Datensätzen (Dictionaries) oder ein Studio-Datensatz
- Aufgabe: eine Funktion, vorzugsweise asynchron, die einen
TaskContextempfängt und eine Ausgabe erzeugt – dies ist der Code, der evaluiert wird - Evaluatoren: Funktionen, die einen
ScorerContextempfangen und jede Ausgabe bewerten - Ergebnisse: Statistiken und Bewertungen pro Datensatz, die im Terminal angezeigt und in Studio veröffentlicht werden
Die erste Evaluierung
import asyncio
import os
from mistralai.evaluations import (
Evaluation, Evaluator, Goal, Mistral, Project, ScorerContext, System, TaskContext,
)
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
dataset = [
{"ticket": "Ich kann seit diesem Morgen nicht mehr einloggen.", "categorie": "acces"},
{"ticket": "Meine Oktober-Rechnung belastet das Abo doppelt.", "categorie": "facturation"},
{"ticket": "Der PDF-Export stürzt ab, sobald der Bericht mehr als 50 Seiten hat.", "categorie": "bug"},
]
async def tache(ctx: TaskContext) -> str:
response = await client.chat.complete_async(
model=str(ctx.system.params["model"]),
messages=[
{"role": "system", "content": str(ctx.system.params["system_prompt"])},
{"role": "user", "content": ctx.input_record["ticket"]},
],
)
return str(response.choices[0].message.content)
def exactitude(ctx: ScorerContext) -> int:
return 1 if ctx.input_record["categorie"] == str(ctx.output).strip().lower() else 0
async def main():
run = await client.evaluation.run(
project=Project(name="Tri des tickets"),
evaluation=Evaluation(name="Exactitude du classement"),
system=System(name="small-prompt-v1", params={
"model": "mistral-small-latest",
"system_prompt": "Classe le ticket : acces, facturation ou bug. Réponds par le seul mot.",
}),
dataset=dataset,
task=tache,
evaluators=[
Evaluator(
name="exactitude",
description="1 si la catégorie prédite est la bonne, 0 sinon.",
scorer=exactitude,
goal=Goal.gte(0.8),
),
],
)
run.show(level="records")
asyncio.run(main())
Die Ergebnisse erscheinen im Terminal und werden in Studio unter Observability > Evaluate > Evaluations veröffentlicht. Das SDK berechnet für jeden Evaluator den Mittelwert, das Minimum, das Maximum und die Standardabweichung.
Verwenden Sie für langlaufende Prozesse eine asynchrone Aufgabe: Eine synchrone Aufgabe läuft auf dem Event-Loop, der auch Heartbeat-Signale für die Laufzeit an Studio sendet, und ein Aufruf, der mehrere Minuten blockiert, kann dazu führen, dass die Laufzeit als abgebrochen markiert wird.
Zwei Arten von Evaluatoren
Ein Evaluierer verknüpft einen Namen, eine optionale Beschreibung, eine Bewertungsfunktion und, falls erforderlich, ein Ziel. Die Funktion kann sein:
- Regelbasiert: eine direkte Berechnung auf der Ausgabe – exakt, schnell und kostenlos;
- Ein LLM-Richter: eine Funktion, die ein Modell aufruft, um Dinge zu bewerten, die sich schwer programmieren lassen – Nutzen, faktische Richtigkeit, Tonfall.
JUDGE_PROMPT = """Tu es un correcteur exigeant. Note de 0 à 5 l'utilité de la réponse
pour la request ci-dessous. Réponds par le seul chiffre.
Demande : {request}
Réponse : {response}
"""
def judge_utility(ctx: ScorerContext) -> int:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": JUDGE_PROMPT.format(
request=ctx.input_record["ticket"], response=ctx.output)}],
temperature=0,
)
raw = str(response.choices[0].message.content).strip()
return int(raw[0]) if raw[:1].isdigit() else 0
Sie können beide Typen frei in einer einzigen Laufzeit mischen: Geben Sie sie gemeinsam in der evaluators-Liste an. Ein Evaluierer kann auch einen String oder einen Boolean zurückgeben; das SDK erzeugt dann eine Häufigkeitsverteilung statt Mittelwerte.
Versionen vergleichen
Das System-Objekt erfasst die Aufgabenkonfiguration: Modell, Temperatur, System-Prompt oder jede andere Einstellung, in einem freiform-Dict. Jede Laufzeit protokolliert ihr System, und Studio ermöglicht es Ihnen, Laufzeiten nebeneinander zu vergleichen. Um zwischen zwei Prompts oder zwei Modellen zu entscheiden, führen Sie dieselbe Evaluierung mit zwei verschiedenen System-Objekten erneut durch, ohne den Aufgaben-Code zu berühren.
Ziele festlegen
Ein Ziel verwandelt eine Bewertung in ein PASS- oder FAIL-Urteil: Goal.gte(0.8) erfordert einen Mittelwert von mindestens 0,8, Goal.lte(...) setzt ein Dach, und Goal.between(...) definiert einen Bereich. Jedes Ziel zielt standardmäßig auf den Mittelwert ab, oder auf eine andere Statistik mit metric ("min", "max", "std"): Goal.gte(0.8, metric="min") erfordert, dass jeder Datensatz 0,8 erreicht. Dies ist das, was eine Evaluierung zu einer Sicherung macht: Eine neue Version, die eine Bewertung unter ihr Ziel fallen lässt, geht nicht in die Produktion.
Kernaussagen
- Offline-Evaluierungen (
mistralai-evaluations, Python 3.12+, Enterprise-Organisationen) ersetzen die alten Campaigns - Datensatz, Aufgabe, Evaluatoren, Ergebnisse:
client.evaluation.run(...)verknüpft alles und veröffentlicht in Studio - Evaluatoren sind Funktionen: exakte Regeln oder LLM-Richter, frei kombinierbar
Systemprotokolliert die evaluierte Konfiguration und ermöglicht Versionsvergleiche- Ziele (
Goal.gte,Goal.lte,Goal.between) liefernPASS- oderFAIL-Urteile