Richter: Automatisierte LLM-Bewertung
Auf dieser Seite
Lektion aktualisiert am 2. November 2026 basierend auf dem
mistralaiSDK 3.7.0 und der Mistral-Evaluators-Seite:judges.createerfordert nundescriptionundtools(ältere Beispiele würden fehlschlagen), Regressionsergebnisse benötigenmin_descriptionundmax_description, und Sie können einen Richter direkt auf einem Gespräch mitjudge_conversationtesten. Template-Variablen und „Campaigns” aus früheren Versionen tauchen in der Dokumentation nicht mehr auf. Quellen: Evaluators · client-python.
Automatisierung der Qualitätsbewertung
Das manuelle Durchsehen von Tausenden von Gesprächen ist im Produktionsmaßstab unmöglich. Richter lösen dieses Problem: Sie sind LLM-basierte Bewerter, die Sie einmal konfigurieren – indem Sie Anweisungen, das Modell und das Ausgabeformat definieren – und dann auf Gespräche oder Datensatzaufzeichnungen anwenden. Jede Bewertung erzeugt eine Analyse und ein Urteil: ein Label oder eine Punktzahl.
Zwei Arten von Richtern
Klassifikation
Ein Klassifikationsrichter weist diskrete Labels jeder Antwort zu. Beispiele hierfür sind:
- Binär:
helpful/not_helpful - Mehrklassig:
excellent/acceptable/poor - Kategorisierung:
code_question/general_knowledge/troubleshooting - Sicherheit:
safe/needs_review/unsafe
Regression
Ein Regressionsrichter weist eine numerische Punktzahl innerhalb eines Bereichs zu, dessen Grenzen Sie definieren:
- Hilfreichkeitsbewertung von 1 bis 5
- Relevanzscore von 0 bis 100
- Vertrauensniveau von 0,0 bis 1,0
Formulierung wirksamer Anweisungen
Die Anweisungen des Richters bestimmen die gesamte Qualität der Bewertung, und Unschärfe ist die primäre Ursache für Misserfolge. „Bewerten Sie die Qualität der Antwort” bedeutet für ein Modell nichts – jede Ausführung wird „Qualität” unterschiedlich interpretieren. Eine funktionierende Version benennt beobachtbare Kriterien: „Bewerten Sie, ob die Antwort die gestellte Frage direkt beantwortet, unter Verwendung faktisch korrekter Informationen.” Dasselbe Prinzip gilt für den Kontext: Ihr Richter weiß nicht, dass er einen Support-Chatbot bewertet, bei dem „gut” bedeutet „das Problem des Kunden löst, ohne ihn an die Dokumentation zu verweisen”. Wenn Sie dies nicht explizit angeben, wendet er eine generische Definition von Qualität an, die nicht Ihre ist.
Randfälle verdienen besondere Aufmerksamkeit, da hier Bewertungen divergieren. Die Festlegung, dass „eine Punktzahl von 3 bedeutet, die Antwort ist teilweise korrekt, aber ein Schlüsselelement fehlt”, stabilisiert die Mitte Ihrer Skala – ohne diesen Anker könnte dasselbe Gespräch je nach Ausführung eine 2, 3 oder 4 erhalten. Der ultimative Test ist einfach: Wenn zwei menschliche Bewerter, die Ihre Anweisungen lesen, bei einem gegebenen Fall unterschiedlich urteilen könnten, ist Ihr Kriterium zu vage, und der Richter wird diese Mehrdeutigkeit im großen Maßstab übernehmen.
Erstellung eines Klassifikationsrichters über das SDK
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Dreistufiger Klassifikationsrichter
classifier = client.beta.observability.judges.create(
name="Support Response Quality",
description="Classifies each support chatbot response into three quality levels.",
model_name="mistral-medium-latest",
instructions="""
Evaluate the assistant's last response in the provided conversation.
Context: This is a technical support chatbot.
Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?
Classify the response according to the proposed categories.
""",
output={
"type": "CLASSIFICATION",
"options": [
{"value": "excellent", "description": "Correct, complete, and professional response"},
{"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
{"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
],
},
tools=[], # No tools for this judge
)
print(f"Judge created: {classifier.id}")
Erstellung eines Regressionsrichters über das SDK
# Regressionsrichter: Hilfreichkeitsbewertung von 1 bis 5
scorer = client.beta.observability.judges.create(
name="Helpfulness Score",
description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
model_name="mistral-small-latest",
instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.
1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
output={
"type": "REGRESSION",
"min": 1,
"max": 5,
"min_description": "Useless response: off-topic, incorrect, or no answer provided",
"max_description": "Very helpful response: correct, detailed, with clear steps",
},
tools=[],
)
print(f"Judge created: {scorer.id}")
Validierung vor der Skalierung
Ein nicht validierter Richter erzeugt falsche Annotationen im großen Maßstab. Bevor Sie sich auf einen verlassen, testen Sie ihn an Gesprächen, bei denen Sie die korrekte Antwort kennen: judge_conversation wendet ihn auf eine Liste von Nachrichten an und gibt seine Analyse und sein Urteil zurück.
result = client.beta.observability.judges.judge_conversation(
judge_id=classifier.id,
messages=[
{"role": "user", "content": "My printer shows error E04, what should I do?"},
{"role": "assistant", "content": "Check the documentation."},
],
)
print(result.analysis) # The judge's reasoning
print(result.answer) # The label or score
Gehen Sie dann methodisch vor:
- Testen Sie an 10 bis 20 Fällen, bei denen Sie das korrekte Urteil im Voraus festgelegt haben
- Prüfen Sie die Übereinstimmung: Erzeugt der Richter dieselben Ergebnisse wie Sie?
- Testen Sie die Stabilität: Sind die Ergebnisse bei einer erneuten Ausführung derselben Fälle identisch?
- Identifizieren Sie Fehlermuster: Bei welchen Arten von Gesprächen macht der Richter Fehler?
Wenn die Übereinstimmung zu niedrig ist, verfeinern Sie die Anweisungen, bevor Sie eine großflächige Nutzung vornehmen. Sobald validiert, wendet ein Richter auf Datensatzaufzeichnungen an (client.beta.observability.datasets.records.judge), und dieselbe LLM-Richter-Logik erscheint in den Evaluatoren für Offline-Bewertungen (Lektion 14).
Kernaussagen
- Ein LLM-Richter klassifiziert (labelt) oder bewertet (punktiert) Gespräche, unterstützt durch eine Analyse
judges.createerfordertname,description,model_name,instructions,outputundtools- Eine Regressionsausgabe definiert ihre Grenzen (
min_description,max_description) - Anweisungen müssen spezifisch, kontextualisiert und mit Beispielen für Punktzahlen verankert sein
- Validieren Sie einen Richter mit
judge_conversationan bekannten Fällen, bevor Sie sich darauf verlassen