Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Richter: Automatisierte LLM-Bewertung

Lektion 13 von 16 Aktualisiert am 2. November 2026 Fortgeschritten
Auf dieser Seite
  1. Automatisierung der Qualitätsbewertung
  2. Zwei Arten von Richtern
  3. Formulierung wirksamer Anweisungen
  4. Erstellung eines Klassifikationsrichters über das SDK
  5. Erstellung eines Regressionsrichters über das SDK
  6. Validierung vor der Skalierung
  7. Kernaussagen

Lektion aktualisiert am 2. November 2026 basierend auf dem mistralai SDK 3.7.0 und der Mistral-Evaluators-Seite: judges.create erfordert nun description und tools (ältere Beispiele würden fehlschlagen), Regressionsergebnisse benötigen min_description und max_description, und Sie können einen Richter direkt auf einem Gespräch mit judge_conversation testen. Template-Variablen und „Campaigns” aus früheren Versionen tauchen in der Dokumentation nicht mehr auf. Quellen: Evaluators · client-python.

Automatisierung der Qualitätsbewertung

Das manuelle Durchsehen von Tausenden von Gesprächen ist im Produktionsmaßstab unmöglich. Richter lösen dieses Problem: Sie sind LLM-basierte Bewerter, die Sie einmal konfigurieren – indem Sie Anweisungen, das Modell und das Ausgabeformat definieren – und dann auf Gespräche oder Datensatzaufzeichnungen anwenden. Jede Bewertung erzeugt eine Analyse und ein Urteil: ein Label oder eine Punktzahl.

Zwei Arten von Richtern

Klassifikation

Ein Klassifikationsrichter weist diskrete Labels jeder Antwort zu. Beispiele hierfür sind:

  • Binär: helpful / not_helpful
  • Mehrklassig: excellent / acceptable / poor
  • Kategorisierung: code_question / general_knowledge / troubleshooting
  • Sicherheit: safe / needs_review / unsafe

Regression

Ein Regressionsrichter weist eine numerische Punktzahl innerhalb eines Bereichs zu, dessen Grenzen Sie definieren:

  • Hilfreichkeitsbewertung von 1 bis 5
  • Relevanzscore von 0 bis 100
  • Vertrauensniveau von 0,0 bis 1,0

Formulierung wirksamer Anweisungen

Die Anweisungen des Richters bestimmen die gesamte Qualität der Bewertung, und Unschärfe ist die primäre Ursache für Misserfolge. „Bewerten Sie die Qualität der Antwort” bedeutet für ein Modell nichts – jede Ausführung wird „Qualität” unterschiedlich interpretieren. Eine funktionierende Version benennt beobachtbare Kriterien: „Bewerten Sie, ob die Antwort die gestellte Frage direkt beantwortet, unter Verwendung faktisch korrekter Informationen.” Dasselbe Prinzip gilt für den Kontext: Ihr Richter weiß nicht, dass er einen Support-Chatbot bewertet, bei dem „gut” bedeutet „das Problem des Kunden löst, ohne ihn an die Dokumentation zu verweisen”. Wenn Sie dies nicht explizit angeben, wendet er eine generische Definition von Qualität an, die nicht Ihre ist.

Randfälle verdienen besondere Aufmerksamkeit, da hier Bewertungen divergieren. Die Festlegung, dass „eine Punktzahl von 3 bedeutet, die Antwort ist teilweise korrekt, aber ein Schlüsselelement fehlt”, stabilisiert die Mitte Ihrer Skala – ohne diesen Anker könnte dasselbe Gespräch je nach Ausführung eine 2, 3 oder 4 erhalten. Der ultimative Test ist einfach: Wenn zwei menschliche Bewerter, die Ihre Anweisungen lesen, bei einem gegebenen Fall unterschiedlich urteilen könnten, ist Ihr Kriterium zu vage, und der Richter wird diese Mehrdeutigkeit im großen Maßstab übernehmen.

Erstellung eines Klassifikationsrichters über das SDK

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Dreistufiger Klassifikationsrichter
classifier = client.beta.observability.judges.create(
    name="Support Response Quality",
    description="Classifies each support chatbot response into three quality levels.",
    model_name="mistral-medium-latest",
    instructions="""
Evaluate the assistant's last response in the provided conversation.

Context: This is a technical support chatbot.

Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?

Classify the response according to the proposed categories.
""",
    output={
        "type": "CLASSIFICATION",
        "options": [
            {"value": "excellent", "description": "Correct, complete, and professional response"},
            {"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
            {"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
        ],
    },
    tools=[],  # No tools for this judge
)

print(f"Judge created: {classifier.id}")

Erstellung eines Regressionsrichters über das SDK

# Regressionsrichter: Hilfreichkeitsbewertung von 1 bis 5
scorer = client.beta.observability.judges.create(
    name="Helpfulness Score",
    description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
    model_name="mistral-small-latest",
    instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.

1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
    output={
        "type": "REGRESSION",
        "min": 1,
        "max": 5,
        "min_description": "Useless response: off-topic, incorrect, or no answer provided",
        "max_description": "Very helpful response: correct, detailed, with clear steps",
    },
    tools=[],
)

print(f"Judge created: {scorer.id}")

Validierung vor der Skalierung

Ein nicht validierter Richter erzeugt falsche Annotationen im großen Maßstab. Bevor Sie sich auf einen verlassen, testen Sie ihn an Gesprächen, bei denen Sie die korrekte Antwort kennen: judge_conversation wendet ihn auf eine Liste von Nachrichten an und gibt seine Analyse und sein Urteil zurück.

result = client.beta.observability.judges.judge_conversation(
    judge_id=classifier.id,
    messages=[
        {"role": "user", "content": "My printer shows error E04, what should I do?"},
        {"role": "assistant", "content": "Check the documentation."},
    ],
)

print(result.analysis)  # The judge's reasoning
print(result.answer)    # The label or score

Gehen Sie dann methodisch vor:

  1. Testen Sie an 10 bis 20 Fällen, bei denen Sie das korrekte Urteil im Voraus festgelegt haben
  2. Prüfen Sie die Übereinstimmung: Erzeugt der Richter dieselben Ergebnisse wie Sie?
  3. Testen Sie die Stabilität: Sind die Ergebnisse bei einer erneuten Ausführung derselben Fälle identisch?
  4. Identifizieren Sie Fehlermuster: Bei welchen Arten von Gesprächen macht der Richter Fehler?

Wenn die Übereinstimmung zu niedrig ist, verfeinern Sie die Anweisungen, bevor Sie eine großflächige Nutzung vornehmen. Sobald validiert, wendet ein Richter auf Datensatzaufzeichnungen an (client.beta.observability.datasets.records.judge), und dieselbe LLM-Richter-Logik erscheint in den Evaluatoren für Offline-Bewertungen (Lektion 14).

Kernaussagen

  • Ein LLM-Richter klassifiziert (labelt) oder bewertet (punktiert) Gespräche, unterstützt durch eine Analyse
  • judges.create erfordert name, description, model_name, instructions, output und tools
  • Eine Regressionsausgabe definiert ihre Grenzen (min_description, max_description)
  • Anweisungen müssen spezifisch, kontextualisiert und mit Beispielen für Punktzahlen verankert sein
  • Validieren Sie einen Richter mit judge_conversation an bekannten Fällen, bevor Sie sich darauf verlassen