Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Domare: Automatiserad LLM-utvärdering

Lektion 13 av 16 Uppdaterad 2 november 2026 Avancerad
På denna sida
  1. Automatisera kvalitetsutvärdering
  2. Två typer av domare
  3. Skriva effektiva instruktioner
  4. Skapa en klassificeringsdomare via SDK
  5. Skapa en regressionsdomare via SDK
  6. Validera innan du skalar upp
  7. Viktiga punkter

Lektionen uppdaterad 2 november 2026 baserat på mistralai SDK 3.7.0 och Mistral-sidan för Evaluators: judges.create kräver nu description och tools (äldre exempel skulle misslyckas), regressionsutdata kräver min_description och max_description, och du kan testa en domare direkt på en konversation med judge_conversation. Mallvariabler och “Campaigns” från tidigare versioner förekommer inte längre i dokumentationen. Källor: Evaluators · client-python.

Automatisera kvalitetsutvärdering

Att manuellt granska tusentals konversationer är omöjligt i produktionsskala. Domare löser detta problem: det är LLM-baserade utvärderare som du konfigurerar en gång – genom att definiera instruktioner, modell och utdataformat – och sedan tillämpar på konversationer eller datasetposter. Varje bedömning genererar en analys och en dom: en etikett eller ett betyg.

Två typer av domare

Klassificering

En klassificeringsdomare tilldelar diskreta etiketter till varje svar. Exempel inkluderar:

  • Binär: helpful / not_helpful
  • Flerklassig: excellent / acceptable / poor
  • Kategorisering: code_question / general_knowledge / troubleshooting
  • Säkerhet: safe / needs_review / unsafe

Regression

En regressionsdomare tilldelar ett numeriskt betyg inom ett intervall, där du definierar gränserna:

  • Betyg för hjälpsamhet från 1 till 5
  • Relevansbetyg från 0 till 100
  • Förtroendenivå från 0,0 till 1,0

Skriva effektiva instruktioner

Domarens instruktioner avgör hela utvärderingens kvalitet, och otydlighet är den främsta orsaken till misslyckanden. “Utvärdera svarets kvalitet” betyder ingenting för en modell – varje körning kommer att tolka “kvalitet” olika. En fungerande version namnger observerbara kriterier: “Utvärdera om svaret direkt besvarar den ställda frågan med faktamässigt korrekt information.” Samma princip gäller för kontext: din domare vet inte att den utvärderar en supportchatbot där “bra” betyder “löser kundens problem utan att skicka dem till dokumentationen”. Om du inte anger detta explicit kommer den att tillämpa en generell kvalitetsdefinition som inte är din.

Gränsfall förtjänar särskild uppmärksamhet, eftersom det är här utvärderingar divergerar. Att specificera att “ett betyg på 3 innebär att svaret är delvis korrekt men saknar ett nyckelelement” stabiliserar mitten av din skala – utan denna förankring kan samma konversation få 2, 3 eller 4 beroende på körningen. Det ultimata testet är enkelt: om två mänskliga utvärderare som läser dina instruktioner kan vara oense om ett givet fall, är ditt kriterium för vagt, och domaren kommer att ärva denna tvetydighet i stor skala.

Skapa en klassificeringsdomare via SDK

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Klassificeringsdomare med tre nivåer
classifier = client.beta.observability.judges.create(
    name="Support Response Quality",
    description="Classifies each support chatbot response into three quality levels.",
    model_name="mistral-medium-latest",
    instructions="""
Evaluate the assistant's last response in the provided conversation.

Context: This is a technical support chatbot.

Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?

Classify the response according to the proposed categories.
""",
    output={
        "type": "CLASSIFICATION",
        "options": [
            {"value": "excellent", "description": "Correct, complete, and professional response"},
            {"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
            {"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
        ],
    },
    tools=[],  # No tools for this judge
)

print(f"Judge created: {classifier.id}")

Skapa en regressionsdomare via SDK

# Regressionsdomare: Betyg för hjälpsamhet från 1 till 5
scorer = client.beta.observability.judges.create(
    name="Helpfulness Score",
    description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
    model_name="mistral-small-latest",
    instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.

1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
    output={
        "type": "REGRESSION",
        "min": 1,
        "max": 5,
        "min_description": "Useless response: off-topic, incorrect, or no answer provided",
        "max_description": "Very helpful response: correct, detailed, with clear steps",
    },
    tools=[],
)

print(f"Judge created: {scorer.id}")

Validera innan du skalar upp

En icke-validerad domare producerar falska annoteringar i stor skala. Innan du förlitar dig på en, testa den på konversationer där du känner till det korrekta svaret: judge_conversation tillämpar den på en lista med meddelanden och returnerar dess analys och dom.

result = client.beta.observability.judges.judge_conversation(
    judge_id=classifier.id,
    messages=[
        {"role": "user", "content": "My printer shows error E04, what should I do?"},
        {"role": "assistant", "content": "Check the documentation."},
    ],
)

print(result.analysis)  # Domarens resonemang
print(result.answer)    # Etiketten eller betyget

Fortsätt sedan metodiskt:

  1. Testa på 10 till 20 fall där du i förväg har bestämt den korrekta domen
  2. Kontrollera överensstämmelse: Ger domaren samma resultat som du?
  3. Testa stabilitet: Är resultaten identiska vid omkörning på samma fall?
  4. Identifiera misslyckandemönster: På vilka typer av konversationer gör domaren misstag?

Om överensstämmelsen är för låg, förbättra instruktionerna innan all storskalig användning. När den väl är validerad kan en domare tillämpas på datasetposter (client.beta.observability.datasets.records.judge), och samma LLM-domarlogik återfinns i utvärderarna för offline-utvärderingar (Lektion 14).

Viktiga punkter

  • En LLM-domare klassificerar (etiketterar) eller betygsätter konversationer, stöttad av en analys
  • judges.create kräver name, description, model_name, instructions, output och tools
  • En regressionsutdata definierar sina gränser (min_description, max_description)
  • Instruktioner måste vara specifika, kontextualiserade och förankrade med betygsexempel
  • Validera en domare med judge_conversation på kända fall innan du förlitar dig på den