Ihr feinabgestimmtes Modell evaluieren
Auf dieser Seite
Update vom 2. November 2026 – Verfügbarkeit der Feinabstimmung. Die selbstbediente Feinabstimmung von OpenAI wird schrittweise eingestellt: Seit dem 7. Mai 2026 können Organisationen, die diese Funktion noch nie genutzt haben, keine neuen Aufgaben erstellen. Seit dem 2. Juli müssen Sie ein feinabgestimmtes Modell innerhalb der letzten 60 Tage verwendet haben. Ab dem 6. Januar 2027 können keine neuen Aufgaben mehr gestartet werden. Bereits trainierte Modelle bleiben nutzbar, bis ihr Basismodell zurückgezogen wird. Dieser Kurs bleibt nützlich, um ein bestehendes Modell zu verstehen und zu nutzen; für neue Projekte sollten Sie Prompt Engineering, RAG und Evaluierungen priorisieren.
Warum eine Evaluation unerlässlich ist
Ein erfolgreicher Feinabstimmungsprozess wird nicht allein durch den Verlustwert (loss) gemessen. Die eigentliche Frage lautet: Ist Ihr feinabgestimmtes Modell für Ihren Anwendungszweck tatsächlich besser als das Basismodell? Eine sauber abfallende Kurve beweist lediglich, dass das Modell gelernt hat, Ihre Beispiele nachzubilden; sie sagt nichts über sein Verhalten bei unbekannten Anfragen aus. In dieser Lektion erfahren Sie, wie Sie ein rigoroses Evaluierungsprotokoll erstellen, das automatisierte Metriken, die Bewertung durch eine LLM und menschliche Prüfung kombiniert.
Erstellung eines Testdatensatzes
Ihr Testdatensatz muss sich sowohl von Ihren Trainings- als auch von Ihren Validierungsdaten unterscheiden. Der Unterschied ist entscheidend: Der Validierungssatz überwacht den Trainingsprozess und beeinflusst daher Ihre Entscheidungen zu den Hyperparametern, was ihn allmählich kontaminiert. Der Testdatensatz hingegen wird erst geöffnet, wenn das Modell eingefroren ist. Er repräsentiert die realen Situationen, die Ihr Modell in der Produktion antreffen wird, mit denselben Anteilen an einfachen und kniffligen Fällen. Eine Aufteilung von 80/10/10 an einem zuvor gemischten Korpus ist ein vernünftiger Ausgangspunkt.
import json
import random
def prepare_datasets(file: str, ratios: tuple = (0.8, 0.1, 0.1)):
"""Teilt Daten in train/validierung/test auf."""
with open(file, "r") as f:
examples = [json.loads(l) for l in f]
random.shuffle(examples)
n = len(examples)
i1 = int(n * ratios[0])
i2 = int(n * (ratios[0] + ratios[1]))
datasets = {
"train": examples[:i1],
"validation": examples[i1:i2],
"test": examples[i2:]
}
for name, data in datasets.items():
with open(f"{name}.jsonl", "w") as f:
for ex in data:
f.write(json.dumps(ex, ensure_ascii=False) + "\n")
print(f"{name}: {len(data)} Beispiele")
return datasets
prepare_datasets("all_data.jsonl")
Automatisierte Evaluation
Metrikbasierte Evaluation
Das Prinzip ist einfach: Für jedes Testbeispiel entfernen Sie die Assistant-Nachricht – das ist die erwartete Antwort, die das Modell nicht sehen darf – und übermitteln den Rest. Halten Sie Eingabe, Referenzantwort und generierte Antwort nebeneinander. Diese Dreispaltenstruktur ist die Grundlage für alles, was folgt; die Verwendung dafür zur Berechnung von Metriken oder zur qualitativen Beurteilung ist lediglich eine Frage der nachgelagerten Verarbeitung.
from openai import OpenAI
client = OpenAI()
def evaluate_model(model: str, test_examples: list[dict]) -> dict:
"""Evaluieren Sie ein Modell an einem Testdatensatz."""
results = []
for ex in test_examples:
# Extrahieren Sie die Frage (ohne die erwartete Antwort)
input_messages = [
m for m in ex["messages"] if m["role"] != "assistant"
]
expected_answer = next(
m["content"] for m in ex["messages"] if m["role"] == "assistant"
)
# Holen Sie die Antwort des Modells
response = client.responses.create(
model=model,
input=input_messages
)
model_answer = response.output_text
results.append({
"input": input_messages[-1]["content"],
"expected": expected_answer,
"obtained": model_answer
})
return results
LLM-as-a-Judge Evaluation
Eine leistungsstarke Technik besteht darin, ein leistungsstarkes Modell zur Bewertung der Antwortqualität einzusetzen. Ein Wort-für-Wort-Vergleich mit der Referenz wird unbrauchbar, sobald mehrere Formulierungen akzeptabel sind; ein Richter hingegen würdigt den Inhalt. Die Qualität seines Urteils hängt vollständig von der Präzision des Prompts ab: vier Kriterien, die von 1 bis 5 bewertet werden, eine erzwungene JSON-Ausgabe und ein freier Textkommentar, den Sie später verwenden werden, um Fehler zu verstehen. Planen Sie Fälle ein, in denen die Ausgabe nicht parsbar ist, statt eine Ausnahme, die die Kampagne unterbricht, zulassen zu lassen.
def evaluate_with_judge(results: list[dict]) -> list[dict]:
"""Verwenden Sie gpt-5.6-sol als Richter, um Antworten zu bewerten."""
evaluations = []
for r in results:
judge_prompt = f"""Bewerten Sie die Qualität der erhaltenen Antwort im Vergleich zur erwarteten Antwort.
Frage: {r['input']}
Erwartete Antwort: {r['expected']}
Erhaltene Antwort: {r['obtained']}
Kriterien (bewerten Sie jedes von 1 bis 5):
1. Genauigkeit: Ist die Information korrekt?
2. Vollständigkeit: Sind alle wichtigen Punkte abgedeckt?
3. Stil: Ist Ton und Format angemessen?
4. Prägnanz: Ist die Antwort einer angemessenen Länge?
Antworten Sie in JSON: {{"accuracy": N, "completeness": N, "style": N, "conciseness": N, "comment": "..."}}"""
response = client.responses.create(
model="gpt-5.6-sol",
input=judge_prompt
)
try:
evaluation = json.loads(response.output_text)
evaluations.append(evaluation)
except json.JSONDecodeError:
evaluations.append({"error": "Response not parseable"})
return evaluations
Spezialisierte Metriken
Die beiden vorherigen Ansätze funktionieren gut für schriftliche Antworten. Sobald die Ausgabe Ihres Modells eine feste Struktur aufweist, werden direktere Messungen möglich und sparen Ihnen den Umweg über einen Richter.
Für Klassifizierung
Wenn die erwartete Ausgabe zu einer geschlossenen Menge gehört – eine Ticket-Kategorie, eine Stimmung, ein Produktcode – wird die exakte Übereinstimmung wieder relevant. Normalisieren Sie Groß-/Kleinschreibung und Leerzeichen vor dem Vergleich; andernfalls wird “Urgent” versus “urgent” als Fehler gewertet und verzerrt Ihre Rate.
def classification_metrics(results: list[dict]) -> dict:
"""Berechnet Precision, Recall und F1 für eine Klassifizierungsaufgabe."""
correct = sum(
1 for r in results
if r["expected"].strip().lower() == r["obtained"].strip().lower()
)
total = len(results)
precision = correct / total if total > 0 else 0
print(f"Precision: {precision:.2%} ({correct}/{total})")
return {"precision": precision, "correct": correct, "total": total}
Für Funktionsaufrufe
Funktionsaufrufe werden an zwei Achsen bewertet, die separat gemessen werden müssen. Ein Modell, das die richtige Funktion auswählt, aber den Parameter falsch hat, versagt anders als eines, das das völlig falsche Werkzeug aufruft: Das erste Problem wird durch Extraktionsbeispiele behoben, das zweite durch Diskriminierungsbeispiele. Eine einzige globale Punktzahl würde diesen Unterschied verschleiern und Sie blind lassen.
def function_calling_metrics(results: list[dict]) -> dict:
"""Bewertet die Qualität von Funktionsaufrufen."""
stats = {"correct_function": 0, "correct_params": 0, "total": 0}
for r in results:
stats["total"] += 1
if r.get("expected_function") == r.get("obtained_function"):
stats["correct_function"] += 1
if r.get("expected_params") == r.get("obtained_params"):
stats["correct_params"] += 1
print(f"Korrekte Funktion: {stats['correct_function']}/{stats['total']}")
print(f"Korrekte Parameter: {stats['correct_params']}/{stats['total']}")
return stats
Menschliche Evaluation
Die automatisierte Evaluation erfasst nicht alles. Ein leicht herablassender Ton, ein Satz, der Ihren Kunden nicht passt, eine technisch korrekte aber unbrauchbare Antwort: Diese Mängel treten nur unter menschlicher Aufsicht zutage. Das Protokoll ist einfach. Stichprobenartig bewerten Sie zwanzig bis fünfzig Antworten zufällig, niemals die Fälle, die Sie bereits als problematisch markiert haben, sonst messen Sie lediglich Ihre eigene Selektionsverzerrung. Definieren Sie dann klare, messbare Kriterien und formalisieren Sie diese in einer standardisierten Bewertungsrubrik, damit zwei Prüfer dasselbe bewerten.
Schließlich lassen Sie mehrere Personen evaluieren und berechnen Sie die Übereinstimmung zwischen den Prüfern (inter-rater agreement). Starke Meinungsverschiedenheiten signalisieren nicht unbedingt ein schlechtes Modell: Meistens offenbart dies, dass Ihre Rubrik weiterhin mehrdeutig ist und geklärt werden muss, bevor Sie etwas Schlussfolgerungen ziehen können.
Beispiel für eine Bewertungsrubrik
| Kriterium | 1 (Schlecht) | 3 (Akzeptabel) | 5 (Ausgezeichnet) |
|---|---|---|---|
| Relevanz | Off-Topic | Teilweise relevant | Perfekt auf den Punkt |
| Ton | Unangemessen | Akzeptabel, aber einfach | Perfekt abgestimmt |
| Format | Nicht eingehalten | Teilweise eingehalten | Perfekt eingehalten |
Evaluierungsbericht
Eine letzte Reflexion unterscheidet eine Evaluation von einer Entscheidung: Verzeichnen Sie beide Ergebnisfamilien in einem einzigen Bericht, begleitet von einer expliziten Empfehlung. Die Schwelle, die Sie festlegen – hier ein menschlicher Durchschnitt von 4 für die Produktion, 3 für die Iteration der Daten – muss vor dem Start der Kampagne gewählt werden. Wenn sie danach entschieden wird, passt sie sich immer dem Ergebnis an, das Sie erwartet haben.
def evaluation_report(auto_results: dict, human_results: dict):
"""Generiert einen kombinierten Evaluierungsbericht."""
print("=" * 60)
print("BERICHT ZUR EVALUATION DES FEINABGESTIMMTEN MODELLS")
print("=" * 60)
print(f"\nAutomatisierte Metriken:")
for k, v in auto_results.items():
print(f" {k}: {v}")
print(f"\nMenschliche Evaluation:")
for k, v in human_results.items():
print(f" {k}: {v}")
print(f"\nEmpfehlung:")
average_score = sum(human_results.values()) / len(human_results)
if average_score >= 4:
print(" Modell ist für die Produktion bereit")
elif average_score >= 3:
print(" Verbesserungen erforderlich – iterieren Sie an den Daten")
else:
print(" Unzureichende Ergebnisse – überdenken Sie Ihren Ansatz")
Kernaussagen
- Trennen Sie immer einen unabhängigen Testdatensatz (weder Trainings- noch Validierungsdaten)
- Kombinieren Sie automatisierte und menschliche Evaluation
- Die LLM-as-a-Judge-Evaluation ist ein guter Kompromiss zwischen beiden
- Definieren Sie messbare Kriterien, bevor Sie beginnen
- Ein niedriger Verlustwert garantiert keine Produktionsqualität