Datenqualität: Bereinigung und Validierung
Auf dieser Seite
Update vom 2. November 2026 — Verfügbarkeit des Feinabstimmens. Das Selbstbedienungs-Feinabstimmungsdienst von OpenAI wird schrittweise eingestellt: Ab dem 7. Mai 2026 können Organisationen, die noch nie einen Feinabstimmungsauftrag ausgeführt haben, keine neuen erstellen; seit dem 2. Juli müssen Sie ein feinabgestimmtes Modell innerhalb der letzten 60 Tage verwendet haben; und ab dem 6. Januar 2027 können keine Kunden neue Aufträge starten. Bereits trainierte Modelle bleiben nutzbar, bis ihr Basismodell eingestellt wird. Dieser Kurs bleibt nützlich, um ein bestehendes Modell zu verstehen und zu nutzen; für neue Projekte sollten Sie Prompt-Engineering, RAG und Evaluierungen priorisieren.
Warum Bereinigung kritisch ist
Eine technisch gültige JSONL-Datei garantiert keine gute Feinabstimmung. Rauschende, inkonsistente oder schlecht formatierte Daten verschlechtern die Modellleistung eher, als sie zu verbessern – und das Schlimmste daran ist, dass dies keine Fehler auslöst. Der Auftrag wird erfolgreich abgeschlossen, das Modell ist bereit, und Sie entdecken das Problem erst in der Produktion. Diese Lektion behandelt die Bereinigungs- und Validierungstechniken, die Sie vor dem Hochladen durchführen sollten.
Technische Dateivalidierung
Beginnen Sie mit den Mechaniken: Überprüfen Sie, ob Ihre Datei syntaktisch korrekt ist und ob jede Zeile den erwarteten Vertrag einhält. Die folgende Funktion durchläuft die Datei Zeile für Zeile, sammelt Fehler anstatt bei dem ersten zu stoppen (Sie wollen die vollständige Liste, nicht eine Hin-und-Her-Abfrage für jedes Problem) und gibt unterwegs einige nützliche Statistiken zurück, wie z. B. das Vorhandensein von Systemnachrichten und mehrstufigen Gesprächen.
import json
def validate_jsonl(path: str) -> dict:
"""Validates a JSONL file and returns statistics."""
errors = []
stats = {"total": 0, "with_system": 0, "multi_turn": 0}
valid_roles = {"system", "user", "assistant"}
with open(path, "r", encoding="utf-8") as f:
for i, line in enumerate(f, 1):
stats["total"] += 1
try:
obj = json.loads(line.strip())
except json.JSONDecodeError as e:
errors.append(f"Line {i}: Invalid JSON — {e}")
continue
if "messages" not in obj:
errors.append(f"Line {i}: Missing 'messages' key")
continue
messages = obj["messages"]
if not isinstance(messages, list) or len(messages) < 2:
errors.append(f"Line {i}: Minimum 2 messages required")
continue
for j, msg in enumerate(messages):
role = msg.get("role")
if role not in valid_roles:
errors.append(f"Line {i}, msg {j}: Invalid role")
if not msg.get("content", "").strip():
errors.append(f"Line {i}, msg {j}: Empty content")
if not any(m["role"] == "assistant" for m in messages):
errors.append(f"Line {i}: No assistant message")
if messages[0]["role"] == "system":
stats["with_system"] += 1
user_turns = sum(1 for m in messages if m["role"] == "user")
if user_turns > 1:
stats["multi_turn"] += 1
return {"errors": errors, "stats": stats}
result = validate_jsonl("training_data.jsonl")
if result["errors"]:
print(f"Errors: {len(result['errors'])}")
for err in result["errors"][:10]:
print(f" - {err}")
else:
print(f"File valid — {result['stats']['total']} examples")
Inhaltliche Bereinigung
Exakte oder nahezu identische Einträge verzerren das Training, indem sie bestimmte Muster überrepräsentieren. Dies geschieht natürlich, wenn Sie mehrere Exporte aggregieren: dieselbe häufige Frage erscheint dreißigmal in Ihren Protokollen, und das Modell schließt daraus, dass sie dreißigmal mehr Aufmerksamkeit verdient als andere. Ein Hash des zusammengeführten Nachrichteninhalts reicht aus, um sie zu eliminieren.
import hashlib
def deduplicate(examples: list[dict]) -> list[dict]:
"""Removes duplicates based on message content."""
seen = set()
unique = []
for ex in examples:
content = "|".join(
f"{m['role']}:{m['content']}" for m in ex["messages"]
)
h = hashlib.md5(content.encode()).hexdigest()
if h not in seen:
seen.add(h)
unique.append(ex)
print(f"Duplicates removed: {len(examples) - len(unique)}")
return unique
Als Nächstes folgt die Textnormalisierung, die vier unterschiedliche Probleme adressiert. Mehrfache Leerzeichen und überflüssige Zeilenumbrüche, die vom Kopieren und Einfügen vererbt wurden, müssen entfernt werden. Die Codierung muss auf UTF-8 normalisiert werden, wobei Steuerzeichen entfernt werden – unsichtbar, aber oft in Datenbankexporten vorhanden. Punktuierung verdient eine Überprüfung: eine Antwort, die mitten im Satz abgeschnitten ist, lehrt das Modell, sich selbst zu unterbrechen. Schließlich stellen Sie die Sprachkonsistenz sicher – wenn Sie eine formelle Anrede wünschen, überprüfen Sie, dass kein Beispiel eine informelle Anrede verwendet, da das Modell das Gemisch treu reproduzieren wird.
import re
import unicodedata
def normalize_text(text: str) -> str:
"""Normalizes text for training."""
text = unicodedata.normalize("NFC", text)
text = re.sub(r"[\x00-\x09\x0b-\x0c\x0e-\x1f\x7f]", "", text)
text = re.sub(r"[ \t]+", " ", text)
text = re.sub(r"\n{3,}", "\n\n", text)
return text.strip()
Konsistenzprüfungen
Wenn Sie eine Systemnachricht verwenden, muss sie über alle Ihre Beispiele hinweg rigoros identisch sein. Zwei Varianten, die sich nur durch ein Wort unterscheiden, reichen aus, um das Signal zu verwässern: das Modell hört auf, eine spezifische Anweisung zu lernen, und beginnt, eine vage Familie von Anweisungen zu lernen. Die Prüfung ist trivial, und das Ergebnis ist oft überraschend bei einem Korpus, das von mehreren Personen erstellt wurde.
def check_system_messages(examples: list[dict]):
"""Checks consistency of system messages."""
system_msgs = set()
for ex in examples:
for msg in ex["messages"]:
if msg["role"] == "system":
system_msgs.add(msg["content"].strip())
if len(system_msgs) > 1:
print(f"Warning: {len(system_msgs)} different system messages")
for sm in system_msgs:
print(f" - {sm[:80]}...")
elif len(system_msgs) == 1:
print("System message consistent")
else:
print("No system message used")
Die Verteilung der Antwortlängen erzählt dieselbe Geschichte aus einem anderen Blickwinkel. Hochheterogene Antworten signalisieren, dass mehrere Personen das Korpus mit unterschiedlichen Vorstellungen davon geschrieben haben, wie eine gute Antwort aussieht, oder dass ein Ausreißer in den Batch gelangt ist. Die hier verwendete Schwelle – ein Maximum, das mehr als das Fünffache des Durchschnitts beträgt – ist nicht absolut, lenkt aber Ihren Blick an die richtige Stelle.
def analyze_lengths(examples: list[dict]):
"""Analyzes the distribution of response lengths."""
lengths = []
for ex in examples:
for msg in ex["messages"]:
if msg["role"] == "assistant":
lengths.append(len(msg["content"]))
if lengths:
avg = sum(lengths) / len(lengths)
mini, maxi = min(lengths), max(lengths)
print(f"Response length — Avg: {avg:.0f} | Min: {mini} | Max: {maxi}")
if maxi > avg * 5:
print("High dispersion — check for outliers")
Nutzung der OpenAI-Validierungs-API
Sobald Sie Ihre eigenen Prüfungen durchgeführt haben, laden Sie die Datei hoch und lassen Sie OpenAI diese ebenfalls validieren. Es ist kostenlos, sofort verfügbar und spart Ihnen die Entdeckung eines Formatproblems, wenn der Auftrag startet.
from openai import OpenAI
client = OpenAI()
file = client.files.create(
file=open("training_data.jsonl", "rb"),
purpose="fine-tune"
)
print(f"File uploaded: {file.id}")
print(f"Status: {file.status}")
Wenn die Datei Fehler enthält, ändert sich der Status zu error mit einer detaillierten Meldung. Beheben Sie die gemeldeten Probleme, bevor Sie erneut versuchen.
Prüfliste vor dem Feinabstimmen
Gehen Sie vor der Erstellung des Auftrags in dieser Reihenfolge durch diese Liste – jeder Punkt entspricht einer oben abgedeckten Prüfung, mit Ausnahme des letzten, den kein Skript ersetzen kann:
- JSONL-Datei ist syntaktisch gültig
- Keine Duplikate
- Text normalisiert (UTF-8, Leerzeichen, Punktuierung)
- Systemnachrichten sind konsistent
- Mindestens 50 Beispiele (idealerweise 100+)
- Trainings-/Validierungsaufteilung durchgeführt
- Angemessene Verteilung der Längen
- Menschliche Überprüfung einer zufälligen Stichprobe
Kernaussagen
- Validieren Sie die JSONL-Syntax immer vor dem Hochladen
- Entfernen Sie Duplikate, um Überanpassung zu vermeiden
- Konsistenz der Systemnachrichten ist essenziell
- Prüfen Sie die Verteilung der Antwortlängen
- Lassen Sie eine Stichprobe von einer Person überprüfen – das ist unersetzlich