A/B-Tests und Geschäftsmetriken
Auf dieser Seite
Update vom 2. November 2026 — Verfügbarkeit des Feinabstimmens. Das selbstbediente Feinabstimmen von OpenAI wird schrittweise eingestellt: Seit dem 7. Mai 2026 können Organisationen, die es noch nie genutzt haben, keine Jobs mehr erstellen; seit dem 2. Juli müssen Sie ein feinabgestimmtes Modell innerhalb der letzten 60 Tage verwendet haben; und ab dem 6. Januar 2027 können keine neuen Kunden neue Jobs starten. Bereits trainierte Modelle bleiben nutzbar, bis ihr Basismodell zurückgezogen wird. Dieser Kurs bleibt nützlich, um ein bestehendes Modell zu verstehen und zu nutzen; für neue Projekte priorisieren Sie Prompt-Engineering, RAG und Evaluierungen.
Jenseits des Verlusts: Messung des geschäftlichen Impacts
Der Trainingsverlust und Qualitätskennzahlen reichen nicht aus. Was wirklich zählt, ist der Einfluss Ihres feinabgestimmten Modells auf die geschäftlichen KPIs: Kundenzufriedenheit, Bearbeitungszeit, Konversionsrate. Ein Modell kann Antworten produzieren, die Ihre Prüfer als elegant empfinden, während es gleichzeitig die Eskalationsrate an Ihre menschlichen Agenten erhöht. Diese zweite Zahl entscheidet über die Zukunft des Projekts, nicht die erste.
Einrichtung eines A/B-Tests
Ein A/B-Test vergleicht zwei Varianten unter realen Bedingungen mit echtem Traffic. Gruppe A, die Kontrollgruppe, erhält Antworten vom Basismodell mit Ihrem optimierten Prompt; Gruppe B, die Testgruppe, erhält Antworten vom feinabgestimmten Modell. Benutzer werden zufällig beiden Gruppen zugewiesen, und Sie messen die Ergebnisse mit denselben Metriken. Die gesamte Validität des Experiments hängt von dieser Zuweisung ab: Wenn Gruppe B zufällig die einfachsten Anfragen erhält, misst ihre scheinbare Überlegenheit nichts anderes als Glück.
Die Funktion choisir_variante löst dieses Problem, indem sie die Benutzer-ID hash-t. Dieser Ansatz garantiert, dass derselbe Benutzer immer dieselbe Variante sieht – das ist essenziell, da das Wechseln zwischen Sitzungen die Person zwei Antwortstilen aussetzen und ihre Zufriedenheitsbewertung verzerren würde. Sobald das Volumen ausreicht, entsteht eine statistisch ausgewogene Verteilung, und die Berechnung bleibt reproduzierbar: Ein erneutes Ausführen der Berechnung später liefert exakt dieselben Gruppen, sodass Sie eine vergessene Metrik neu berechnen können, ohne den Test neu zu starten.
import random
import hashlib
from openai import OpenAI
client = OpenAI()
MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."
def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
"""Zuweist einem Benutzer deterministisch Gruppe A oder B."""
h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
return "B" if (h % 100) < pourcentage_test else "A"
def repondre(user_id: str, question: str) -> dict:
"""Reagiert mit dem korrekten Modell basierend auf der A/B-Gruppe."""
variante = choisir_variante(user_id)
if variante == "A":
response = client.responses.create(
model=MODELE_BASE,
instructions=PROMPT_BASE,
input=question
)
else:
response = client.responses.create(
model=MODELE_FT,
input=question
)
return {
"variante": variante,
"modele": MODELE_BASE if variante == "A" else MODELE_FT,
"reponse": response.output_text,
"user_id": user_id
}
Auswahl der richtigen Geschäftsmetriken
Die zu verfolgenden Indikatoren hängen vollständig davon ab, was Ihr Assistent liefern soll, und jede Anwendungsfamilie hat ihre eigenen.
Bei einem Kundenservice-Dienst beantwortet die First-Contact-Resolution-Rate die konkreteste Frage: Hat der Benutzer erneut Kontakt zum Support aufnehmen müssen? Die CSAT-Bewertung, eine Zufriedenheitsbewertung von 1 bis 5, die nach der Interaktion gesammelt wird, erfasst Gefühle, die automatisierte Metriken verpassen. Die Bearbeitungszeit misst die Gesamtdauer des Austauschs, und die Eskalationsrate – der Anteil der Gespräche, die an einen Menschen weitergeleitet werden – liest sich als Eingeständnis des Modellversagens bei den betreffenden Fällen. Erfolgreiches Feinabstimmen senkt in der Regel beide letzteren gleichzeitig.
Bei einem Verkaufs-Chatbot verschiebt sich die Argumentation nach unten. Die Konversionsrate zählt Gespräche, die zu einem Kauf oder einem Termin führen; die Engagement-Rate, ausgedrückt als durchschnittliche Anzahl von Nachrichten pro Gespräch, erfordert eine sorgfältige Interpretation, da ein längerer Austausch entweder Interesse oder Missverständnis signalisieren könnte; die Bounce-Rate isoliert Benutzer, die nach der ersten Nachricht gehen, oft weil die erste Antwort nicht den Nagel auf den Kopf getroffen hat.
Bei einer Klassifizierungs- oder Extraktionsaufgabe kehren Sie zum klassischen Trio zurück. Precision gibt den Prozentsatz der korrekten Klassifizierungen an, Recall den Prozentsatz der tatsächlich erkannten positiven Fälle, und der F1-Score, der harmonische Mittelwert beider, verhindert, dass man sich für ein Modell entscheidet, das niemals die seltene Klasse vorhersagt, nur um Fehler zu vermeiden.
Sammlung der Messungen
Diese Indikatoren sind nutzlos, wenn sie in drei separaten Excel-Tabellen leben. Ein einzelner Sammler, der bei jeder Interaktion gespeist wird, hält die Variante zusammen mit der Metrik fest und ermöglicht die Erstellung eines vergleichbaren Berichts mit einem einzigen Befehl. Die untenstehende Klasse ABTracker erledigt diese minimale Arbeit: Sie protokolliert, gruppiert dann nach Variante und berechnet Mittelwerte und Raten.
import datetime
class ABTracker:
"""Metriken-Sammler für A/B-Tests."""
def __init__(self):
self.events = []
def log_interaction(
self,
user_id: str,
variante: str,
question: str,
reponse: str,
metriques: dict
):
"""Protokolliert eine Interaktion mit ihren Metriken."""
self.events.append({
"timestamp": datetime.datetime.now().isoformat(),
"user_id": user_id,
"variante": variante,
"question": question,
"reponse": reponse,
**metriques
})
def rapport(self) -> dict:
"""Erstellt einen vergleichenden A-vs-B-Bericht."""
groupes = {"A": [], "B": []}
for e in self.events:
groupes[e["variante"]].append(e)
rapport = {}
for variante, events in groupes.items():
if not events:
continue
rapport[variante] = {
"nb_interactions": len(events),
"csat_moyen": self._moyenne(events, "csat"),
"resolution_premier_contact": self._taux(events, "resolu"),
"temps_moyen_sec": self._moyenne(events, "temps_resolution"),
}
return rapport
def _moyenne(self, events, cle):
vals = [e[cle] for e in events if cle in e and e[cle] is not None]
return sum(vals) / len(vals) if vals else None
def _taux(self, events, cle):
vals = [e[cle] for e in events if cle in e]
return sum(vals) / len(vals) * 100 if vals else None
tracker = ABTracker()
Warten auf statistische Signifikanz
Ziehen Sie keine Schlüsse zu früh. Nach zwanzig Interaktionen pro Gruppe hat eine CSAT-Lücke von 0,4 Punkten keinen Wert: drei glückliche Kunden reichen aus, um sie zu produzieren. Sie benötigen genügend Interaktionen, damit die Ergebnisse signifikant sind, und die untenstehenden Benchmarks geben Ihnen die Größenordnung an, auf die Sie sich vor dem Betrachten der Zahlen richten sollten.
Sobald Sie dieses Volumen erreicht haben, entscheidet ein statistischer Test für Sie. Der Mann-Whitney-Test funktioniert gut für Zufriedenheitswerte, die ordinale Bewertungen sind, die selten normalverteilt sind. Sein p-Wert beantwortet eine präzise Frage: Wie hoch ist die Wahrscheinlichkeit, eine so große Lücke zu beobachten, wenn die beiden Modelle tatsächlich gleich wären? Unter 0,05 wird die Hypothese des einfachen Zufalls schwer zu verteidigen sein.
from scipy import stats
def test_significativite(scores_a: list[float], scores_b: list[float]):
"""Testet, ob der Unterschied zwischen A und B signifikant ist."""
stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")
moy_a = sum(scores_a) / len(scores_a)
moy_b = sum(scores_b) / len(scores_b)
print(f"Mittelwert A: {moy_a:.3f}")
print(f"Mittelwert B: {moy_b:.3f}")
print(f"p-Wert: {p_value:.4f}")
if p_value < 0.05:
gagnant = "B (feinabgestimmt)" if moy_b > moy_a else "A (Basis)"
print(f"Signifikante Differenz — {gagnant} ist besser")
else:
print("Keine signifikante Differenz")
Graduelles Hochskalieren
Selbst ein erfolgreicher Test rechtfertigt nicht, den gesamten Traffic über Nacht zu wechseln: Ein Fehler, der nur einmal in tausend Fällen auftritt, bleibt auf einer Stichprobe unsichtbar und wird bei vollem Volumen sehr sichtbar. Gehen Sie in einwöchigen Phasen vor und prüfen Sie Ihre Metriken an jedem Schritt, bevor Sie die nächste öffnen.
- Phase 1 (1 Woche): 10 % Traffic auf das feinabgestimmte Modell
- Phase 2 (1 Woche): 30 %, wenn die Metriken positiv sind
- Phase 3 (1 Woche): 50 % für den Haupt-A/B-Test
- Phase 4: 100 %, wenn der Test schlüssig ist
Wenn eine Phase Ihre Metriken verschlechtert, kehren Sie zur vorherigen zurück, anstatt die nächste zu öffnen, in der Hoffnung, dass sich die Zahl von selbst erholt. Eine Woche, die man verbringt, um zu verstehen, warum, kostet immer weniger als ein Monat, in dem Traffic von einem enttäuschenden Modell bedient wird.
Kernaussagen
- Geschäftsmetriken sind wichtiger als der Trainingsverlust
- Nutzen Sie deterministisches Hashing für die A/B-Zuweisung
- Warten Sie auf statistische Signifikanz, bevor Sie Schlüsse ziehen (p < 0,05)
- Skalieren Sie schrittweise: 10 %, 30 %, 50 %, 100 %
- Messen Sie Kosten und Latenz zusätzlich zur Qualität