A/B-test og forretningsmål
På denne side
Opdatering 2. november 2026 — Tilgængelighed af finjustering. OpenAIs selvbetjente finjustering udfases: siden 7. maj 2026 kan organisationer, der aldrig har brugt tjenesten, ikke længere oprette jobs; siden 2. juli skal du have brugt en finjusteret model inden for de sidste 60 dage; og fra 6. januar 2027 vil ingen kunder kunne starte nye jobs. Allerede trænede modeller forbliver brugbare, indtil deres basismodel udgår. Dette kursus er stadig nyttigt til at forstå og udnytte en eksisterende model; til nye projekter bør du prioritere prompt engineering, RAG og evalueringer.
Ud over tab: Måling af forretningsværdi
Træningstab og kvalitetsscoringer er ikke nok. Det, der virkelig betyder noget, er din finjusterede models indvirkning på dine forretnings-KPI’er: kundetilfredshed, løsningstid og konverteringsrate. En model kan producere svar, som dine anmeldere finder elegante, mens den samtidig øger eskaleringsraten til dine menneskelige agenter. Det andet tal afgør projektets fremtid, ikke det første.
Opsætning af en A/B-test
En A/B-test sammenligner to varianter under virkelige forhold med autentisk trafik. Gruppe A, kontrolgruppen, modtager svar fra basismodellen med din optimerede prompt; Gruppe B, testgruppen, får svar fra den finjusterede model. Brugere tildeles tilfældigt til begge grupper, og du måler resultaterne ved hjælp af de samme metrikker. Hele øvelsens validitet hviler på denne tildeling: Hvis Gruppe B tilfældigvis modtager de enkleste forespørgsler, måler dens tilsyneladende overlegenhed intet andet end held.
Funktionen choisir_variante løser dette problem ved at hashe bruger-ID’et. Denne tilgang garanterer, at den samme bruger altid ser den samme variant – hvilket er afgørende, fordi skift mellem sessioner ville udsætte personen for to svarstilarter og fordreje deres tilfredshedsvurdering. Den producerer en statistisk afbalanceret fordeling, når volumen er tilstrækkeligt, og den forbliver reproducerbar: Genkørsel af beregningen senere giver præcis de samme grupper, så du kan genberegne en glemt metrik uden at genstarte testen.
import random
import hashlib
from openai import OpenAI
client = OpenAI()
MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."
def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
"""Assigns a user to group A or B deterministically."""
h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
return "B" if (h % 100) < pourcentage_test else "A"
def repondre(user_id: str, question: str) -> dict:
"""Responds with the correct model based on the A/B group."""
variante = choisir_variante(user_id)
if variante == "A":
response = client.responses.create(
model=MODELE_BASE,
instructions=PROMPT_BASE,
input=question
)
else:
response = client.responses.create(
model=MODELE_FT,
input=question
)
return {
"variante": variante,
"modele": MODELE_BASE if variante == "A" else MODELE_FT,
"reponse": response.output_text,
"user_id": user_id
}
Valg af de rigtige forretningsmål
De indikatorer, du skal spore, afhænger helt af, hvad din assistent skal levere, og hver brugssagsfamilie har sine egne.
For en kundesupporttjeneste besvarer løsingsraten ved første kontakt det mest konkrete spørgsmål: Skulle brugeren kontakte supporten igen? CSAT-scoren, en tilfredshedsvurdering fra 1 til 5 indsamlet efter interaktionen, fanger stemninger, som automatiserede metrikker overser. Løsningstid måler den samlede varighed af udvekslingen, og eskaleringsraten – den del af samtalerne, der overføres til et menneske – læses som en indrømmelse af modelsvigt i de pågældende tilfælde. En vellykket finjustering sænker typisk begge dele samtidigt.
For en salg-chatbot flyttes ræsonnementet længere ned i tragtlen. Konverteringsraten tæller samtaler, der fører til et køb eller en aftale; engagementsraten, udtrykt som det gennemsnitlige antal beskeder per samtale, kræver omhyggelig fortolkning, da en længere udveksling kan signalere enten interesse eller misforståelse; bounce-raten isolerer brugere, der forlader chatten efter den første besked, ofte fordi det første svar ramte ved siden af.
For en klassificerings- eller ekstraktionsopgave vender du tilbage til den klassiske trio. Præcision angiver procentdelen af korrekte klassifikationer, recall procentdelen af positive tilfælde, der faktisk blev opdaget, og F1-scoren, det harmoniske gennemsnit af begge, forhindrer dig i at nøjes med en model, der aldrig forudsiger den sjældne klasse blot for at undgå fejl.
Indsamling af målinger
Disse indikatorer er ubrugelige, hvis de lever i tre separate regneark. En enkelt indsamler, der fodres ved hver interaktion, holder varianten sammen med metrikken og muliggør produktion af en sammenlignende rapport med en enkelt kommando. Klassen ABTracker nedenfor udfører dette minimale arbejde: den logger, grupperer derefter efter variant og beregner gennemsnit og rater.
import datetime
class ABTracker:
"""Metric collector for A/B testing."""
def __init__(self):
self.events = []
def log_interaction(
self,
user_id: str,
variante: str,
question: str,
reponse: str,
metriques: dict
):
"""Records an interaction with its metrics."""
self.events.append({
"timestamp": datetime.datetime.now().isoformat(),
"user_id": user_id,
"variante": variante,
"question": question,
"reponse": reponse,
**metriques
})
def rapport(self) -> dict:
"""Generates a comparative A vs B report."""
groupes = {"A": [], "B": []}
for e in self.events:
groupes[e["variante"]].append(e)
rapport = {}
for variante, events in groupes.items():
if not events:
continue
rapport[variante] = {
"nb_interactions": len(events),
"csat_moyen": self._moyenne(events, "csat"),
"resolution_premier_contact": self._taux(events, "resolu"),
"temps_moyen_sec": self._moyenne(events, "temps_resolution"),
}
return rapport
def _moyenne(self, events, cle):
vals = [e[cle] for e in events if cle in e and e[cle] is not None]
return sum(vals) / len(vals) if vals else None
def _taux(self, events, cle):
vals = [e[cle] for e in events if cle in e]
return sum(vals) / len(vals) * 100 if vals else None
tracker = ABTracker()
Vent på statistisk signifikans
Drag ikke konklusioner for tidligt. Efter tyve interaktioner per gruppe har et CSAT-gab på 0,4 point ingen værdi: tre glade kunder er nok til at producere det. Du har brug for nok interaktioner til, at resultaterne er signifikante, og benchmarksene nedenfor giver dig størrelsesordenen, du skal sigte efter, før du overhovedet kigger på tallene.
Når du når det volumen, træffer en statistisk test afgørelsen for dig. Mann-Whitney-testen fungerer godt til tilfredshedsscoringer, som er ordinale vurderinger, der sjældent er normalfordelte. Dens p-værdi besvarer et præcist spørgsmål: Hvad er sandsynligheden for at observere et så stort gab, hvis de to modeller faktisk var ens? Under 0,05 bliver hypotesen om simpelt held svær at forsvare.
from scipy import stats
def test_significativite(scores_a: list[float], scores_b: list[float]):
"""Tests whether the difference between A and B is significant."""
stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")
moy_a = sum(scores_a) / len(scores_a)
moy_b = sum(scores_b) / len(scores_b)
print(f"Mean A: {moy_a:.3f}")
print(f"Mean B: {moy_b:.3f}")
print(f"p-value: {p_value:.4f}")
if p_value < 0.05:
gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
print(f"Significant difference — {gagnant} is better")
else:
print("No significant difference")
Skalér gradvist op
Selv en vellykket test berettiger ikke til at skifte al trafik over natten over: En fejl, der kun optræder én gang ud af tusind, forbliver usynlig på en stikprøve og bliver meget synlig ved fuld volumen. Gå frem i etaper på en uge, og tjek dine metrikker ved hvert skridt, før du åbner for det næste.
- Fase 1 (1 uge): 10 % trafik på den finjusterede model
- Fase 2 (1 uge): 30 %, hvis metrikkerne er positive
- Fase 3 (1 uge): 50 % til den primære A/B-test
- Fase 4: 100 %, hvis testen er konklusiv
Hvis en fase forringer dine metrikker, så gå tilbage til den forrige i stedet for at åbne for den næste i håb om, at tallet vil komme sig af sig selv. En uge brugt på at forstå hvorfor koster altid mindre end en måned med trafik betjent af en skuffende model.
Vigtige pointer
- Forretningsmål betyder mere end træningstab
- Brug deterministisk hashing til A/B-tildeling
- Vent på statistisk signifikans, før du konkluderer (p < 0,05)
- Udrul gradvist: 10 %, 30 %, 50 %, 100 %
- Mål omkostninger og ventetid ud over kvalitet