A/B tesztelés és üzleti mutatók
Ezen az oldalon
Frissítés: 2026. november 2. — Fine-tuning elérhetőség. Az OpenAI saját kezelésű fine-tuning szolgáltatását fokozatosan megszüntetik: 2026. május 7. óta azok a szervezetek, amelyek még sosem használták, már nem hozhatnak létre feladatokat; július 2. óta pedig az elmúlt 60 napban használnod kellett egy finomhangolt modellt; 2027. január 6-tól kezdve egyetlen ügyfél sem indíthat új feladatokat. A már betanított modellek addig használhatók maradnak, amíg az alapmodelljüket ki nem vonják. Ez a tanfolyam továbbra is hasznos egy meglévő modell megértéséhez és kiaknázásához; új projektek esetén azonban a prompt mérnökséget, a RAG-ot és az értékeléseket helyezd előtérbe.
Túl a veszteségen: Az üzleti hatás mérése
A tanítási veszteség (loss) és a minőségi pontszámok önmagukban nem elegendőek. Ami igazán számít, az a finomhangolt modelled hatása az üzleti kulcsmutatóidra (KPI): az ügyfélelégedettség, a megoldási idő, az átalakulási arány. Egy modell generálhat olyan válaszokat, amelyeket az értékelőid elegánsnak találnak, miközben egyszerre növeli az emberi ügyfélszolgálatosokhoz történő továbbítások arányát. A projekt jövőjét ez a második szám dönti el, nem az első.
A/B teszt beállítása
Egy A/B teszt két variánst hasonlít össze valós körülmények között, valódi forgalommal. Az A csoport, a kontrollcsoport, az alapmodell válaszait kapja meg az optimalizált promptoddal; a B csoport, a tesztcsoport, a finomhangolt modell válaszait kapja. A felhasználókat véletlenszerűen osztod szét a két csoport között, és ugyanazokkal a mutatókkal méred az eredményeket. A gyakorlat teljes érvényessége ezen a hozzárendelésen múlik: ha a B csoport véletlenül csak a legegyszerűbb kéréseket kapná, akkor a látszólagos fölénye csupán ezt a szerencsét mérné, semmi mást.
A choisir_variante függvény ezt a problémát oldja meg a felhasználói azonosító hashelésével. Ez a megközelítés garantálja, hogy ugyanaz a felhasználó mindig ugyanazt a variánst lássa – ez elengedhetetlen, mert a munkamenetek közötti váltás két különböző válaszstílussal ismertetné meg a személyt, és torzítaná az elégedettségi értékelését. Elegendő mennyiség esetén statisztikailag kiegyensúlyozott eloszlást eredményez, és reprodukálható marad: a számítás későbbi újrafuttatása pontosan ugyanazokat a csoportokat adja, lehetővé téve egy elfelejtett mutató újraszámítását a teszt újraindítása nélkül.
import random
import hashlib
from openai import OpenAI
client = OpenAI()
MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."
def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
"""Assigns a user to group A or B deterministically."""
h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
return "B" if (h % 100) < pourcentage_test else "A"
def repondre(user_id: str, question: str) -> dict:
"""Responds with the correct model based on the A/B group."""
variante = choisir_variante(user_id)
if variante == "A":
response = client.responses.create(
model=MODELE_BASE,
instructions=PROMPT_BASE,
input=question
)
else:
response = client.responses.create(
model=MODELE_FT,
input=question
)
return {
"variante": variante,
"modele": MODELE_BASE if variante == "A" else MODELE_FT,
"reponse": response.output_text,
"user_id": user_id
}
A megfelelő üzleti mutatók kiválasztása
A nyomon követendő mutatók teljes mértékben attól függenek, mit kell teljesítenie az asszisztensednek, és minden felhasználási esetcsaládnak megvannak a maga sajátosságai.
Egy ügyfélszolgálati szolgáltatás esetén az első kontaktusra történő megoldás aránya (first-contact resolution rate) ad választ a legkonkrétabb kérdésre: kellett-e a felhasználónak újra kapcsolatba lépnie a támogatással? A CSAT-pontszám, egy az interakció után begyűjtött 1-től 5-ig terjedő elégedettségi értékelés, olyan érzelmeket ragad meg, amelyeket az automatizált mutatók nem észlelnek. A megoldási idő a teljes beszélgetés időtartamát méri, míg a továbbítási arány (escalation rate) – az emberi ügyintézőhöz átadott beszélgetések hányada – a modell kudarcának beismeréseként értelmezhető az érintett esetekben. A sikeres fine-tuning jellemzően egyszerre csökkenti ezt az utóbbi két mutatót.
Egy értékesítési chatbot esetén a gondolkodásmód lejjebb tolódik. Az átalakulási arány (conversion rate) a vásárláshoz vagy időpontfoglaláshoz vezető beszélgetéseket számlálja; a bevonódási arány (engagement rate), amelyet beszélgetésenkénti üzenetek átlagos számaként fejeznek ki, körültekintő értelmezést igényel, mivel a hosszabb csereérdeklődést vagy félreértést is jelezhet; a lepattanási arány (bounce rate) pedig azokat a felhasználókat izolálja, akik az első üzenet után távoznak, gyakran azért, mert a kezdeti válasz nem találta el a célját.
Osztályozási vagy kinyerési feladatoknál visszatérsz a klasszikus hármashoz. A precizitás (precision) a helyes osztályozások százalékát adja meg, a visszahívás (recall) a ténylegesen észlelt pozitív esetek százalékát, az F1-pontszám pedig, mindkettő harmonikus közepe, megakadályozza, hogy olyan modellel elégedj meg, amely sosem jósolja meg a ritka osztályt csupán a hibák elkerülése érdekében.
Mérések gyűjtése
Ezek a mutatók haszontalanok, ha három különálló táblázatban élnek. Egyetlen gyűjtő, amelyet minden interakciónál táplálsz, megőrzi a variánst a mutató mellett, és lehetővé teszi egy összehasonlító jelentés előállítását egyetlen paranccsal. Az alábbi ABTracker osztály ezt a minimális munkát végzi el: naplóz, majd csoportosít variáns szerint, és kiszámítja az átlagokat és arányokat.
import datetime
class ABTracker:
"""Metric collector for A/B testing."""
def __init__(self):
self.events = []
def log_interaction(
self,
user_id: str,
variante: str,
question: str,
reponse: str,
metriques: dict
):
"""Records an interaction with its metrics."""
self.events.append({
"timestamp": datetime.datetime.now().isoformat(),
"user_id": user_id,
"variante": variante,
"question": question,
"reponse": reponse,
**metriques
})
def rapport(self) -> dict:
"""Generates a comparative A vs B report."""
groupes = {"A": [], "B": []}
for e in self.events:
groupes[e["variante"]].append(e)
rapport = {}
for variante, events in groupes.items():
if not events:
continue
rapport[variante] = {
"nb_interactions": len(events),
"csat_moyen": self._moyenne(events, "csat"),
"resolution_premier_contact": self._taux(events, "resolu"),
"temps_moyen_sec": self._moyenne(events, "temps_resolution"),
}
return rapport
def _moyenne(self, events, cle):
vals = [e[cle] for e in events if cle in e and e[cle] is not None]
return sum(vals) / len(vals) if vals else None
def _taux(self, events, cle):
vals = [e[cle] for e in events if cle in e]
return sum(vals) / len(vals) * 100 if vals else None
tracker = ABTracker()
A statisztikai szignifikancia kivárása
Ne vonj le túl korán következtetéseket. Csoportonként húsz interakció után egy 0,4 pontos CSAT-különbségnek nincs értéke: három elégedett ügyfél is elég ahhoz, hogy előállítsa. Elegendő számú interakcióra van szükséged ahhoz, hogy az eredmények szignifikánsak legyenek, és az alábbi referenciaértékek megadják azt a nagyságrendet, amelyre törekedned kell, mielőtt egyáltalán ránéznél a számokra.
Ha eléred ezt a mennyiséget, egy statisztikai teszt dönt helyetted. A Mann-Whitney teszt jól működik az elégedettségi pontszámoknál, amelyek ordinális besorolások, és ritkán követnek normális eloszlást. A p-értéke egy pontos kérdésre ad választ: mekkora a valószínűsége annak, hogy ekkora különbséget figyeljünk meg, ha a két modell valójában egyenlő lenne? 0,05 alatt a puszta véletlen hipotézisét nehéz megvédeni.
from scipy import stats
def test_significativite(scores_a: list[float], scores_b: list[float]):
"""Tests whether the difference between A and B is significant."""
stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")
moy_a = sum(scores_a) / len(scores_a)
moy_b = sum(scores_b) / len(scores_b)
print(f"Mean A: {moy_a:.3f}")
print(f"Mean B: {moy_b:.3f}")
print(f"p-value: {p_value:.4f}")
if p_value < 0.05:
gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
print(f"Significant difference — {gagnant} is better")
else:
print("No significant difference")
Fokozatos méretezés
Még egy sikeres teszt sem indokolja, hogy egyik napról a másikra az összes forgalmat átirányítsd: egy hiba, amely csak ezredenként jelenik meg, láthatatlan marad egy mintán, de teljes volumen mellett nagyon is láthatóvá válik. Haladj egyhetes szakaszokban, minden lépésnél ellenőrizd a mutatóidat, mielőtt megnyitnád a következőt.
- 1. fázis (1 hét): 10% forgalom a finomhangolt modellen
- 2. fázis (1 hét): 30%, ha a mutatók pozitívak
- 3. fázis (1 hét): 50% a fő A/B teszthez
- 4. fázis: 100%, ha a teszt meggyőző
Ha egy szakasz rontja a mutatóidat, lépj vissza az előzőre, ahelyett, hogy megnyitnád a következőt abban a reményben, hogy a szám magától helyreáll. Egy hét, amit annak megértésére szánsz, miért történt a romlás, mindig olcsóbb, mint egy hónapnyi, egy csalódást keltő modell által kiszolgált forgalom.
Főbb megállapítások
- Az üzleti mutatók fontosabbak, mint a tanítási veszteség
- Használj determinisztikus hashelést az A/B hozzárendeléshez
- Várd meg a statisztikai szignifikanciát, mielőtt következtetnél (p < 0,05)
- Fokozatos telepítés: 10%, 30%, 50%, 100%
- A minőség mellett a költségeket és a késleltetést is mérd