Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

A/B tesztelés és üzleti mutatók

12. lecke 16 közül Frissítve 2026. november 2. Haladó
Ezen az oldalon
  1. Túl a veszteségen: Az üzleti hatás mérése
  2. A/B teszt beállítása
  3. A megfelelő üzleti mutatók kiválasztása
  4. Mérések gyűjtése
  5. A statisztikai szignifikancia kivárása
  6. Fokozatos méretezés
  7. Főbb megállapítások

Frissítés: 2026. november 2. — Fine-tuning elérhetőség. Az OpenAI saját kezelésű fine-tuning szolgáltatását fokozatosan megszüntetik: 2026. május 7. óta azok a szervezetek, amelyek még sosem használták, már nem hozhatnak létre feladatokat; július 2. óta pedig az elmúlt 60 napban használnod kellett egy finomhangolt modellt; 2027. január 6-tól kezdve egyetlen ügyfél sem indíthat új feladatokat. A már betanított modellek addig használhatók maradnak, amíg az alapmodelljüket ki nem vonják. Ez a tanfolyam továbbra is hasznos egy meglévő modell megértéséhez és kiaknázásához; új projektek esetén azonban a prompt mérnökséget, a RAG-ot és az értékeléseket helyezd előtérbe.

Túl a veszteségen: Az üzleti hatás mérése

A tanítási veszteség (loss) és a minőségi pontszámok önmagukban nem elegendőek. Ami igazán számít, az a finomhangolt modelled hatása az üzleti kulcsmutatóidra (KPI): az ügyfélelégedettség, a megoldási idő, az átalakulási arány. Egy modell generálhat olyan válaszokat, amelyeket az értékelőid elegánsnak találnak, miközben egyszerre növeli az emberi ügyfélszolgálatosokhoz történő továbbítások arányát. A projekt jövőjét ez a második szám dönti el, nem az első.

A/B teszt beállítása

Egy A/B teszt két variánst hasonlít össze valós körülmények között, valódi forgalommal. Az A csoport, a kontrollcsoport, az alapmodell válaszait kapja meg az optimalizált promptoddal; a B csoport, a tesztcsoport, a finomhangolt modell válaszait kapja. A felhasználókat véletlenszerűen osztod szét a két csoport között, és ugyanazokkal a mutatókkal méred az eredményeket. A gyakorlat teljes érvényessége ezen a hozzárendelésen múlik: ha a B csoport véletlenül csak a legegyszerűbb kéréseket kapná, akkor a látszólagos fölénye csupán ezt a szerencsét mérné, semmi mást.

A choisir_variante függvény ezt a problémát oldja meg a felhasználói azonosító hashelésével. Ez a megközelítés garantálja, hogy ugyanaz a felhasználó mindig ugyanazt a variánst lássa – ez elengedhetetlen, mert a munkamenetek közötti váltás két különböző válaszstílussal ismertetné meg a személyt, és torzítaná az elégedettségi értékelését. Elegendő mennyiség esetén statisztikailag kiegyensúlyozott eloszlást eredményez, és reprodukálható marad: a számítás későbbi újrafuttatása pontosan ugyanazokat a csoportokat adja, lehetővé téve egy elfelejtett mutató újraszámítását a teszt újraindítása nélkül.

import random
import hashlib
from openai import OpenAI

client = OpenAI()

MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."

def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
    """Assigns a user to group A or B deterministically."""
    h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
    return "B" if (h % 100) < pourcentage_test else "A"

def repondre(user_id: str, question: str) -> dict:
    """Responds with the correct model based on the A/B group."""
    variante = choisir_variante(user_id)

    if variante == "A":
        response = client.responses.create(
            model=MODELE_BASE,
            instructions=PROMPT_BASE,
            input=question
        )
    else:
        response = client.responses.create(
            model=MODELE_FT,
            input=question
        )

    return {
        "variante": variante,
        "modele": MODELE_BASE if variante == "A" else MODELE_FT,
        "reponse": response.output_text,
        "user_id": user_id
    }

A megfelelő üzleti mutatók kiválasztása

A nyomon követendő mutatók teljes mértékben attól függenek, mit kell teljesítenie az asszisztensednek, és minden felhasználási esetcsaládnak megvannak a maga sajátosságai.

Egy ügyfélszolgálati szolgáltatás esetén az első kontaktusra történő megoldás aránya (first-contact resolution rate) ad választ a legkonkrétabb kérdésre: kellett-e a felhasználónak újra kapcsolatba lépnie a támogatással? A CSAT-pontszám, egy az interakció után begyűjtött 1-től 5-ig terjedő elégedettségi értékelés, olyan érzelmeket ragad meg, amelyeket az automatizált mutatók nem észlelnek. A megoldási idő a teljes beszélgetés időtartamát méri, míg a továbbítási arány (escalation rate) – az emberi ügyintézőhöz átadott beszélgetések hányada – a modell kudarcának beismeréseként értelmezhető az érintett esetekben. A sikeres fine-tuning jellemzően egyszerre csökkenti ezt az utóbbi két mutatót.

Egy értékesítési chatbot esetén a gondolkodásmód lejjebb tolódik. Az átalakulási arány (conversion rate) a vásárláshoz vagy időpontfoglaláshoz vezető beszélgetéseket számlálja; a bevonódási arány (engagement rate), amelyet beszélgetésenkénti üzenetek átlagos számaként fejeznek ki, körültekintő értelmezést igényel, mivel a hosszabb csereérdeklődést vagy félreértést is jelezhet; a lepattanási arány (bounce rate) pedig azokat a felhasználókat izolálja, akik az első üzenet után távoznak, gyakran azért, mert a kezdeti válasz nem találta el a célját.

Osztályozási vagy kinyerési feladatoknál visszatérsz a klasszikus hármashoz. A precizitás (precision) a helyes osztályozások százalékát adja meg, a visszahívás (recall) a ténylegesen észlelt pozitív esetek százalékát, az F1-pontszám pedig, mindkettő harmonikus közepe, megakadályozza, hogy olyan modellel elégedj meg, amely sosem jósolja meg a ritka osztályt csupán a hibák elkerülése érdekében.

Mérések gyűjtése

Ezek a mutatók haszontalanok, ha három különálló táblázatban élnek. Egyetlen gyűjtő, amelyet minden interakciónál táplálsz, megőrzi a variánst a mutató mellett, és lehetővé teszi egy összehasonlító jelentés előállítását egyetlen paranccsal. Az alábbi ABTracker osztály ezt a minimális munkát végzi el: naplóz, majd csoportosít variáns szerint, és kiszámítja az átlagokat és arányokat.

import datetime

class ABTracker:
    """Metric collector for A/B testing."""

    def __init__(self):
        self.events = []

    def log_interaction(
        self,
        user_id: str,
        variante: str,
        question: str,
        reponse: str,
        metriques: dict
    ):
        """Records an interaction with its metrics."""
        self.events.append({
            "timestamp": datetime.datetime.now().isoformat(),
            "user_id": user_id,
            "variante": variante,
            "question": question,
            "reponse": reponse,
            **metriques
        })

    def rapport(self) -> dict:
        """Generates a comparative A vs B report."""
        groupes = {"A": [], "B": []}
        for e in self.events:
            groupes[e["variante"]].append(e)

        rapport = {}
        for variante, events in groupes.items():
            if not events:
                continue
            rapport[variante] = {
                "nb_interactions": len(events),
                "csat_moyen": self._moyenne(events, "csat"),
                "resolution_premier_contact": self._taux(events, "resolu"),
                "temps_moyen_sec": self._moyenne(events, "temps_resolution"),
            }

        return rapport

    def _moyenne(self, events, cle):
        vals = [e[cle] for e in events if cle in e and e[cle] is not None]
        return sum(vals) / len(vals) if vals else None

    def _taux(self, events, cle):
        vals = [e[cle] for e in events if cle in e]
        return sum(vals) / len(vals) * 100 if vals else None

tracker = ABTracker()

A statisztikai szignifikancia kivárása

Ne vonj le túl korán következtetéseket. Csoportonként húsz interakció után egy 0,4 pontos CSAT-különbségnek nincs értéke: három elégedett ügyfél is elég ahhoz, hogy előállítsa. Elegendő számú interakcióra van szükséged ahhoz, hogy az eredmények szignifikánsak legyenek, és az alábbi referenciaértékek megadják azt a nagyságrendet, amelyre törekedned kell, mielőtt egyáltalán ránéznél a számokra.

100
Minimum per group
500+
For reliable results
p < 0.05
Significance threshold

Ha eléred ezt a mennyiséget, egy statisztikai teszt dönt helyetted. A Mann-Whitney teszt jól működik az elégedettségi pontszámoknál, amelyek ordinális besorolások, és ritkán követnek normális eloszlást. A p-értéke egy pontos kérdésre ad választ: mekkora a valószínűsége annak, hogy ekkora különbséget figyeljünk meg, ha a két modell valójában egyenlő lenne? 0,05 alatt a puszta véletlen hipotézisét nehéz megvédeni.

from scipy import stats

def test_significativite(scores_a: list[float], scores_b: list[float]):
    """Tests whether the difference between A and B is significant."""
    stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")

    moy_a = sum(scores_a) / len(scores_a)
    moy_b = sum(scores_b) / len(scores_b)

    print(f"Mean A: {moy_a:.3f}")
    print(f"Mean B: {moy_b:.3f}")
    print(f"p-value: {p_value:.4f}")

    if p_value < 0.05:
        gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
        print(f"Significant difference — {gagnant} is better")
    else:
        print("No significant difference")

Fokozatos méretezés

Még egy sikeres teszt sem indokolja, hogy egyik napról a másikra az összes forgalmat átirányítsd: egy hiba, amely csak ezredenként jelenik meg, láthatatlan marad egy mintán, de teljes volumen mellett nagyon is láthatóvá válik. Haladj egyhetes szakaszokban, minden lépésnél ellenőrizd a mutatóidat, mielőtt megnyitnád a következőt.

  1. 1. fázis (1 hét): 10% forgalom a finomhangolt modellen
  2. 2. fázis (1 hét): 30%, ha a mutatók pozitívak
  3. 3. fázis (1 hét): 50% a fő A/B teszthez
  4. 4. fázis: 100%, ha a teszt meggyőző

Ha egy szakasz rontja a mutatóidat, lépj vissza az előzőre, ahelyett, hogy megnyitnád a következőt abban a reményben, hogy a szám magától helyreáll. Egy hét, amit annak megértésére szánsz, miért történt a romlás, mindig olcsóbb, mint egy hónapnyi, egy csalódást keltő modell által kiszolgált forgalom.

Főbb megállapítások

  • Az üzleti mutatók fontosabbak, mint a tanítási veszteség
  • Használj determinisztikus hashelést az A/B hozzárendeléshez
  • Várd meg a statisztikai szignifikanciát, mielőtt következtetnél (p < 0,05)
  • Fokozatos telepítés: 10%, 30%, 50%, 100%
  • A minőség mellett a költségeket és a késleltetést is mérd