Testy A/B a obchodné metriky
Na tejto strane
Aktualizácia 2. novembra 2026 — Dostupnosť jemného doladenia. Služba vlastného jemného doladenia od OpenAI sa postupne ukončuje: od 7. mája 2026 organizácie, ktoré ju nikdy nepoužili, už nemôžu vytvárať nové úlohy; od 2. júla musíte mať použitý jemne doladený model za posledných 60 dní; a od 6. januára 2027 žiadny zákazník nebude môcť spustiť nové úlohy. Už natrénované modely zostávajú použiteľné až do vyradenia ich základného modelu. Tento kurz zostáva užitočný na pochopenie a využitie existujúceho modelu; pre nové projekty uprednostnite inžinierstvo promptov, RAG a evaluácie.
Viac než strata: Meranie obchodného dopadu
Strata počas trénovania a skóre kvality nestačia. To, na čom skutočne záleží, je dopad vášho jemne doladeného modelu na vaše obchodné KPI: spokojnosť zákazníkov, čas riešenia, miera konverzie. Model môže generovať odpovede, ktoré vaši recenzenti považujú za elegantné, no zároveň zvyšovať mieru eskalácie na vašich ľudských agentov. Práve toto druhé číslo rozhoduje o budúcnosti projektu, nie to prvé.
Nastavenie testu A/B
Test A/B porovnáva dve varianty v reálnych podmienkach so skutočnou premávkou. Skupina A, kontrolná skupina, dostáva odpovede zo základného modelu s vaším optimalizovaným promptom; skupina B, testovacia skupina, dostáva odpovede z jemne doladeného modelu. Používatelia sú náhodne priradení do oboch skupín a výsledky meriate pomocou rovnakých metrík. Celá platnosť tohto cvičenia závisí od tohto priradenia: ak by skupina B náhodou dostala iba najjednoduchšie požiadavky, jej zdanlivá nadradenosť by nemerala nič iné než toto šťastie.
Funkcia choisir_variante tento problém rieši hashovaním ID používateľa. Tento prístup garantuje, že ten istý používateľ vždy uvidí tú istú variantu – čo je nevyhnutné, pretože striedanie medzi reláciami by vystavilo osobu dvom štýlom odpovedí a skreslilo jej hodnotenie spokojnosti. Po dosiahnutí dostatočného objemu produkuje štatisticky vyvážené rozdelenie a zostáva reprodukovateľné: opätovné spustenie výpočtu neskôr priniesne presne tie isté skupiny, čo vám umožní prepočítať zabudnutú metriku bez potreby znovu spúšťať test.
import random
import hashlib
from openai import OpenAI
client = OpenAI()
MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."
def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
"""Priradí používateľa deterministicky do skupiny A alebo B."""
h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
return "B" if (h % 100) < pourcentage_test else "A"
def repondre(user_id: str, question: str) -> dict:
"""Odpovie správnym modelom na základe skupiny A/B."""
variante = choisir_variante(user_id)
if variante == "A":
response = client.responses.create(
model=MODELE_BASE,
instructions=PROMPT_BASE,
input=question
)
else:
response = client.responses.create(
model=MODELE_FT,
input=question
)
return {
"variante": variante,
"modele": MODELE_BASE if variante == "A" else MODELE_FT,
"reponse": response.output_text,
"user_id": user_id
}
Výber správnych obchodných metrík
Ukazovatele, ktoré treba sledovať, závisia úplne od toho, čo má váš asistent poskytovať, a každá rodina prípadov použitia má svoje vlastné.
Pre službu zákazníckej podpory miera riešenia pri prvom kontakte odpovedá na najkonkrétnejšiu otázku: potreboval používateľ kontaktovať podporu znova? Skóre CSAT, hodnotenie spokojnosti od 1 do 5 získané po interakcii, zachytáva sentiment, ktorý automatizované metriky prehliadajú. Čas riešenia meria celkové trvanie výmeny a miera eskalácie – časť konverzácií postúpených človeku – sa chápe ako priznanie zlyhania modelu v daných prípadoch. Úspešné jemné doladenie typicky súčasne znižuje obe tieto posledné uvedené hodnoty.
Pre predajného chatbota sa logika posúva ďalej. Miera konverzie počíta konverzácie vedúce k nákupu alebo stretnutiu; miera zapojenia, vyjadrená ako priemerný počet správ na konverzáciu, si vyžaduje opatrnú interpretáciu, keďže dlhšia výmena môže signalizovať záujem aj nepochopenie; miera odchodov izoluje používateľov, ktorí odídu po prvej správe, často preto, že počiatočná odpoveď netrafila cieľ.
Pre úlohu klasifikácie alebo extrakcie sa vraciate ku klasickej trojici. Precíznosť udáva percento správnych klasifikácií, úplnosť percento pozitívnych prípadov, ktoré boli skutočne odhalené, a skóre F1, harmonický priemer oboch, zabraňuje uspokojiť sa s modelom, ktorý nikdy nepredpovedá zriedkavú triedu len aby sa vyhol chybám.
Zber meraní
Tieto ukazovatele sú zbytočné, ak žijú v troch oddelených tabuľkách. Jediný zberač, napájaný pri každej interakcii, uchováva variantu spolu s metrikou a umožňuje vytvoriť porovnávaciu správu jediným príkazom. Trieda ABTracker nižšie robí túto minimálnu prácu: zaznamenáva, potom zoskupuje podľa varianty a vypočítava priemery a miery.
import datetime
class ABTracker:
"""Zberač metrík pre testovanie A/B."""
def __init__(self):
self.events = []
def log_interaction(
self,
user_id: str,
variante: str,
question: str,
reponse: str,
metriques: dict
):
"""Zaznamená interakciu s jej metrikami."""
self.events.append({
"timestamp": datetime.datetime.now().isoformat(),
"user_id": user_id,
"variante": variante,
"question": question,
"reponse": reponse,
**metriques
})
def rapport(self) -> dict:
"""Generuje porovnávaciu správu A vs B."""
groupes = {"A": [], "B": []}
for e in self.events:
groupes[e["variante"]].append(e)
rapport = {}
for variante, events in groupes.items():
if not events:
continue
rapport[variante] = {
"nb_interactions": len(events),
"csat_moyen": self._moyenne(events, "csat"),
"resolution_premier_contact": self._taux(events, "resolu"),
"temps_moyen_sec": self._moyenne(events, "temps_resolution"),
}
return rapport
def _moyenne(self, events, cle):
vals = [e[cle] for e in events if cle in e and e[cle] is not None]
return sum(vals) / len(vals) if vals else None
def _taux(self, events, cle):
vals = [e[cle] for e in events if cle in e]
return sum(vals) / len(vals) * 100 if vals else None
tracker = ABTracker()
Čakanie na štatistickú významnosť
Nerob závery príliš skoro. Po dvadsiatich interakciách na skupinu nemá rozdiel v CSAT o 0,4 bodu žiadnu hodnotu: stačia traja spokojní zákazníci, aby ho vyprodukovali. Potrebuješ dostatok interakcií, aby boli výsledky významné, a nižšie uvedené referenčné hodnoty ti dávajú rádové číslo, na ktoré máš mieriť ešte predtým, než sa pozrieš na čísla.
Akonáhle dosiahneš tento objem, štatistický test rozhodne za teba. Mann-Whitneyov test dobre funguje pre skóre spokojnosti, ktoré sú ordinálne hodnotenia zriedkavo normálne rozdelené. Jeho p-hodnota odpovedá na presnú otázku: aká je pravdepodobnosť pozorovania takého veľkého rozdielu, ak by boli oba modely v skutočnosti rovnaké? Pod hodnotou 0,05 sa hypotézu o čistej náhode ťažko obhajuje.
from scipy import stats
def test_significativite(scores_a: list[float], scores_b: list[float]):
"""Testuje, či je rozdiel medzi A a B významný."""
stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")
moy_a = sum(scores_a) / len(scores_a)
moy_b = sum(scores_b) / len(scores_b)
print(f"Mean A: {moy_a:.3f}")
print(f"Mean B: {moy_b:.3f}")
print(f"p-value: {p_value:.4f}")
if p_value < 0.05:
gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
print(f"Significant difference — {gagnant} is better")
else:
print("No significant difference")
Postupné škálovanie
Ani úspešný test neoprávňuje k okamžitému presmerovaniu celej premávky: chyba, ktorá sa objaví len raz z tisíca, zostane na vzorke neviditeľná a pri plnom objeme sa stane veľmi viditeľnou. Postupuj v týždenných etapách a pri každom kroku skontroluj svoje metriky pred otvorením ďalšej etapy.
- Fáza 1 (1 týždeň): 10 % premávky na jemne doladenom modeli
- Fáza 2 (1 týždeň): 30 %, ak sú metriky pozitívne
- Fáza 3 (1 týždeň): 50 % pre hlavný test A/B
- Fáza 4: 100 %, ak je test presvedčivý
Ak niektorá etapa zhorší tvoje metriky, vráť sa na predchádzajúcu namiesto toho, aby si otváral ďalšiu v nádeji, že sa číslo samo obnoví. Týždeň strávený pochopením príčiny vždy stojí menej ako mesiac premávky obsluhovanej sklamaním vyvolávajúcim modelom.
Kľúčové poznatky
- Obchodné metriky sú dôležitejšie než strata počas trénovania
- Použi deterministické hashovanie pre priradenie v teste A/B
- Počkaj na štatistickú významnosť pred vyvodením záverov (p < 0,05)
- Nasadzuj postupne: 10 %, 30 %, 50 %, 100 %
- Meraj náklady a latenciu navyše ku kvalite