Testy A/B a obchodní metriky
Na této stránce
Aktualizace 2. listopadu 2026 — Dostupnost jemného ladění. Služba pro vlastní jemné ladění od OpenAI je postupně ukončována: od 7. května 2026 již organizace, které ji nikdy nepoužily, nemohou vytvářet nové úlohy; od 2. července musíte mít model po jemném ladění použitý během posledních 60 dnů; a počínaje 6. lednem 2027 žádný zákazník nebude moci spustit nové úlohy. Již natrénované modely zůstávají použitelné až do vyřazení jejich základního modelu. Tento kurz je stále užitečný pro pochopení a využití stávajícího modelu; u nových projektů dejte přednost inženýrství promptů, RAG a evaluacím.
Víc než jen ztrátová funkce: Měření obchodního dopadu
Hodnoty ztrátové funkce při tréninku a skóre kvality nestačí. To podstatné je dopad vašeho jemně vyladěného modelu na vaše klíčové obchodní ukazatele (KPI): spokojenost zákazníků, doba řešení, míra konverze. Model může generovat odpovědi, které vaši recenzenti považují za elegantní, ale zároveň zvyšovat míru eskalace na vaše lidské agenty. Právě toto druhé číslo rozhoduje o budoucnosti projektu, nikoliv to první.
Nastavení testu A/B
Test A/B porovnává dvě varianty za reálných podmínek s autentickým provozem. Skupina A (kontrolní skupina) dostává odpovědi od základního modelu s vaším optimalizovaným promptem; skupina B (testovací skupina) dostává odpovědi od jemně vyladěného modelu. Uživatelé jsou náhodně přiřazeni do obou skupin a výsledky měříte pomocí stejných metrik. Celá validita tohoto cvičení stojí a padá na tomto přiřazení: pokud by skupina B náhodou dostala pouze nejjednodušší požadavky, její zdánlivá nadřazenost by měřila jen štěstí, nic víc.
Funkce choisir_variante tento problém řeší hašováním ID uživatele. Tento přístup garantuje, že stejný uživatel vždy uvidí stejnou variantu – což je zásadní, protože střídání mezi relacemi by exposed osobu dvěma stylům odpovědí a zkreslilo její hodnocení spokojenosti. Při dostatečném objemu dat produkuje statisticky vyvážené rozdělení a zůstává reprodukovatelné: opětovné spuštění výpočtu později vrátí přesně stejné skupiny, což vám umožní přepočítat zapomenutou metriku bez nutnosti znovu spouštět test.
import random
import hashlib
from openai import OpenAI
client = OpenAI()
MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."
def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
"""Assigns a user to group A or B deterministically."""
h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
return "B" if (h % 100) < pourcentage_test else "A"
def repondre(user_id: str, question: str) -> dict:
"""Responds with the correct model based on the A/B group."""
variante = choisir_variante(user_id)
if variante == "A":
response = client.responses.create(
model=MODELE_BASE,
instructions=PROMPT_BASE,
input=question
)
else:
response = client.responses.create(
model=MODELE_FT,
input=question
)
return {
"variante": variante,
"modele": MODELE_BASE if variante == "A" else MODELE_FT,
"reponse": response.output_text,
"user_id": user_id
}
Výběr správných obchodních metrik
Ukazatele, které máte sledovat, závisí zcela na tom, co má váš asistent dodávat, a každá rodina případů použití má své vlastní.
Pro službu zákaznické podpory je míra vyřešení při prvním kontaktu odpovědí na nejkonzkrétnější otázku: potřeboval uživatel kontaktovat podporu znovu? Skóre CSAT, hodnocení spokojenosti od 1 do 5 sbírané po interakci, zachycuje sentiment, který automatizované metriky přehlédnou. Doba řešení měří celkovou délku výměny a míra eskalace – podíl konverzací předaných člověku – funguje jako přiznání selhání modelu u daných případů. Úspěšné jemné ladění typicky snižuje obě tyto hodnoty současně.
U prodejního chatbota se logika posouvá dále. Míra konverze počítá konverzace vedoucí k nákupu nebo schůzce; míra angažovanosti, vyjádřená jako průměrný počet zpráv na konverzaci, vyžaduje opatrnou interpretaci, protože delší výměna může signalizovat zájem, ale i nepochopení; míra opuštění (bounce rate) izoluje uživatele, kteří odejdou po první zprávě, často proto, že počáteční odpověď minula cíl.
Pro úlohy klasifikace nebo extrakce se vracíte ke klasické trojici. Preciznost udává procento správných klasifikací, úplnost (recall) procento skutečně detekovaných pozitivních případů a F1-skóre, harmonický průměr obou, zabraňuje uspokojení se s modelem, který nikdy nepředpoví vzácnou třídu jen proto, aby se vyhnul chybám.
Sběr měření
Tyto ukazatele jsou k ničemu, pokud žijí ve třech oddělených tabulkách. Jediný sběrač, krmený při každé interakci, uchovává variantu spolu s metrikou a umožňuje vytvořit srovnávací report jediným příkazem. Třída ABTracker níže dělá tuto minimální práci: zaznamenává data, seskupuje je podle varianty a počítá průměry a míry.
import datetime
class ABTracker:
"""Metric collector for A/B testing."""
def __init__(self):
self.events = []
def log_interaction(
self,
user_id: str,
variante: str,
question: str,
reponse: str,
metriques: dict
):
"""Records an interaction with its metrics."""
self.events.append({
"timestamp": datetime.datetime.now().isoformat(),
"user_id": user_id,
"variante": variante,
"question": question,
"reponse": reponse,
**metriques
})
def rapport(self) -> dict:
"""Generates a comparative A vs B report."""
groupes = {"A": [], "B": []}
for e in self.events:
groupes[e["variante"]].append(e)
rapport = {}
for variante, events in groupes.items():
if not events:
continue
rapport[variante] = {
"nb_interactions": len(events),
"csat_moyen": self._moyenne(events, "csat"),
"resolution_premier_contact": self._taux(events, "resolu"),
"temps_moyen_sec": self._moyenne(events, "temps_resolution"),
}
return rapport
def _moyenne(self, events, cle):
vals = [e[cle] for e in events if cle in e and e[cle] is not None]
return sum(vals) / len(vals) if vals else None
def _taux(self, events, cle):
vals = [e[cle] for e in events if cle in e]
return sum(vals) / len(vals) * 100 if vals else None
tracker = ABTracker()
Vyčkání na statistickou významnost
Nedělej závěry příliš brzy. Po dvaceti interakcích na skupinu nemá rozdíl 0,4 bodu v CSAT žádnou hodnotu: stačí tři spokojení zákazníci, aby ho vytvořili. Potřebujete dostatek interakcí, aby byly výsledky významné, a níže uvedené orientační hodnoty vám dávají řád, na který byste měli cílit, než se vůbec podíváte na čísla.
Jakmile dosáhnete tohoto objemu, rozhodne za vás statistický test. Mann-Whitneyův test funguje dobře pro skóre spokojenosti, což jsou ordinální hodnocení, která zřídka následují normální rozdělení. Jeho p-hodnota odpovídá na přesnou otázku: jaká je pravděpodobnost pozorování tak velkého rozdílu, pokud by byly oba modely ve skutečnosti stejné? Pod hodnotou 0,05 se hypotézu o pouhé náhodě těžko obhajuje.
from scipy import stats
def test_significativite(scores_a: list[float], scores_b: list[float]):
"""Tests whether the difference between A and B is significant."""
stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")
moy_a = sum(scores_a) / len(scores_a)
moy_b = sum(scores_b) / len(scores_b)
print(f"Mean A: {moy_a:.3f}")
print(f"Mean B: {moy_b:.3f}")
print(f"p-value: {p_value:.4f}")
if p_value < 0.05:
gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
print(f"Significant difference — {gagnant} is better")
else:
print("No significant difference")
Postupné škálování
Ani úspěšný test neospravedlňuje přepnutí veškerého provozu přes noc: chyba, která se objeví jen jednou z tisíce, zůstane na vzorku neviditelná a při plném objemu se stane velmi viditelnou. Postupujte v týdenních fázích a při každém kroku zkontrolujte své metriky, než otevřete další.
- Fáze 1 (1 týden): 10 % provozu na jemně vyladěném modelu
- Fáze 2 (1 týden): 30 %, pokud jsou metriky pozitivní
- Fáze 3 (1 týden): 50 % pro hlavní test A/B
- Fáze 4: 100 %, pokud je test průkazný
Pokud některá fáze zhorší vaše metriky, vraťte se na předchozí úroveň místo toho, abyste otevírali další s nadějí, že se číslo samo spraví. Týden strávený pochopením proč vždy stojí méně než měsíc provozu obsluhovaného zklamávajícím modelem.
Klíčové poznatky
- Obchodní metriky jsou důležitější než ztrátová funkce při tréninku
- Pro přiřazení v testu A/B použijte deterministické hašování
- Před vyvozením závěrů vyčkejte na statistickou významnost (p < 0,05)
- Nasazujte postupně: 10 %, 30 %, 50 %, 100 %
- Měřte náklady a latenci navíc ke kvalitě