A/B testavimas ir verslo metrikos
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 2 d. — Derinimo prieinamumas. „OpenAI“ savitarnos derinimo paslauga yra nutraukiama: nuo 2026 m. gegužės 7 d. organizacijos, kurios jos niekada nenaudojo, nebegali kurti užduočių; nuo liepos 2 d. turite būti naudoję derintą modelį per pastaruosius 60 dienų; o nuo 2027 m. sausio 6 d. joks klientas nebegalės paleisti naujų užduočių. Jau apmokyti modeliai lieka naudojami, kol jų bazinis modelis bus nutrauktas. Šis kursas išlieka naudingas norint suprasti ir išnaudoti esamą modelį; naujiems projektams teikite pirmenybę promptų inžinerijai, RAG ir vertinimams.
Ne tik nuostoliai: verslo poveikio matavimas
Mokymo nuostoliai ir kokybės balai nepakanka. Tai, kas iš tikrųjų svarbu, yra jūsų derinto modelio poveikis jūsų verslo pagrindiniams veiklos rezultatams (KPI): klientų pasitenkinimui, sprendimo laikui, konversijos rodikliui. Modelis gali generuoti atsakymus, kuriuos jūsų recenzentai laiko elegantiškais, tačiau tuo pačiu metu didinti eskalavimo į žmogaus agentus rodiklį. Būtent antrasis skaičius lemia projekto ateitį, o ne pirmasis.
A/B testo nustatymas
A/B testas lygina du variantus realiomis sąlygomis naudojant autentišką srautą. A grupė, kontrolinė grupė, gauna atsakymus iš bazinio modelio su jūsų optimizuotu promptu; B grupė, testinė grupė, gauna atsakymus iš derinto modelio. Vartotojai atsitiktinai priskiriami abiem grupėms, o rezultatus matuojate naudodami tuos pačius rodiklius. Visas pratimo patikimumas priklauso nuo šio priskyrimo: jei B grupei atsitiktinai tenka paprasčiausi užklausimai, jos tariamas pranašumas nieko daugiau ir nereiškia, tik tą sėkmę.
Funkcija choisir_variante išsprendžia šią problemą maišydama (hashing) vartotojo ID. Šis požiūris garantuoja, kad tas pats vartotojas visada matys tą patį variantą – tai būtina, nes kaitaliojimas tarp sesijų atskleistų asmeniui du atsakymų stilius ir iškraipytų jo pasitenkinimo vertinimą. Esant pakankamam kiekiui, tai užtikrina statistiškai subalansuotą pasiskirstymą ir lieka atkuriama: vėliau perskaičiavus gaunamos lygiai tos pačios grupės, leidžiančios perskaičiuoti pamirštą metriką nepaleidžiant testo iš naujo.
import random
import hashlib
from openai import OpenAI
client = OpenAI()
MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."
def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
"""Assigns a user to group A or B deterministically."""
h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
return "B" if (h % 100) < pourcentage_test else "A"
def repondre(user_id: str, question: str) -> dict:
"""Responds with the correct model based on the A/B group."""
variante = choisir_variante(user_id)
if variante == "A":
response = client.responses.create(
model=MODELE_BASE,
instructions=PROMPT_BASE,
input=question
)
else:
response = client.responses.create(
model=MODELE_FT,
input=question
)
return {
"variante": variante,
"modele": MODELE_BASE if variante == "A" else MODELE_FT,
"reponse": response.output_text,
"user_id": user_id
}
Tinkamų verslo metrikų pasirinkimas
Stebimi rodikliai visiškai priklauso nuo to, ką jūsų asistentas turi suteikti, ir kiekviena naudojimo atvejų šeima turi savus.
Klientų aptarnavimo tarnybai pirmojo kontakto išsprendimo rodiklis atsako į konkrečiausią klausimą: ar vartotojui teko kreiptis į palaikymą dar kartą? CSAT balas, 1–5 pasitenkinimo įvertis, renkamas po sąveikos, fiksuoja nuotaikas, kurių automatinės metrikos nepastebi. Sprendimo laikas matuoja bendrą pokalbio trukmę, o eskalavimo rodiklis – dalis pokalbių, perduotų žmogui – rodo modelio nesėkmę konkrečiais atvejais. Sėkmingas derinimas paprastai sumažina abu šiuos rodiklius vienu metu.
Pardavimų chatbotui samprotavimas pasislenka žemiau grandinėje. Konversijos rodiklis skaičiuoja pokalbius, baigtus pirkimu ar susitikimu; įsitraukimo rodiklis, išreikštas vidutiniu žinučių skaičiumi pokalbyje, reikalauja atsargaus aiškinimo, nes ilgesnis pokalbis gali reikšti tiek susidomėjimą, tiek nesusipratimą; atmetimo rodiklis išskiria vartotojus, išeinančius po pirmosios žinutės, dažnai todėl, kad pradinis atsakymas nepataikė į taikinį.
Klasifikavimo arba ekstrahavimo užduočiai grįžtama prie klasikinio trejeto. Tikslumas (precision) nurodo teisingai klasifikuotų atvejų procentą, pilnumas (recall) – faktiškai aptiktų teigiamų atvejų procentą, o F1 balas, abiejų harmoninis vidurkis, neleidžia tenkintis modeliu, kuris niekada nenumato retos klasės vien tam, kad išvengtų klaidų.
Matavimų rinkimas
Šie rodikliai yra nenaudingi, jei jie gyvena trijuose atskiruose skaičiuoklės lapuose. Vienas rinktuvas, maitinamas kiekvienos sąveikos metu, išlaiko variantą kartu su metrika ir leidžia viena komanda sugeneruoti lyginamąją ataskaitą. Toliau pateikta ABTracker klasė atlieka šį minimalų darbą: ji registruoja, sugrupuoja pagal variantą ir apskaičiuoja vidurkius bei rodiklius.
import datetime
class ABTracker:
"""Metric collector for A/B testing."""
def __init__(self):
self.events = []
def log_interaction(
self,
user_id: str,
variante: str,
question: str,
reponse: str,
metriques: dict
):
"""Records an interaction with its metrics."""
self.events.append({
"timestamp": datetime.datetime.now().isoformat(),
"user_id": user_id,
"variante": variante,
"question": question,
"reponse": reponse,
**metriques
})
def rapport(self) -> dict:
"""Generates a comparative A vs B report."""
groupes = {"A": [], "B": []}
for e in self.events:
groupes[e["variante"]].append(e)
rapport = {}
for variante, events in groupes.items():
if not events:
continue
rapport[variante] = {
"nb_interactions": len(events),
"csat_moyen": self._moyenne(events, "csat"),
"resolution_premier_contact": self._taux(events, "resolu"),
"temps_moyen_sec": self._moyenne(events, "temps_resolution"),
}
return rapport
def _moyenne(self, events, cle):
vals = [e[cle] for e in events if cle in e and e[cle] is not None]
return sum(vals) / len(vals) if vals else None
def _taux(self, events, cle):
vals = [e[cle] for e in events if cle in e]
return sum(vals) / len(vals) * 100 if vals else None
tracker = ABTracker()
Laukiant statistinio reikšmingumo
Nedaryk išvadų per anksti. Po dvidešimties sąveikų vienai grupei 0,4 balo CSAT skirtumas nieko nereiškia: tam pakanka trijų laimingų klientų. Tau reikia pakankamai sąveikų, kad rezultatai būtų reikšmingi, o toliau pateiktos gairės nurodo dydžių eilę, į kurią reikia taikytis prieš net žiūrint į skaičius.
Kai pasiekiate tą apimtį, statistinis testas nusprendžia už jus. Mano-Vitnio (Mann-Whitney) testas gerai tinka pasitenkinimo balams, kurie yra ordinaliniai įverčiai ir retai pasiskirstę normaliai. Jo p-reikšmė atsako į tikslų klausimą: kokia tikimybė stebėti tokį didelį skirtumą, jei abu modeliai iš tikrųjų būtų vienodi? Esant mažiau nei 0,05, hipotezę, kad tai tiesiog atsitiktinumas, ginti tampa sunku.
from scipy import stats
def test_significativite(scores_a: list[float], scores_b: list[float]):
"""Tests whether the difference between A and B is significant."""
stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")
moy_a = sum(scores_a) / len(scores_a)
moy_b = sum(scores_b) / len(scores_b)
print(f"Mean A: {moy_a:.3f}")
print(f"Mean B: {moy_b:.3f}")
print(f"p-value: {p_value:.4f}")
if p_value < 0.05:
gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
print(f"Significant difference — {gagnant} is better")
else:
print("No significant difference")
Laipsniškas masto didinimas
Net sėkmingas testas nepateisina viso srauto perjungimo per vieną naktį: trūkumas, pasireiškiantis tik vieną kartą iš tūkstančio, lieka nematomas imtyje ir tampa labai matomas esant pilnam kiekiui. Veikite savaitiniais etapais, kiekviename žingsnyje tikrindami savo metrikas prieš atverdami kitą.
- 1 etapas (1 savaitė): 10 % srauto derintam modeliui
- 2 etapas (1 savaitė): 30 %, jei metrikos teigiamos
- 3 etapas (1 savaitė): 50 % pagrindiniam A/B testui
- 4 etapas: 100 %, jei testas sėkmingas
Jei kuriame nors etape jūsų metrikos pablogėja, grįžkite į ankstesnį etapą, o neatverkite kito tikėdamiesi, kad skaičius atsistatys savaime. Savaitė, praleista suprantant, kodėl taip nutiko, visada kainuoja mažiau nei mėnuo srauto, aptarnaujamo nuviliamo modelio.
Svarbiausi punktai
- Verslo metrikos svarbesnės nei mokymo nuostoliai
- A/B priskyrimui naudokite deterministinį maišymą (hashing)
- Prieš darydami išvadas, palaukite statistinio reikšmingumo (p < 0,05)
- Diekite palaipsniui: 10 %, 30 %, 50 %, 100 %
- Be kokybės, matuokite išlaidas ir delsą