A/B-testimine ja ärimõõdikud
Sellel lehel
Uuendus 2. november 2026 — Häälestamise kättesaadavus. OpenAI iseteeninduslik häälestamine kaotatakse järk-järgult: alates 7. maist 2026 ei saa organisatsioonid, kes seda varem kasutanud pole, enam uusi töid luua; alates 2. juulist peab olema viimase 60 päeva jooksul kasutatud häälestatud mudelit; ja alates 6. jaanuarist 2027 ei saa ükski klient uusi töid käivitada. Juba treenitud mudelid jäävad kasutatavaks kuni nende baasmudeli kasutusest kõrvaldamiseni. See kursus on endiselt kasulik olemasoleva mudeli mõistmiseks ja rakendamiseks; uute projektide puhul seada esikohale promptide inseneritöö, RAG ja hindamine.
Kadu kaugemal: ärimõju mõõtmine
Treenimiskadu ja kvaliteedihinded üksi ei piisa. Oluline on sinu häälestatud mudeli tegelik mõju ettevõtte põhinäitajatele (KPI-d): kliendirahulolu, lahendamisaeg, konversioonimäär. Mudel võib genereerida vastuseid, mida sinu hindajad peavad elegantseks, kuid samal ajal suurendada eskaleerimiste arvu inimoperaatoritele. Projekti tuleviku otsustab teine number, mitte esimene.
A/B-testi seadistamine
A/B-test võrdleb kahte varianti reaalsetes tingimustes autentse liiklusega. A-grupp (kontrollgrupp) saab vastused baasmudelilt koos optimeeritud promptiga; B-grupp (testgrupp) saab vastused häälestatud mudelilt. Kasutajad jaotatakse juhuslikult mõlemasse gruppi ja tulemusi mõõdetakse samade näitajate alusel. Kogu harjutuse usaldusväärsus sõltub sellest jaotusest: kui B-grupp saab juhuslikult lihtsamad päringud, mõõdab selle näiline paremus vaid õnne.
Funktsioon choisir_variante lahendab selle probleemi, kasutades kasutaja ID räsiväärtust. See tagab, et sama kasutaja näeb alati sama varianti – see on hädavajalik, sest istungite vaheldumine paljastaks kasutajale kaks erinevat vastamisstiili ja moonutaks rahuloluhinnangut. Piisava mahuga saavutatakse statistiliselt tasakaalustatud jaotus ning meetod on reprodutseeritav: arvutuse hiljem uuesti tegemine annab täpselt samad grupid, võimaldades unustatud mõõdiku ümber arvutada ilma testi uuesti käivitamata.
import random
import hashlib
from openai import OpenAI
client = OpenAI()
MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."
def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
"""Assigns a user to group A or B deterministically."""
h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
return "B" if (h % 100) < pourcentage_test else "A"
def repondre(user_id: str, question: str) -> dict:
"""Responds with the correct model based on the A/B group."""
variante = choisir_variante(user_id)
if variante == "A":
response = client.responses.create(
model=MODELE_BASE,
instructions=PROMPT_BASE,
input=question
)
else:
response = client.responses.create(
model=MODELE_FT,
input=question
)
return {
"variante": variante,
"modele": MODELE_BASE if variante == "A" else MODELE_FT,
"reponse": response.output_text,
"user_id": user_id
}
Õigete ärimõõdikute valimine
Jälgitavad näitajad sõltuvad täielikult sellest, mida sinu assistent peaks saavutama, ja igal kasutusjuhtumite rühmal on oma spetsiifika.
Klienditoe teenuse puhul vastab esmakontakti lahendamise määr kõige konkreetsemale küsimusele: kas kasutaja pidi uuesti tuge otsima? CSAT-skoor (1–5 rahuloluhinne), mis kogutakse pärast suhtlust, peegeldab meeleolu, mida automatiseeritud mõõdikud tabada ei suuda. Lahendamisaeg mõõdab kogu vestluse kestust ja eskaleerimismäär – inimesele edastatud vestluste osakaal – näitab mudeli ebaõnnestumist asjaomastel juhtudel. Edukas häälestamine vähendab tavaliselt mõlemat viimast näitajat samaaegselt.
Müügiboti puhul nihkub fookus allavoolu. Konversioonimäär loeb vestlusi, mis viisid ostu või kohtumiseni; kaasatusmäär, väljendatuna keskmise sõnumite arvuna vestluse kohta, nõuab ettevaatlikku tõlgendamist, sest pikem vahetus võib tähendada nii huvi kui ka arusaamatust; tagasipõrkemäär isoleerib kasutajad, kes lahkuvad pärast esimest sõnumit, sageli seetõttu, et algne vastus ei tabanud märki.
Klassifitseerimis- või ekstraheerimisülesannete puhul pöördutakse tagasi klassikalise kolmiku juurde. Täpsus (precision) annab õigete klassifitseerimiste protsendi, täielikkus (recall) tegelikult tuvastatud positiivsete juhtumite protsendi ja F1-skoor, mõlema harmooniline keskmine, hoiab leppimast mudeliga, mis ennustab harva esinevat klassi vaid vigade vältimiseks.
Mõõtmiste kogumine
Need näitajad on kasutud, kui need asuvad kolmes erinevas arvutustabelis. Üksainus koguja, mida toidetakse iga suhtluse järel, hoiab variandi koos mõõdikuga ja võimaldab koostada võrdlusraporti ühe käsuga. Allpool olev ABTracker klass teeb seda minimaalset tööd: see logib, rühmitab andmed variandi järgi ning arvutab keskmised väärtused ja määrad.
import datetime
class ABTracker:
"""Metric collector for A/B testing."""
def __init__(self):
self.events = []
def log_interaction(
self,
user_id: str,
variante: str,
question: str,
reponse: str,
metriques: dict
):
"""Records an interaction with its metrics."""
self.events.append({
"timestamp": datetime.datetime.now().isoformat(),
"user_id": user_id,
"variante": variante,
"question": question,
"reponse": reponse,
**metriques
})
def rapport(self) -> dict:
"""Generates a comparative A vs B report."""
groupes = {"A": [], "B": []}
for e in self.events:
groupes[e["variante"]].append(e)
rapport = {}
for variante, events in groupes.items():
if not events:
continue
rapport[variante] = {
"nb_interactions": len(events),
"csat_moyen": self._moyenne(events, "csat"),
"resolution_premier_contact": self._taux(events, "resolu"),
"temps_moyen_sec": self._moyenne(events, "temps_resolution"),
}
return rapport
def _moyenne(self, events, cle):
vals = [e[cle] for e in events if cle in e and e[cle] is not None]
return sum(vals) / len(vals) if vals else None
def _taux(self, events, cle):
vals = [e[cle] for e in events if cle in e]
return sum(vals) / len(vals) * 100 if vals else None
tracker = ABTracker()
Statistilise olulisuse ootamine
Ära tee järeldusi liiga vara. Pärast kahekümnet suhtlust grupi kohta pole 0,4-punktiline CSAT-i vahe väärtuslik: selle tekitamiseks piisab kolmest õnnelikust kliendist. Tulemuste statistiliseks olulisuseks on vaja piisavalt palju suhtlusi ja allpool toodud võrdlusandmed annavad suurusjärgu, mille poole püüelda enne numbrite vaatamist.
Kui see maht on saavutatud, teeb otsuse statistiline test. Mann-Whitney test sobib hästi rahuloluskooride jaoks, mis on ordinaalsed hinnangud ja harva normaalse jaotusega. Selle p-väärtus vastab täpsele küsimusele: kui suur on tõenäosus täheldada nii suurt vahet, kui kaks mudelit oleks tegelikult võrdsed? Alla 0,05 on lihtsa juhuse hüpoteesi kaitsta raske.
from scipy import stats
def test_significativite(scores_a: list[float], scores_b: list[float]):
"""Tests whether the difference between A and B is significant."""
stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")
moy_a = sum(scores_a) / len(scores_a)
moy_b = sum(scores_b) / len(scores_b)
print(f"Mean A: {moy_a:.3f}")
print(f"Mean B: {moy_b:.3f}")
print(f"p-value: {p_value:.4f}")
if p_value < 0.05:
gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
print(f"Significant difference — {gagnant} is better")
else:
print("No significant difference")
Järkjärguline skaleerimine
Isegi edukas test ei õigusta kogu liikluse ülelülitamist üleöö: viga, mis ilmneb vaid ühel juhul tuhandest, jääb valimis nähtamatuks, kuid muutub täismahus väga nähtavaks. Tegutse nädalaste etappidena, kontrollides mõõdikuid igas etapis enne järgmise avamist.
- 1. etapp (1 nädal): 10% liiklust häälestatud mudelil
- 2. etapp (1 nädal): 30%, kui mõõdikud on positiivsed
- 3. etapp (1 nädal): 50% peamise A/B-testi jaoks
- 4. etapp: 100%, kui test on tulemuslik
Kui mõni etapp halvendab sinu mõõdikuid, pöördu tagasi eelmisele etapile, selle asemel et loota järgmise avamisel numbrite iseeneslikku taastumist. Nädal, mille veedad põhjuste mõistmisele, maksab alati vähem kui kuu liiklust, mida teenindab pettumust valmistav mudel.
Peamised punktid
- Ärimõõdikud on olulisemad kui treenimiskadu
- Kasuta A/B-jaotuseks deterministlikku räsimist
- Oota enne järelduste tegemist statistilist olulisust (p < 0,05)
- Kasuta järkjärgulist juurutamist: 10%, 30%, 50%, 100%
- Mõõda kvaliteedi kõrval ka kulusid ja latentsust