Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Testi A/B un biznesa metrikas

Nodarbība 12 no 16 Atjaunota 2026. gada 2. novembris Augstākais
Šajā lapā
  1. Pāri zudumiem: Biznesa ietekmes mērīšana
  2. A/B testa iestatīšana
  3. Pareizo biznesa metrikas izvēle
  4. Mērījumu vākšana
  5. Statistiskās nozīmīguma gaidīšana
  6. Pakāpeniska mērogošana
  7. Galvenās atziņas

Atjauninājums 2026. gada 2. novembrī — Smalkās noregulēšanas pieejamība. OpenAI pašapkalpošanās smalkās noregulēšanas pakalpojums tiek pakāpeniski izslēgts: kopš 2026. gada 7. maija organizācijas, kas to nekad nav izmantojušas, vairs nevar izveidot uzdevumus; kopš 2. jūlija ir jābūt izmantojušam smalki noregulētu modeli pēdējo 60 dienu laikā; un sākot ar 2027. gada 6. janvāri, neviens klients nevarēs uzsākt jaunus uzdevumus. Jau apmācītie modeļi paliek lietojami, līdz tiek izslēgts to bāzes modelis. Šis kurss joprojām ir noderīgs, lai izprastu un izmantotu esošu modeli; jauniem projektiem dodiet priekšroku uzvedņu inženierijai, RAG un novērtējumiem.

Pāri zudumiem: Biznesa ietekmes mērīšana

Apmācības zudumi un kvalitātes rādītāji nepietiek. Patiesi svarīga ir tava smalki noregulētā modeļa ietekme uz taviem biznesa KPI: klientu apmierinātību, problēmu risināšanas laiku, konversijas koeficientu. Modelis var ģenerēt atbildes, ko tavi recenzenti uzskata par elegantiem, vienlaikus palielinot eskalācijas biežumu uz taviem cilvēka aģentiem. Tieši šis otrais skaitlis nosaka projekta nākotni, nevis pirmais.

A/B testa iestatīšana

A/B tests salīdzina divas variācijas reālos apstākļos ar autentisku datplūsmu. A grupa, kontroles grupa, saņem atbildes no bāzes modeļa ar tavu optimizēto uzvedni; B grupa, testa grupa, saņem atbildes no smalki noregulētā modeļa. Lietotāji tiek nejauši piešķirti abām grupām, un tu mēri rezultātus, izmantojot tās pašas metrikas. Viss šī vingrinājuma derīgums ir atkarīgs no šīs piešķiršanas: ja B grupai nejaušības pēc pienāk vienkāršākie pieprasījumi, tās šķietamā pārākums mēra tikai šo veiksmi, neko citu.

Funkcija choisir_variante atrisina šo problēmu, veicot lietotāja ID hašēšanu. Šī pieeja garantē, ka viens un tas pats lietotājs vienmēr redz vienu un to pašu variāciju — tas ir būtiski, jo pārslēgšanās starp sesijām pakļautu personu diviem atbilžu stiliem un sagrozītu tās apmierinātības vērtējumu. Tā nodrošina statistiski līdzsvarotu sadalījumu, tiklīdz apjoms ir pietiekams, un tā paliek reproducējama: aprēķina atkārtota veikšana vēlāk dod tieši tās pašas grupas, ļaujot pārrēķināt aizmirstu metrisko rādītāju, nepalaižot testu no jauna.

import random
import hashlib
from openai import OpenAI

client = OpenAI()

MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."

def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
    """Assigns a user to group A or B deterministically."""
    h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
    return "B" if (h % 100) < pourcentage_test else "A"

def repondre(user_id: str, question: str) -> dict:
    """Responds with the correct model based on the A/B group."""
    variante = choisir_variante(user_id)

    if variante == "A":
        response = client.responses.create(
            model=MODELE_BASE,
            instructions=PROMPT_BASE,
            input=question
        )
    else:
        response = client.responses.create(
            model=MODELE_FT,
            input=question
        )

    return {
        "variante": variante,
        "modele": MODELE_BASE if variante == "A" else MODELE_FT,
        "reponse": response.output_text,
        "user_id": user_id
    }

Pareizo biznesa metrikas izvēle

Izsekojamie rādītāji ir pilnībā atkarīgi no tā, ko tavam asistentam paredzēts nodrošināt, un katra lietojuma gadījuma saimei ir savi.

Klientu atbalsta dienestam pirmā kontakta risinājuma koeficients atbild uz konkrētāko jautājumu: vai lietotājam bija nepieciešams atkārtoti sazināties ar atbalstu? CSAT rezultāts, 1 līdz 5 apmierinātības vērtējums, kas apkopots pēc mijiedarbības, fiksē noskaņojumu, ko automatizētās metrikas palaiž garām. Risināšanas laiks mēra kopējo sarunas ilgumu, un eskalācijas koeficients — to sarunu daļa, kas nodotas cilvēkam — lasāms kā modeļa neveiksmes atzīšana attiecīgajos gadījumos. Veiksmīga smalkā noregulēšana parasti samazina abus pēdējos rādītājus vienlaicīgi.

Pārdošanas čatbotam loģika nobīdās uz leju pa plūsmu. Konversijas koeficients saskaita sarunas, kas novedušas pie pirkuma vai tikšanās; iesaistes koeficients, izteikts kā vidējais ziņojumu skaits vienā sarunā, prasa rūpīgu interpretāciju, jo garāka apmaiņa var liecināt gan par interesi, gan par pārpratumu; atlēcienu koeficients izolē lietotājus, kuri aiziet pēc pirmā ziņojuma, bieži vien tāpēc, ka sākotnējā atbilde ir garām mērķim.

Klasifikācijas vai ekstrakcijas uzdevumam tu atgriezies pie klasiskā trijotnes. Precizitāte dod pareizo klasifikāciju procentuālo daļu, atgūšana (recall) — faktiski noteikto pozitīvo gadījumu procentuālo daļu, un F1-rezultāts, abu harmoniskais vidējais, novērš apmierināšanos ar modeli, kas nekad neprognozē reto klasi, tikai lai izvairītos no kļūdām.

Mērījumu vākšana

Šie rādītāji ir bezjēdzīgi, ja tie dzīvo trīs atsevišķās izklājlapās. Viens kolekcionārs, kas tiek barots katras mijiedarbības laikā, saglabā variāciju blakus metrikai un ļauj ar vienu komandu ģenerēt salīdzinošu ziņojumu. Tālāk redzamā ABTracker klase veic šo minimālo darbu: tā reģistrē, pēc tam grupē pēc variācijas un aprēķina vidējās vērtības un koeficientus.

import datetime

class ABTracker:
    """Metric collector for A/B testing."""

    def __init__(self):
        self.events = []

    def log_interaction(
        self,
        user_id: str,
        variante: str,
        question: str,
        reponse: str,
        metriques: dict
    ):
        """Records an interaction with its metrics."""
        self.events.append({
            "timestamp": datetime.datetime.now().isoformat(),
            "user_id": user_id,
            "variante": variante,
            "question": question,
            "reponse": reponse,
            **metriques
        })

    def rapport(self) -> dict:
        """Generates a comparative A vs B report."""
        groupes = {"A": [], "B": []}
        for e in self.events:
            groupes[e["variante"]].append(e)

        rapport = {}
        for variante, events in groupes.items():
            if not events:
                continue
            rapport[variante] = {
                "nb_interactions": len(events),
                "csat_moyen": self._moyenne(events, "csat"),
                "resolution_premier_contact": self._taux(events, "resolu"),
                "temps_moyen_sec": self._moyenne(events, "temps_resolution"),
            }

        return rapport

    def _moyenne(self, events, cle):
        vals = [e[cle] for e in events if cle in e and e[cle] is not None]
        return sum(vals) / len(vals) if vals else None

    def _taux(self, events, cle):
        vals = [e[cle] for e in events if cle in e]
        return sum(vals) / len(vals) * 100 if vals else None

tracker = ABTracker()

Statistiskās nozīmīguma gaidīšana

Neizdari secinājumus pārāk agri. Pēc divdesmit mijiedarbībām vienā grupā 0,4 punktu CSAT atšķirībai nav vērtības: pietiek ar trim laimīgiem klientiem, lai to radītu. Tev ir nepieciešams pietiekams mijiedarbību skaits, lai rezultāti būtu nozīmīgi, un tālāk norādītie etaloni sniedz tev aptuveno lielumu, uz kuru tiekties, pirms vispār skaties uz skaitļiem.

100
Minimum per group
500+
For reliable results
p < 0.05
Significance threshold

Kad esi sasniedzis šo apjomu, statistikas tests izlemj tavā vietā. Manna-Vitnija tests labi strādā ar apmierinātības rezultātiem, kas ir ordināli vērtējumi, kuri reti ir normāli sadalīti. Tā p-vērtība atbild uz precīzu jautājumu: kāda ir varbūtība novērot tik lielu atšķirību, ja abi modeļi patiesībā būtu vienādi? Zem 0,05 hipotēzi par vienkāršu nejaušību kļūst grūti aizstāvēt.

from scipy import stats

def test_significativite(scores_a: list[float], scores_b: list[float]):
    """Tests whether the difference between A and B is significant."""
    stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")

    moy_a = sum(scores_a) / len(scores_a)
    moy_b = sum(scores_b) / len(scores_b)

    print(f"Mean A: {moy_a:.3f}")
    print(f"Mean B: {moy_b:.3f}")
    print(f"p-value: {p_value:.4f}")

    if p_value < 0.05:
        gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
        print(f"Significant difference — {gagnant} is better")
    else:
        print("No significant difference")

Pakāpeniska mērogošana

Pat veiksmīgs tests neattaisno visas datplūsmas pārslegšanu uzreiz: defekts, kas parādās tikai vienā gadījumā no tūkstoša, paliek neredzams paraugā un kļūst ļoti redzams pilnā apjomā. Virzies uz priekšu nedēļas posmos, katrā solī pārbaudot savas metrikas, pirms atver nākamo.

  1. 1. posms (1 nedēļa): 10% datplūsmas uz smalki noregulēto modeli
  2. 2. posms (1 nedēļa): 30%, ja metrikas ir pozitīvas
  3. 3. posms (1 nedēļa): 50% galvenajam A/B testam
  4. 4. posms: 100%, ja tests ir secināms

Ja kāds posms pasliktina tavas metrikas, atgriezies pie iepriekšējā, nevis atver nākamo, cerot, ka skaitlis pats no sevis atjaunosies. Nedēļa, kas pavadīta, lai saprastu kāpēc, vienmēr izmaksā mazāk nekā mēnesis, kurā datplūsma tiek apkalpota ar viltušo modeli.

Galvenās atziņas

  • Biznesa metrikas ir svarīgākas nekā apmācības zudumi
  • Izmanto deterministisku hašēšanu A/B piešķiršanai
  • Pirms secinājumu izdarīšanas sagaidi statistisko nozīmīgumu (p < 0,05)
  • Izvērš pakāpeniski: 10%, 30%, 50%, 100%
  • Mēri izmaksas un latentumu papildus kvalitātei