Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Testiranje A/B in poslovni kazalniki

Lekcija 12 od 16 Posodobljeno 2. november 2026 Napredni
Na tej strani
  1. Onkraj izgube: Merjenje poslovnega vpliva
  2. Nastavitev testa A/B
  3. Izbira pravih poslovnih kazalnikov
  4. Zbiranje meritev
  5. Čakanje na statistično značilnost
  6. Postopno povečevanje obsega
  7. Ključne ugotovitve

Posodobitev 2. novembra 2026 — Razpoložljivost prilagajanja. Samostojno prilagajanje (fine-tuning) podjetja OpenAI se postopno ukinja: od 7. maja 2026 organizacije, ki ga še niso uporabljale, ne morejo več ustvarjati opravil; od 2. julija morate prilagojen model uporabiti v zadnjih 60 dneh; in od 6. januarja 2027 noben uporabnik ne bo mogel zagnati novih opravil. Že usposobljeni modeli ostanejo uporabni, dokler se njihov osnovni model ne upokoji. Ta tečaj je še vedno koristen za razumevanje in izkoriščanje obstoječega modela; za nove projekte dajte prednost inženiringu pozivov, arhitekturi RAG in evalvacijam.

Onkraj izgube: Merjenje poslovnega vpliva

Izguba med usposabljanjem in ocene kakovosti niso dovolj. Kar res šteje, je vpliv vašega prilagojenega modela na vaše poslovne ključne kazalnike uspešnosti (KPI): zadovoljstvo strank, čas reševanja, stopnja konverzije. Model lahko ustvarja odzive, ki se vašim recenzentom zdijo elegantni, hkrati pa povečuje stopnjo eskalacije na vaše človeške agente. Prav ta druga številka odloča o prihodnosti projekta, ne pa prva.

Nastavitev testa A/B

Test A/B primerja dve različici v realnih pogojih z avtentičnim prometom. Skupina A, kontrolna skupina, prejme odzive osnovnega modela z vašim optimiziranim pozivom; skupina B, testna skupina, dobi odzive prilagojenega modela. Uporabniki so naključno dodeljeni obema skupinama, rezultate pa merite z enakimi kazalniki. Celotna veljavnost vaje temelji na tej dodelitvi: če skupina B po naključju prejme najpreprostejše zahteve, njena navidezna premoč ne meri ničesar drugega kot to srečo.

Funkcija choisir_variante reši ta problem z razprševanjem (hashing) ID-ja uporabnika. Ta pristop zagotavlja, da isti uporabnik vedno vidi isto različico – kar je bistveno, saj bi izmenjava med sejami osebo izpostavila dvema slogoma odzivanja in izkrivila njeno oceno zadovoljstva. Ob zadostnem obsegu proizvede statistično uravnoteženo porazdelitev in ostane reproducibilna: ponovni izračun kasneje vrne točno iste skupine, kar vam omogoča ponovni izračun pozabljenega kazalnika brez ponovnega zagona testa.

import random
import hashlib
from openai import OpenAI

client = OpenAI()

MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."

def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
    """Assigns a user to group A or B deterministically."""
    h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
    return "B" if (h % 100) < pourcentage_test else "A"

def repondre(user_id: str, question: str) -> dict:
    """Responds with the correct model based on the A/B group."""
    variante = choisir_variante(user_id)

    if variante == "A":
        response = client.responses.create(
            model=MODELE_BASE,
            instructions=PROMPT_BASE,
            input=question
        )
    else:
        response = client.responses.create(
            model=MODELE_FT,
            input=question
        )

    return {
        "variante": variante,
        "modele": MODELE_BASE if variante == "A" else MODELE_FT,
        "reponse": response.output_text,
        "user_id": user_id
    }

Izbira pravih poslovnih kazalnikov

Kazalniki, ki jih je treba spremljati, so v celoti odvisni od tega, kaj naj bi vaš asistent zagotavljal, in vsaka družina primerov uporabe ima svoje.

Za storitev podpore strankam stopnja reševanja ob prvem stiku odgovori na najbolj konkretno vprašanje: ali je moral uporabnik znova kontaktirati podporo? Ocena CSAT, ocena zadovoljstva od 1 do 5, zbrana po interakciji, zajame občutke, ki jih avtomatizirani kazalniki spregledajo. Čas reševanja meri skupno trajanje izmenjave, stopnja eskalacije – delež pogovorov, prenesenih na človeka – pa se bere kot priznanje napake modela pri vključenih primerih. Uspešno prilagajanje običajno hkrati zniža obe slednji.

Za prodajnega klepetalnega bota se razmišljanje premakne navzdol. Stopnja konverzije šteje pogovore, ki vodijo do nakupa ali sestanka; stopnja angažiranosti, izražena kot povprečno število sporočil na pogovor, zahteva previden interpretacijo, saj daljša izmenjava lahko signalizira bodisi zanimanje bodisi nesporazum; stopnja opuščanja izolira uporabnike, ki odidejo po prvem sporočilu, pogosto zato, ker začetni odgovor ni zadel bistva.

Za nalogo razvrščanja ali ekstrakcije se vrnete k klasični trojici. Natančnost (precision) poda odstotek pravilnih razvrstitev, priklic (recall) odstotek dejansko zaznanih pozitivnih primerov, ocena F1 pa, kot harmonična sredina obeh, prepreči zadovoljitev z modelom, ki nikoli ne napove redkega razreda zgolj zato, da bi se izognil napakam.

Zbiranje meritev

Ti kazalniki so neuporabni, če živijo v treh ločenih preglednicah. Enoten zbiralec, ki se napaja ob vsaki interakciji, hrani različico skupaj s kazalnikom in omogoča izdelavo primerjalnega poročila z enim samim ukazom. Spodnji razred ABTracker opravi to minimalno delo: beleži, nato združuje po različici in izračunava povprečja ter stopnje.

import datetime

class ABTracker:
    """Metric collector for A/B testing."""

    def __init__(self):
        self.events = []

    def log_interaction(
        self,
        user_id: str,
        variante: str,
        question: str,
        reponse: str,
        metriques: dict
    ):
        """Records an interaction with its metrics."""
        self.events.append({
            "timestamp": datetime.datetime.now().isoformat(),
            "user_id": user_id,
            "variante": variante,
            "question": question,
            "reponse": reponse,
            **metriques
        })

    def rapport(self) -> dict:
        """Generates a comparative A vs B report."""
        groupes = {"A": [], "B": []}
        for e in self.events:
            groupes[e["variante"]].append(e)

        rapport = {}
        for variante, events in groupes.items():
            if not events:
                continue
            rapport[variante] = {
                "nb_interactions": len(events),
                "csat_moyen": self._moyenne(events, "csat"),
                "resolution_premier_contact": self._taux(events, "resolu"),
                "temps_moyen_sec": self._moyenne(events, "temps_resolution"),
            }

        return rapport

    def _moyenne(self, events, cle):
        vals = [e[cle] for e in events if cle in e and e[cle] is not None]
        return sum(vals) / len(vals) if vals else None

    def _taux(self, events, cle):
        vals = [e[cle] for e in events if cle in e]
        return sum(vals) / len(vals) * 100 if vals else None

tracker = ABTracker()

Čakanje na statistično značilnost

Ne delajte zaključkov prezgodaj. Po dvajsetih interakcijah na skupino razlika v oceni CSAT za 0,4 točke nima vrednosti: dovolj so trije zadovoljni uporabniki, da jo proizvedejo. Potrebujete dovolj interakcij, da so rezultati značilni, spodnja merila pa vam dajejo red velikosti, h kateremu morate stremeti, še preden sploh pogledate številke.

100
Minimum na skupino
500+
Za zanesljive rezultate
p < 0.05
Prag značilnosti

Ko dosežete ta obseg, statistični test odloči namesto vas. Mann-Whitneyjev test dobro deluje za ocene zadovoljstva, ki so ordinalne ocene in redko normalno porazdeljene. Njegova p-vrednost odgovori na natančno vprašanje: kakšna je verjetnost opazovanja tako velike razlike, če bi bila oba modela dejansko enaka? Pod 0,05 postane hipoteza o preprostem naključju težko zagovarljiva.

from scipy import stats

def test_significativite(scores_a: list[float], scores_b: list[float]):
    """Tests whether the difference between A and B is significant."""
    stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")

    moy_a = sum(scores_a) / len(scores_a)
    moy_b = sum(scores_b) / len(scores_b)

    print(f"Mean A: {moy_a:.3f}")
    print(f"Mean B: {moy_b:.3f}")
    print(f"p-value: {p_value:.4f}")

    if p_value < 0.05:
        gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
        print(f"Significant difference — {gagnant} is better")
    else:
        print("No significant difference")

Postopno povečevanje obsega

Tudi uspešen test ne upravičuje takojšnjega preusmerjanja celotnega prometa: napaka, ki se pojavi le enkrat na tisoč, ostane na vzorcu nevidna, pri polnem obsegu pa postane zelo opazna. Nadaljujte v tedenskih fazah in pri vsakem koraku preverite svoje kazalnike, preden odprete naslednjega.

  1. Faza 1 (1 teden): 10 % prometa na prilagojenem modelu
  2. Faza 2 (1 teden): 30 %, če so kazalniki pozitivni
  3. Faza 3 (1 teden): 50 % za glavni test A/B
  4. Faza 4: 100 %, če je test zaključen uspešno

Če katera koli faza poslabša vaše kazalnike, se vrnite na prejšnjo, namesto da bi odprli naslednjo v upanju, da se bo številka sama opomogla. Teden dni, porabljen za razumevanje vzroka, vedno stane manj kot mesec prometa, ki ga streže razočarajoč model.

Ključne ugotovitve

  • Poslovni kazalniki so pomembnejši od izgube med usposabljanjem
  • Za dodelitev v testu A/B uporabite deterministično razprševanje (hashing)
  • Pred zaključki počakajte na statistično značilnost (p < 0,05)
  • Uvajajte postopoma: 10 %, 30 %, 50 %, 100 %
  • Poleg kakovosti merite tudi stroške in latenco