A/B testiranje i poslovni pokazatelji
Na ovoj stranici
Ažurirano 2. studenoga 2026. — Dostupnost fino podešavanja. OpenAI-jevo samostalno fino podešavanje se postupno ukida: od 7. svibnja 2026. organizacije koje ga nikada nisu koristile više ne mogu stvarati zadatke; od 2. srpnja morate koristiti fino podešeni model unutar posljednjih 60 dana; a počevši od 6. siječnja 2027., nijedan korisnik neće moći pokrenuti nove zadatke. Već obučeni modeli ostaju upotrebljivi dok se njihov osnovni model ne povuče. Ovaj tečaj i dalje je koristan za razumijevanje i iskorištavanje postojećeg modela; za nove projekte dajte prednost inženjerstvu prompta, RAG-u i evaluacijama.
Izvan gubitka: Mjerenje poslovnog utjecaja
Gubitak tijekom obuke i ocjene kvalitete nisu dovoljni. Ono što doista importa jest utjecaj tvog fino podešenog modela na tvoje poslovne ključne pokazatelje uspješnosti (KPI): zadovoljstvo korisnika, vrijeme rješavanja, stopa konverzije. Model može generirati odgovore koje tvoji recenzenti smatraju elegantnima, a istovremeno povećavati stopu eskalacije tvojim ljudskim agentima. Taj drugi broj odlučuje o budućnosti projekta, a ne prvi.
Postavljanje A/B testa
A/B test uspoređuje dvije varijante u stvarnim uvjetima s autentičnim prometom. Grupa A, kontrolna grupa, prima odgovore od osnovnog modela s tvojim optimiziranim promptom; Grupa B, testna grupa, dobiva odgovore od fino podešenog modela. Korisnici se nasumično raspoređuju u obje grupe, a ti mjeriš rezultate koristeći iste metrike. Cjelokupna valjanost vježbe ovisi o ovom raspoređivanju: ako Grupa B slučajem primi najjednostavnije zahtjeve, njezina prividna superiornost ne mjeri ništa osim te sreće.
Funkcija choisir_variante rješava ovaj problem hashiranjem ID-a korisnika. Ovaj pristup jamči da isti korisnik uvijek vidi istu varijantu – što je bitno jer bi izmjenjivanje između sesija izložilo osobu dva stila odgovora i iskrivilo njezinu ocjenu zadovoljstva. Proizvodi statistički uravnoteženu distribuciju jednom kada je volumen dovoljan, a ostaje reproducibilan: ponovno pokretanje izračuna kasnije daje točno iste grupe, omogućujući ti ponovni izračun zaboravljene metrike bez ponovnog pokretanja testa.
import random
import hashlib
from openai import OpenAI
client = OpenAI()
MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."
def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
"""Assigns a user to group A or B deterministically."""
h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
return "B" if (h % 100) < pourcentage_test else "A"
def repondre(user_id: str, question: str) -> dict:
"""Responds with the correct model based on the A/B group."""
variante = choisir_variante(user_id)
if variante == "A":
response = client.responses.create(
model=MODELE_BASE,
instructions=PROMPT_BASE,
input=question
)
else:
response = client.responses.create(
model=MODELE_FT,
input=question
)
return {
"variante": variante,
"modele": MODELE_BASE if variante == "A" else MODELE_FT,
"reponse": response.output_text,
"user_id": user_id
}
Odabir pravih poslovnih metrika
Pokazatelji koje trebaš pratiti u potpunosti ovise o tome što tvoj asistent treba isporučiti, a svaka obitelj slučajeva upotrebe ima svoje.
Za službu korisničke podrške, stopa rješavanja u prvom kontaktu odgovara na najkonkretnije pitanje: je li se korisnik trebao ponovno obratiti podršci? CSAT rezultat, ocjena zadovoljstva od 1 do 5 prikupljena nakon interakcije, bilježi sentiment koji automatizirane metrike propuštaju. Vrijeme rješavanja mjeri ukupno trajanje razmjene, a stopa eskalacije – dio razgovora prebačenih čovjeku – čita se kao priznanje neuspjeha modela u uključenim slučajevima. Uspješno fino podešavanje obično istovremeno smanjuje oba potonja.
Za prodajnog chatbota, razmišljanje se pomiče nizvodno. Stopa konverzije broji razgovore koji vode do kupnje ili termina; stopa angažmana, izražena kao prosječan broj poruka po razgovoru, zahtijeva pažljivo tumačenje jer duža razmjena može signalizirati ili interes ili nerazumijevanje; stopa napuštanja izolira korisnike koji odlaze nakon prve poruke, često zato što je početni odgovor promašio cilj.
Za zadatak klasifikacije ili ekstrakcije, vraćaš se klasičnom trojstvu. Preciznost daje postotak točnih klasifikacija, odziv (recall) postotak pozitivnih slučajeva koji su zapravo otkriveni, a F1-rezultat, harmonijska sredina obaju, sprječava zadovoljavanje modelom koji nikada ne predviđa rijetku klasu samo kako bi izbjegao pogreške.
Prikupljanje mjerenja
Ovi pokazatelji su beskorisni ako žive u tri odvojene proračunske tablice. Jedan kolektor, napajan pri svakoj interakciji, čuva varijantu uz metriku i omogućuje izradu komparativnog izvješća jednom naredbom. Donja klasa ABTracker radi ovaj minimalan posao: bilježi, zatim grupira po varijanti i izračunava prosjeke i stope.
import datetime
class ABTracker:
"""Metric collector for A/B testing."""
def __init__(self):
self.events = []
def log_interaction(
self,
user_id: str,
variante: str,
question: str,
reponse: str,
metriques: dict
):
"""Records an interaction with its metrics."""
self.events.append({
"timestamp": datetime.datetime.now().isoformat(),
"user_id": user_id,
"variante": variante,
"question": question,
"reponse": reponse,
**metriques
})
def rapport(self) -> dict:
"""Generates a comparative A vs B report."""
groupes = {"A": [], "B": []}
for e in self.events:
groupes[e["variante"]].append(e)
rapport = {}
for variante, events in groupes.items():
if not events:
continue
rapport[variante] = {
"nb_interactions": len(events),
"csat_moyen": self._moyenne(events, "csat"),
"resolution_premier_contact": self._taux(events, "resolu"),
"temps_moyen_sec": self._moyenne(events, "temps_resolution"),
}
return rapport
def _moyenne(self, events, cle):
vals = [e[cle] for e in events if cle in e and e[cle] is not None]
return sum(vals) / len(vals) if vals else None
def _taux(self, events, cle):
vals = [e[cle] for e in events if cle in e]
return sum(vals) / len(vals) * 100 if vals else None
tracker = ABTracker()
Čekanje statističke značajnosti
Ne donosi zaključke prerano. Nakon dvadeset interakcija po grupi, jaz u CSAT-u od 0,4 boda nema vrijednosti: dovoljna su tri zadovoljna korisnika da ga proizvedu. Trebaš dovoljno interakcija da rezultati budu značajni, a donje referentne vrijednosti daju ti red veličine kojem trebaš težiti prije nego što uopće pogledaš brojeve.
Kada dosegneš taj volumen, statistički test odlučuje umjesto tebe. Mann-Whitneyjev test dobro funkcionira za ocjene zadovoljstva, koje su ordinalne ocjene rijetko normalno distribuirane. Njegova p-vrijednost odgovara na precizno pitanje: kolika je vjerojatnost opažanja tako velikog jaza da su dva modela zapravo jednaka? Ispod 0,05, hipotezu o jednostavnoj slučajnosti postaje teško braniti.
from scipy import stats
def test_significativite(scores_a: list[float], scores_b: list[float]):
"""Tests whether the difference between A and B is significant."""
stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")
moy_a = sum(scores_a) / len(scores_a)
moy_b = sum(scores_b) / len(scores_b)
print(f"Mean A: {moy_a:.3f}")
print(f"Mean B: {moy_b:.3f}")
print(f"p-value: {p_value:.4f}")
if p_value < 0.05:
gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
print(f"Significant difference — {gagnant} is better")
else:
print("No significant difference")
Postupno povećavanje opsega
Čak ni uspješan test ne opravdava prebacivanje cjelokupnog prometa preko noći: nedostatak koji se pojavi samo jednom u tisuću ostaje nevidljiv na uzorku, a postaje vrlo vidljiv pri punom volumenu. Nastupi u tjednim fazama, provjeravajući svoje metrike u svakom koraku prije otvaranja sljedećeg.
- Faza 1 (1 tjedan): 10% prometa na fino podešenom modelu
- Faza 2 (1 tjedan): 30% ako su metrike pozitivne
- Faza 3 (1 tjedan): 50% za glavni A/B test
- Faza 4: 100% ako je test uvjerljiv
Ako faza pogorša tvoje metrike, vrati se na prethodnu umjesto da otvaraš sljedeću nadajući se da će se broj sam od sebe oporaviti. Tjedan proveden u razumijevanju zašto se nešto dogodilo uvijek košta manje od mjeseca prometa kojim upravlja razočaravajući model.
Ključne točke
- Poslovne metrike važnije su od gubitka tijekom obuke
- Koristi determinističko hashiranje za A/B raspoređivanje
- Pričekaj statističku značajnost prije zaključivanja (p < 0,05)
- Raspoređuj postupno: 10%, 30%, 50%, 100%
- Mjeri troškove i latenciju uz kvalitetu