Teste A/B și metrici de afaceri
Pe această pagină
Actualizare 2 noiembrie 2026 — Disponibilitatea fine-tuning. Soluția de fine-tuning self-service de la OpenAI este în curs de retragere: începând cu 7 mai 2026, organizațiile care nu au utilizat-o anterior nu mai pot crea job-uri; începând cu 2 iulie, trebuie să fi utilizat un model fine-tuned în ultimele 60 de zile; iar începând cu 6 ianuarie 2027, niciun client nu va mai putea lansa job-uri noi. Modelele deja antrenate rămân utilizabile până la retragerea modelului lor de bază. Acest curs rămâne util pentru înțelegerea și exploatarea unui model existent; pentru proiecte noi, prioritizați ingineria prompt-urilor, RAG și evaluările.
Dincolo de pierdere: măsurarea impactului asupra afacerii
Pierderea la antrenament (training loss) și scorurile de calitate nu sunt suficiente. Ceea ce contează cu adevărat este impactul modelului dumneavoastră fine-tuned asupra KPI-urilor de afaceri: satisfacția clienților, timpul de rezolvare, rata de conversie. Un model poate genera răspunsuri pe care evaluatorii le consideră elegante, crescând în același timp rata de escaladare către agenții umani. Al doilea număr decide viitorul proiectului, nu primul.
Configurarea unui test A/B
Un test A/B compară două variante în condiții reale, cu trafic autentic. Grupul A, grupul de control, primește răspunsuri de la modelul de bază cu prompt-ul dumneavoastră optimizat; Grupul B, grupul de test, primește răspunsuri de la modelul fine-tuned. Utilizatorii sunt atribuiți aleatoriu ambelor grupuri, iar dumneavoastră măsurați rezultatele folosind aceleași metrici. Întreaga validitate a exercițiului depinde de această atribuire: dacă Grupul B primește din întâmplare doar cererile cele mai simple, superioritatea sa aparentă nu măsoară decât norocul.
Funcția choisir_variante rezolvă această problemă prin hash-ul ID-ului utilizatorului. Această abordare garantează că același utilizator vede întotdeauna aceeași variantă—esențial, deoarece alternarea între sesiuni ar expune persoana la două stiluri de răspuns și ar distorsiona evaluarea satisfacției. Produce o distribuție statistic echilibrată odată ce volumul este suficient și rămâne reproductibilă: rerularea calculului mai târziu yieldă exact aceleași grupuri, permițându-vă să recalculați o metrică uitată fără a relansa testul.
import random
import hashlib
from openai import OpenAI
client = OpenAI()
MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."
def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
"""Assigns a user to group A or B deterministically."""
h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
return "B" if (h % 100) < pourcentage_test else "A"
def repondre(user_id: str, question: str) -> dict:
"""Responds with the correct model based on the A/B group."""
variante = choisir_variante(user_id)
if variante == "A":
response = client.responses.create(
model=MODELE_BASE,
instructions=PROMPT_BASE,
input=question
)
else:
response = client.responses.create(
model=MODELE_FT,
input=question
)
return {
"variante": variante,
"modele": MODELE_BASE if variante == "A" else MODELE_FT,
"reponse": response.output_text,
"user_id": user_id
}
Alegerea metricilor de afaceri potrivite
Indicatorii de urmărit depind în totalitate de ceea ce trebuie să livreze asistentul dumneavoastră, iar fiecare familie de cazuri de utilizare are propriii săi indicatori.
Pentru un serviciu de suport clienți, rata de rezolvare la primul contact răspunde la cea mai concretă întrebare: a avut nevoie utilizatorul să contacteze din nou suportul? Scorul CSAT, o evaluare a satisfacției de la 1 la 5 colectată după interacțiune, captează sentimente pe care metricile automate le ratează. Timpul de rezolvare măsoară durata totală a schimbului, iar rata de escaladare—porțiunea de conversații transferate unui om—se citește ca o admitere a eșecului modelului în cazurile implicate. Un fine-tuning reușit reduce de obicei simultan pe ambele latter.
Pentru un chatbot de vânzări, raționamentul se deplasează în aval. Rata de conversie numără conversațiile care duc la o achiziție sau o programare; rata de angajament, exprimată ca număr mediu de mesaje per conversație, necesită o interpretare atentă deoarece un schimb mai lung poate semnala fie interes, fie neînțelegere; rata de respingere (bounce rate) izolează utilizatorii care pleacă după primul mesaj, adesea deoarece răspunsul inițial nu a nimerit ținta.
Pentru o sarcină de clasificare sau extragere, reveniți la trio-ul clasic. Precizia oferă procentajul de clasificări corecte, recall-ul procentajul de cazuri pozitive detectate efectiv, iar scorul F1, media armonică a ambelor, previne mulțumirea cu un model care nu prezice niciodată clasa rară doar pentru a evita erorile.
Colectarea măsurătorilor
Acești indicatori sunt inutili dacă trăiesc în trei foi de calcul separate. Un singur colector, alimentat la fiecare interacțiune, menține varianta alături de metrică și permite producerea unui raport comparativ cu o singură comandă. Clasa ABTracker de mai jos face această muncă minimală: înregistrează, apoi grupează pe variantă și calculează mediile și ratele.
import datetime
class ABTracker:
"""Metric collector for A/B testing."""
def __init__(self):
self.events = []
def log_interaction(
self,
user_id: str,
variante: str,
question: str,
reponse: str,
metriques: dict
):
"""Records an interaction with its metrics."""
self.events.append({
"timestamp": datetime.datetime.now().isoformat(),
"user_id": user_id,
"variante": variante,
"question": question,
"reponse": reponse,
**metriques
})
def rapport(self) -> dict:
"""Generates a comparative A vs B report."""
groupes = {"A": [], "B": []}
for e in self.events:
groupes[e["variante"]].append(e)
rapport = {}
for variante, events in groupes.items():
if not events:
continue
rapport[variante] = {
"nb_interactions": len(events),
"csat_moyen": self._moyenne(events, "csat"),
"resolution_premier_contact": self._taux(events, "resolu"),
"temps_moyen_sec": self._moyenne(events, "temps_resolution"),
}
return rapport
def _moyenne(self, events, cle):
vals = [e[cle] for e in events if cle in e and e[cle] is not None]
return sum(vals) / len(vals) if vals else None
def _taux(self, events, cle):
vals = [e[cle] for e in events if cle in e]
return sum(vals) / len(vals) * 100 if vals else None
tracker = ABTracker()
Așteptarea semnificației statistice
Nu trageți concluzii prea devreme. După douăzeci de interacțiuni per grup, un decalaj CSAT de 0,4 puncte nu are valoare: trei clienți mulțumiți sunt suficienți pentru a-l produce. Aveți nevoie de suficiente interacțiuni pentru ca rezultatele să fie semnificative, iar reperele de mai jos vă oferă ordinul de mărime vizat înainte chiar de a privi numerele.
Odată ce atingeți acel volum, un test statistic decide pentru dumneavoastră. Testul Mann-Whitney funcționează bine pentru scorurile de satisfacție, care sunt evaluări ordinale rareori distribuite normal. Valoarea sa p răspunde la o întrebare precisă: care este probabilitatea de a observa un decalaj atât de mare dacă cele două modele ar fi fost de fapt egale? Sub 0,05, ipoteza simplului noroc devine greu de apărat.
from scipy import stats
def test_significativite(scores_a: list[float], scores_b: list[float]):
"""Tests whether the difference between A and B is significant."""
stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")
moy_a = sum(scores_a) / len(scores_a)
moy_b = sum(scores_b) / len(scores_b)
print(f"Mean A: {moy_a:.3f}")
print(f"Mean B: {moy_b:.3f}")
print(f"p-value: {p_value:.4f}")
if p_value < 0.05:
gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
print(f"Significant difference — {gagnant} is better")
else:
print("No significant difference")
Scalarea graduală
Chiar și un test reușit nu justifică comutarea întregului trafic peste noapte: o deficiență care apare doar o dată la o mie rămâne invizibilă pe un eșantion și devine foarte vizibilă la volum complet. Procedați în etape de câte o săptămână, verificându-vă metricile la fiecare pas înainte de a deschide următorul.
- Faza 1 (1 săptămână): 10% trafic pe modelul fine-tuned
- Faza 2 (1 săptămână): 30% dacă metricile sunt pozitive
- Faza 3 (1 săptămână): 50% pentru testul A/B principal
- Faza 4: 100% dacă testul este concludent
Dacă o etapă degradează metricile dumneavoastră, reveniți la cea anterioară în loc să deschideți următoarea sperând că numărul își va reveni de la sine. O săptămână petrecută înțelegând de ce costă întotdeauna mai puțin decât o lună de trafic servit de un model dezamăgitor.
Puncte cheie
- Metricile de afaceri contează mai mult decât pierderea la antrenament
- Utilizați hashing determinist pentru atribuirea A/B
- Așteptați semnificația statistică înainte de a concluziona (p < 0,05)
- Implementați gradual: 10%, 30%, 50%, 100%
- Măsurați costurile și latența în plus față de calitate