Testy A/B i metryki biznesowe
Na tej stronie
Aktualizacja z 2 listopada 2026 r. — Dostępność dostrajania. Usługa samodzielnego dostrajania modeli OpenAI jest wycofywana: od 7 maja 2026 r. organizacje, które nigdy z niej nie korzystały, nie mogą już tworzyć nowych zadań; od 2 lipca konieczne jest użycie dostrajonego modelu w ciągu ostatnich 60 dni; a począwszy od 6 stycznia 2027 r., żaden klient nie będzie mógł uruchomić nowych zadań. Już wytrenowane modele pozostają użyteczne do momentu wycofania ich modelu bazowego. Ten kurs nadal przydaje się do zrozumienia i wykorzystania istniejącego modelu; w przypadku nowych projektów priorytetowo traktuj inżynierię promptów, architekturę RAG oraz ewaluację.
Poza funkcją straty: pomiar wpływu na biznes
Wartość funkcji straty (loss) i wyniki oceny jakości to za mało. To, co naprawdę się liczy, to wpływ dostrajonego modelu na Twoje kluczowe wskaźniki efektywności (KPI): satysfakcję klienta, czas rozwiązywania zgłoszeń czy współczynnik konwersji. Model może generować odpowiedzi, które recenzenci uznają za eleganckie, a jednocześnie zwiększać liczbę eskalacji do ludzkich agentów. To właśnie ta druga liczba decyduje o przyszłości projektu, a nie ta pierwsza.
Konfiguracja testu A/B
Test A/B polega na porównaniu dwóch wariantów w rzeczywistych warunkach, przy użyciu autentycznego ruchu. Grupa A (grupa kontrolna) otrzymuje odpowiedzi z modelu bazowego z optymalizowanym promptem; Grupa B (grupa testowa) otrzymuje odpowiedzi z modelu dostrajonego. Użytkownicy są losowo przydzielani do obu grup, a wyniki mierzone są za pomocą tych samych metryk. Cała ważność tego ćwiczenia zależy od sposobu przydziału: jeśli Grupa B przez przypadek otrzyma najprostsze zapytania, jej pozorna wyższość nie będzie mierzyć niczego innego jak tylko szczęście.
Funkcja choisir_variante rozwiązuje ten problem, stosując haszowanie identyfikatora użytkownika. Podejście to gwarantuje, że ten sam użytkownik zawsze widzi ten sam wariant – co jest kluczowe, ponieważ przełączanie się między sesjami暴露łoby osobę na dwa style odpowiedzi i zniekształciło jej ocenę satysfakcji. Metoda ta zapewnia statystycznie zrównoważony rozkład po osiągnięciu odpowiedniej wielkości próby i pozostaje odtwarzalna: ponowne uruchomienie obliczeń później da dokładnie te same grupy, pozwalając na przeliczenie zapomnianej metryki bez konieczności restartowania testu.
import random
import hashlib
from openai import OpenAI
client = OpenAI()
MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."
def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
"""Assigns a user to group A or B deterministically."""
h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
return "B" if (h % 100) < pourcentage_test else "A"
def repondre(user_id: str, question: str) -> dict:
"""Responds with the correct model based on the A/B group."""
variante = choisir_variante(user_id)
if variante == "A":
response = client.responses.create(
model=MODELE_BASE,
instructions=PROMPT_BASE,
input=question
)
else:
response = client.responses.create(
model=MODELE_FT,
input=question
)
return {
"variante": variante,
"modele": MODELE_BASE if variante == "A" else MODELE_FT,
"reponse": response.output_text,
"user_id": user_id
}
Dobór odpowiednich metryk biznesowych
Wskaźniki, które należy śledzić, zależą całkowicie od tego, co Twój asystent ma dostarczać, a każda rodzina przypadków użycia ma swoje własne.
W przypadku usługi obsługi klienta, wskaźnik rozwiązywania spraw przy pierwszym kontakcie (First Contact Resolution) odpowiada na najbardziej konkretne pytanie: czy użytkownik musiał ponownie kontaktować się z supportem? Wynik CSAT (Customer Satisfaction Score), czyli ocena satysfakcji w skali 1–5 zbierana po interakcji, rejestruje sentymenty, które umykają zautomatyzowanym metrykom. Czas rozwiązania mierzy całkowity czas trwania wymiany, a wskaźnik eskalacji – odsetek rozmów przekazanych człowiekowi – jest de facto przyznaniem się modelu do porażki w danych przypadkach. Pomyślne dostrajanie zazwyczaj obniża jednocześnie obie te ostatnie wartości.
W przypadku chatbota sprzedażowego rozumowanie przesuwa się w dół lejka. Współczynnik konwersji zlicza rozmowy prowadzące do zakupu lub umówienia spotkania; wskaźnik zaangażowania, wyrażony jako średnia liczba wiadomości na rozmowę, wymaga ostrożnej interpretacji, ponieważ dłuższa wymiana może oznaczać zarówno zainteresowanie, jak i niezrozumienie; wskaźnik odrzuceń (bounce rate) izoluje użytkowników, którzy odchodzą po pierwszej wiadomości, często dlatego, że początkowa odpowiedź nie trafiła w sedno.
W zadaniach klasyfikacji lub ekstrakcji wracamy do klasycznej trójcy. Precyzja podaje procent poprawnych klasyfikacji, czułość (recall) – procent rzeczywistych przypadków pozytywnych, które zostały wykryte, a wynik F1, będący średnią harmoniczną obu tych wartości, zapobiega poprzestawaniu na modelu, który nigdy nie przewiduje rzadkiej klasy tylko po to, by uniknąć błędów.
Zbieranie pomiarów
Te wskaźniki są bezużyteczne, jeśli żyją w trzech oddzielnych arkuszach kalkulacyjnych. Pojedynczy kolektor, zasilany przy każdej interakcji, przechowuje wariant obok metryki i umożliwia generowanie raportu porównawczego jednym poleceniem. Poniższa klasa ABTracker wykonuje tę minimalną pracę: loguje dane, grupuje je według wariantu i oblicza średnie oraz wskaźniki.
import datetime
class ABTracker:
"""Metric collector for A/B testing."""
def __init__(self):
self.events = []
def log_interaction(
self,
user_id: str,
variante: str,
question: str,
reponse: str,
metriques: dict
):
"""Records an interaction with its metrics."""
self.events.append({
"timestamp": datetime.datetime.now().isoformat(),
"user_id": user_id,
"variante": variante,
"question": question,
"reponse": reponse,
**metriques
})
def rapport(self) -> dict:
"""Generates a comparative A vs B report."""
groupes = {"A": [], "B": []}
for e in self.events:
groupes[e["variante"]].append(e)
rapport = {}
for variante, events in groupes.items():
if not events:
continue
rapport[variante] = {
"nb_interactions": len(events),
"csat_moyen": self._moyenne(events, "csat"),
"resolution_premier_contact": self._taux(events, "resolu"),
"temps_moyen_sec": self._moyenne(events, "temps_resolution"),
}
return rapport
def _moyenne(self, events, cle):
vals = [e[cle] for e in events if cle in e and e[cle] is not None]
return sum(vals) / len(vals) if vals else None
def _taux(self, events, cle):
vals = [e[cle] for e in events if cle in e]
return sum(vals) / len(vals) * 100 if vals else None
tracker = ABTracker()
Oczekiwanie na istotność statystyczną
Nie wyciągaj wniosków zbyt wcześnie. Po dwudziestu interakcjach na grupę różnica 0,4 punktu w CSAT nie ma żadnej wartości: wystarczy trzech zadowolonych klientów, by ją wygenerować. Potrzebujesz wystarczającej liczby interakcji, aby wyniki były istotne, a poniższe punkty odniesienia dają Ci rząd wielkości, do którego należy dążyć, zanim w ogóle spojrzysz na liczby.
Gdy osiągniesz taką wielkość próby, test statystyczny zadecyduje za Ciebie. Test Manna-Whitneya dobrze sprawdza się w przypadku wyników satysfakcji, które są ocenami porządkowymi i rzadko mają rozkład normalny. Jego wartość p odpowiada na precyzyjne pytanie: jakie jest prawdopodobieństwo zaobserwowania tak dużej różnicy, gdyby oba modele były w rzeczywistości równe? Poniżej 0,05 hipotezę o zwykłym przypadku trudno obronić.
from scipy import stats
def test_significativite(scores_a: list[float], scores_b: list[float]):
"""Tests whether the difference between A and B is significant."""
stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")
moy_a = sum(scores_a) / len(scores_a)
moy_b = sum(scores_b) / len(scores_b)
print(f"Mean A: {moy_a:.3f}")
print(f"Mean B: {moy_b:.3f}")
print(f"p-value: {p_value:.4f}")
if p_value < 0.05:
gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
print(f"Significant difference — {gagnant} is better")
else:
print("No significant difference")
Stopniowe skalowanie
Nawet udany test nie usprawiedliwia przełączenia całego ruchu z dnia na dzień: błąd pojawiający się raz na tysiąc pozostaje niewidoczny na małej próbie, a staje się bardzo widoczny przy pełnym wolumenie. Postępuj etapami tygodniowymi, sprawdzając swoje metryki na każdym kroku przed otwarciem następnego.
- Faza 1 (1 tydzień): 10% ruchu na modelu dostrajonym
- Faza 2 (1 tydzień): 30%, jeśli metryki są pozytywne
- Faza 3 (1 tydzień): 50% dla głównego testu A/B
- Faza 4: 100%, jeśli test jest rozstrzygający
Jeśli któryś z etapów pogarsza Twoje metryki, cofnij się do poprzedniego zamiast przechodzić dalej w nadziei, że liczba sama się poprawi. Tydzień spędzony na zrozumieniu przyczyny zawsze kosztuje mniej niż miesiąc ruchu obsługiwany przez rozczarowujący model.
Kluczowe wnioski
- Metryki biznesowe są ważniejsze niż funkcja straty podczas treningu
- Używaj deterministycznego haszowania do przydziału w testach A/B
- Czekaj na istotność statystyczną przed wyciągnięciem wniosków (p < 0,05)
- Wdrażaj stopniowo: 10%, 30%, 50%, 100%
- Mierz koszty i opóźnienia dodatkowo do jakości