A/B тестване и бизнес метрики
На тази страница
Актуализация от 2 ноември 2026 г. — Наличност на фина настройка (fine-tuning). Услугата за самостоятелна фина настройка на OpenAI се прекратява: от 7 май 2026 г. организации, които никога не са я използвали, вече не могат да създават задачи; от 2 юли трябва да сте използвали финализиран модел през последните 60 дни; а считано от 6 януари 2027 г. никой клиент няма да може да стартира нови задачи. Вече обучените модели остават използваеми до оттеглянето на базовия им модел. Този курс остава полезен за разбиране и използване на съществуващ модел; за нови проекти дайте приоритет на инженерството на подкани (prompt engineering), RAG и оценяването.
Отвъд загубата: Измерване на бизнес въздействието
Загубата при обучение (training loss) и оценките за качество не са достатъчни. Това, което наистина има значение, е въздействието на вашия финализиран модел върху вашите бизнес KPI: удовлетвореност на клиентите, време за решаване, коефициент на конверсия. Един модел може да генерира отговори, които вашите рецензенти намират за елегантни, като същевременно увеличава процента на ескалация към човешките ви агенти. Второто число решава бъдещето на проекта, а не първото.
Настройка на A/B тест
A/B тестът сравнява две варианти при реални условия с автентичен трафик. Група А, контролната група, получава отговори от базовия модел с вашата оптимизирана подкана; Група Б, тестовата група, получава отговори от финализирания модел. Потребителите се разпределят случайно в двете групи и вие измервате резултатите, използвайки едни и същи метрики. Цялата валидност на упражнението зависи от това разпределение: ако Група Б случайно получи най-простите заявки, нейната привидна превъзходство измерва нищо друго освен този късмет.
Функцията choisir_variante решава този проблем чрез хеширане на потребителския ID. Този подход гарантира, че един и същ потребител винаги вижда един и същ вариант – от съществено значение, защото редуването между сесиите би изложило лицето на два стила на отговор и би изкривило оценката му за удовлетвореност. Той произвежда статистически балансирано разпределение, щом обемът е достатъчен, и остава възпроизводим: повторното изпълнение на изчислението по-късно дава точно същите групи, което ви позволява да преизчислите забравена метрика, без да стартирате теста отново.
import random
import hashlib
from openai import OpenAI
client = OpenAI()
MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."
def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
"""Assigns a user to group A or B deterministically."""
h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
return "B" if (h % 100) < pourcentage_test else "A"
def repondre(user_id: str, question: str) -> dict:
"""Responds with the correct model based on the A/B group."""
variante = choisir_variante(user_id)
if variante == "A":
response = client.responses.create(
model=MODELE_BASE,
instructions=PROMPT_BASE,
input=question
)
else:
response = client.responses.create(
model=MODELE_FT,
input=question
)
return {
"variante": variante,
"modele": MODELE_BASE if variante == "A" else MODELE_FT,
"reponse": response.output_text,
"user_id": user_id
}
Избор на правилните бизнес метрики
Индикаторите за проследяване зависят изцяло от това какво трябва да достави вашият асистент и всяко семейство случаи на употреба има свои собствени.
За услуга за поддръжка на клиенти, процентът на решаване при първи контакт отговаря на най-конкретния въпрос: наложи ли се потребителят да се свърже отново с поддръжката? Оценката CSAT, рейтинг за удовлетвореност от 1 до 5, събиран след взаимодействието, улавя настроения, които автоматизираните метрики пропускат. Времето за решаване измерва общата продължителност на обмена, а процентът на ескалация – частта от разговорите, прехвърлени на човек – се чете като признание за неуспех на модела в съответните случаи. Успешната фина настройка обикновено намалява едновременно и двете последни.
За чатбот за продажби разсъждението се измества надолу по веригата. Коефициентът на конверсия брои разговорите, водещи до покупка или среща; процентът на ангажираност, изразен като среден брой съобщения на разговор, изисква внимателно тълкуване, тъй като по-дългият обмен може да сигнализира както за интерес, така и за неразбиране; процентът на отказ (bounce rate) изолира потребителите, които напускат след първото съобщение, често защото първоначалният отговор не е попаднал в целта.
За задача за класификация или извличане се връщате към класическото трио. Прецизността дава процента на правилните класификации, пълнотата (recall) – процента на действително откритите положителни случаи, а F1-резултатът, хармоничното средно на двете, предотвратява settling за модел, който никога не предвижда рядък клас, само за да избегне грешки.
Събиране на измервания
Тези индикатори са безполезни, ако живеят в три отделни електронни таблици. Единен събирач, захранван при всяко взаимодействие, запазва варианта заедно с метриката и позволява създаването на сравнителен доклад с една команда. Класът ABTracker по-долу върши тази минимална работа: той регистрира, след това групира по вариант и изчислява средни стойности и проценти.
import datetime
class ABTracker:
"""Metric collector for A/B testing."""
def __init__(self):
self.events = []
def log_interaction(
self,
user_id: str,
variante: str,
question: str,
reponse: str,
metriques: dict
):
"""Records an interaction with its metrics."""
self.events.append({
"timestamp": datetime.datetime.now().isoformat(),
"user_id": user_id,
"variante": variante,
"question": question,
"reponse": reponse,
**metriques
})
def rapport(self) -> dict:
"""Generates a comparative A vs B report."""
groupes = {"A": [], "B": []}
for e in self.events:
groupes[e["variante"]].append(e)
rapport = {}
for variante, events in groupes.items():
if not events:
continue
rapport[variante] = {
"nb_interactions": len(events),
"csat_moyen": self._moyenne(events, "csat"),
"resolution_premier_contact": self._taux(events, "resolu"),
"temps_moyen_sec": self._moyenne(events, "temps_resolution"),
}
return rapport
def _moyenne(self, events, cle):
vals = [e[cle] for e in events if cle in e and e[cle] is not None]
return sum(vals) / len(vals) if vals else None
def _taux(self, events, cle):
vals = [e[cle] for e in events if cle in e]
return sum(vals) / len(vals) * 100 if vals else None
tracker = ABTracker()
Изчакване на статистическа значимост
Не правете изводи твърде рано. След двадесет взаимодействия на група, разлика в CSAT от 0,4 точки няма стойност: три доволни клиента са достатъчни, за да я произведат. Имате нужда от достатъчно взаимодействия, за да бъдат резултатите значими, а ориентировъчните стойности по-долу ви дават порядъка на величина, към който да се стремите, преди дори да погледнете числата.
След като достигнете този обем, статистически тест решава вместо вас. Тестът на Ман-Уитни работи добре за оценки за удовлетвореност, които са ординални рейтинги, рядко разпределени нормално. Неговата p-стойност отговаря на точен въпрос: каква е вероятността да се наблюдава толкова голяма разлика, ако двата модела всъщност бяха равни? Под 0,05 хипотезата за обикновен шанс става трудна за защита.
from scipy import stats
def test_significativite(scores_a: list[float], scores_b: list[float]):
"""Tests whether the difference between A and B is significant."""
stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")
moy_a = sum(scores_a) / len(scores_a)
moy_b = sum(scores_b) / len(scores_b)
print(f"Mean A: {moy_a:.3f}")
print(f"Mean B: {moy_b:.3f}")
print(f"p-value: {p_value:.4f}")
if p_value < 0.05:
gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
print(f"Significant difference — {gagnant} is better")
else:
print("No significant difference")
Постепенно мащабиране
Дори успешен тест не оправдава превключването на целия трафик за една нощ: дефект, който се появява само веднъж на хиляда, остава невидим в извадка и става много видим при пълен обем. Продължете на етапи от една седмица, проверявайки метриките си на всяка стъпка, преди да отворите следващата.
- Фаза 1 (1 седмица): 10% трафик към финализирания модел
- Фаза 2 (1 седмица): 30%, ако метриките са положителни
- Фаза 3 (1 седмица): 50% за основния A/B тест
- Фаза 4: 100%, ако тестът е убедителен
Ако някой етап влоши метриките ви, върнете се към предишния, вместо да отваряте следващия с надеждата, че числото ще се възстанови само по себе си. Седмица, прекарана в разбиране на причината, винаги струва по-малко от месец трафик, обслужван от разочароващ модел.
Ключови изводи
- Бизнес метриките са по-важни от загубата при обучение
- Използвайте детерминистично хеширане за разпределение в A/B тестовете
- Изчакайте статистическа значимост, преди да направите изводи (p < 0,05)
- Внедрявайте постепенно: 10%, 30%, 50%, 100%
- Измервайте разходите и латентността в допълнение към качеството