Ittestjar A/B u Metriki tan-Negozju
F'din il-paġna
Aġġornament 2 ta’ Novembru, 2026 — Disponibbiltà tal-Fine-tuning. Is-servizz awtonomu ta’ fine-tuning ta’ OpenAI qed jiġi rtirat gradwalment: mill-7 ta’ Mejju, 2026, l-organizzazzjonijiet li qatt ma użawh ma jistgħux joħolqu aktar kompiti; mill-2 ta’ Lulju, trid tkun użajt mudell imħarreġ b’mod fin (fine-tuned) fi żmien l-aħħar 60 jum; u mill-6 ta’ Jannar, 2027, l-ebda klijent ma jkun jista’ jnieda kompiti ġodda. Il-mudelli diġà mħarrġa jibqgħu użabbli sakemm il-mudell bażi tagħhom jiġi rtirat. Dan il-kors jibqa’ utli biex tifhem u tisfrutta mudell eżistenti; għal proġetti ġodda, agħti prijorità lill-inġinerija tal-prompt (prompt engineering), RAG, u l-evalwazzjonijiet.
Lil hinn mit-Telf: Kejl tal-Impatt tan-Negozju
It-telf matul it-taħriġ u l-punteġġi tal-kwalità mhumiex biżżejjed. Dak li verament jgħodd huwa l-impatt tal-mudell imħarreġ b’mod fin tiegħek fuq l-KPIs tan-negozju tiegħek: is-sodisfazzjon tal-klijenti, il-ħin tar-riżoluzzjoni, ir-rata ta’ konverżjoni. Mudell jista’ jipproduċi tweġibiet li r-reviżuri tiegħek isibu eleganti, filwaqt li fl-istess ħin iżid ir-rata ta’ eskalazzjoni lejn l-aġenti umani tiegħek. Dak in-numru t-tieni jiddeċiedi l-futur tal-proġett, mhux l-ewwel wieħed.
It-Twaqqif ta’ Test A/B
Test A/B iqabbel żewġ varjanti f’kundizzjonijiet tad-dinja reali b’traffiku awtentiku. Il-Grupp A, il-grupp ta’ kontroll, jirċievi tweġibiet mill-mudell bażi bil-prompt ottimizzat tiegħek; il-Grupp B, il-grupp tat-test, jikseb tweġibiet mill-mudell imħarreġ b’mod fin. L-utenti jiġu assenjati b’mod każwali għaż-żewġ gruppi, u tkejjel ir-riżultati bl-użu tal-istess metriki. Il-validità kollha tal-eżerċizzju tiddependi fuq din l-assenjazzjoni: jekk il-Grupp B jirċievi b’kumbinazzjoni l-aktar talbiet sempliċi, is-superjorità apparenti tiegħu tkejjel xejn ħlief dik ix-xorti.
Il-funzjoni choisir_variante issolvi din il-problema billi tagħmel hash tal-ID tal-utent. Dan l-approċċ jiggarantixxi li l-istess utent dejjem jara l-istess varjant—essenzjali, għax li tibdel bejn is-sessjonijiet jesponi lill-persuna għal żewġ stili ta’ tweġiba u jħassar il-valutazzjoni tas-sodisfazzjon tagħhom. Jipproduċi distribuzzjoni statistikament ibbilanċjata ladarba l-volum ikun biżżejjed, u jibqa’ riproduċibbli: li terġa’ tgħaddi mill-kalkolu aktar tard jagħtik eżattament l-istess gruppi, u jħallik terġa’ tikkalkula metrika minsija mingħajr ma terġa’ tniedi t-test.
import random
import hashlib
from openai import OpenAI
client = OpenAI()
MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."
def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
"""Assigns a user to group A or B deterministically."""
h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
return "B" if (h % 100) < pourcentage_test else "A"
def repondre(user_id: str, question: str) -> dict:
"""Responds with the correct model based on the A/B group."""
variante = choisir_variante(user_id)
if variante == "A":
response = client.responses.create(
model=MODELE_BASE,
instructions=PROMPT_BASE,
input=question
)
else:
response = client.responses.create(
model=MODELE_FT,
input=question
)
return {
"variante": variante,
"modele": MODELE_BASE if variante == "A" else MODELE_FT,
"reponse": response.output_text,
"user_id": user_id
}
L-Għażla tal-Metriki tan-Negozju T-tajba
L-indikaturi li għandek issegwi jiddependu għalkollox fuq dak li l-assistent tiegħek huwa maħsub biex iwassal, u kull familja ta’ każijiet ta’ użu għandha dawk tagħha.
Għal servizz ta’ appoġġ lill-klijenti, ir-rata ta’ riżoluzzjoni mill-ewwel kuntatt twieġeb l-aktar mistoqsija konkreta: l-utent kellu bżonn jikkuntattja l-appoġġ mill-ġdid? Il-punteġġ CSAT, valutazzjoni tas-sodisfazzjon minn 1 sa 5 miġbura wara l-interazzjoni, jaqbad is-sentiment li l-metriki awtomatizzati jitilfu. Il-ħin tar-riżoluzzjoni jkejjel id-durata totali tal-iskambju, u r-rata ta’ eskalazzjoni—il-porzjon ta’ konversazzjonijiet trasferiti lil bniedem—taqra bħala ammissjoni ta’ falliment tal-mudell fuq il-każijiet involuti. Fine-tuning ta’ suċċess tipikament inaqqas iż-żewġ tal-aħħar flimkien.
Għal chatbot tal-bejgħ, ir-raġunament jiċċaqlaq ‘l isfel. Ir-rata ta’ konverżjoni tgħodd il-konversazzjonijiet li jwasslu għal xiri jew appuntament; ir-rata ta’ impenn, espressa bħala n-numru medju ta’ messagi għal kull konversazzjoni, teħtieġ interpretazzjoni attenta peress li skambju itwal jista’ jindika jew interess jew nuqqas ta’ fehim; ir-rata ta’ rifjut (bounce rate) tiżola lill-utenti li jitilqu wara l-ewwel messaġġ, spiss għax it-tweġiba inizjali ma laqtitx il-mira.
Għal kompitu ta’ klassifikazzjoni jew estrazzjoni, terġa’ lura għat-trijet klassiku. Il-preċiżjoni tagħti l-perċentwal ta’ klassifikazzjonijiet korretti, is-sejbien (recall) il-perċentwal ta’ każijiet pożittivi skoperti effettivament, u l-punteġġ F1, il-medja armonika taż-żewġ metriki, jipprevjeni li tilqa’ għal mudell li qatt ma jbassar il-klassi rari biss biex jevita żbalji.
Il-Ġbir tal-Kejlijiet
Dawn l-indikaturi huma inutili jekk jgħixu fi tliet fogli tal-kalkolu separati. Kollettur wieħed, imħaddem f’kull interazzjoni, iżomm il-varjant flimkien mal-metrika u jippermetti li tipproduċi rapport komparattiv b’kmand wieħed. Il-klassi ABTracker hawn taħt tagħmel dan ix-xogħol minimu: tirreġistra, imbagħad tagħmel raggruppament skont il-varjant u tikkalkula medji u rati.
import datetime
class ABTracker:
"""Metric collector for A/B testing."""
def __init__(self):
self.events = []
def log_interaction(
self,
user_id: str,
variante: str,
question: str,
reponse: str,
metriques: dict
):
"""Records an interaction with its metrics."""
self.events.append({
"timestamp": datetime.datetime.now().isoformat(),
"user_id": user_id,
"variante": variante,
"question": question,
"reponse": reponse,
**metriques
})
def rapport(self) -> dict:
"""Generates a comparative A vs B report."""
groupes = {"A": [], "B": []}
for e in self.events:
groupes[e["variante"]].append(e)
rapport = {}
for variante, events in groupes.items():
if not events:
continue
rapport[variante] = {
"nb_interactions": len(events),
"csat_moyen": self._moyenne(events, "csat"),
"resolution_premier_contact": self._taux(events, "resolu"),
"temps_moyen_sec": self._moyenne(events, "temps_resolution"),
}
return rapport
def _moyenne(self, events, cle):
vals = [e[cle] for e in events if cle in e and e[cle] is not None]
return sum(vals) / len(vals) if vals else None
def _taux(self, events, cle):
vals = [e[cle] for e in events if cle in e]
return sum(vals) / len(vals) * 100 if vals else None
tracker = ABTracker()
Stennija għas-Sinifikat Statistiku
Tikkonkludix kmieni wisq. Wara għoxrin interazzjoni għal kull grupp, differenza ta’ 0.4 punti fil-CSAT m’għandha l-ebda valur: tliet klijenti kuntenti huma biżżejjed biex jipproduċuha. Għandek bżonn biżżejjed interazzjonijiet biex ir-riżultati jkunu sinifikanti, u l-parametri referenzjarji hawn taħt jagħtuk l-ordni tal-kobor li għandek timmira lejha qabel ma tħares lejn in-numri.
Ladarba tilħaq dak il-volum, test statistiku jiddeċiedi għalik. It-test ta’ Mann-Whitney jaħdem tajjeb għal punteġġi tas-sodisfazzjon, li huma valutazzjonijiet ordnali rari distribwiti b’mod normali. Il-valur-p tiegħu jwieġeb mistoqsija preċiża: x’inhi l-probabbiltà li tosserva differenza daqshekk kbira jekk iż-żewġ mudelli kienu effettivament ugwali? Taħt 0.05, l-ipoteżi tax-xorti sempliċi ssir diffiċli biex tiddefendiha.
from scipy import stats
def test_significativite(scores_a: list[float], scores_b: list[float]):
"""Tests whether the difference between A and B is significant."""
stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")
moy_a = sum(scores_a) / len(scores_a)
moy_b = sum(scores_b) / len(scores_b)
print(f"Mean A: {moy_a:.3f}")
print(f"Mean B: {moy_b:.3f}")
print(f"p-value: {p_value:.4f}")
if p_value < 0.05:
gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
print(f"Significant difference — {gagnant} is better")
else:
print("No significant difference")
Skalar Gradwali
Anke test ta’ suċċess ma jiġġustifikax li tbiddel it-traffiku kollu f’daqqa: difett li jidher darba biss f’elf jibqa’ inviżibbli fuq kampjun u jsir viżibbli ħafna f’volum sħiħ. Ipproċedi f’fażijiet ta’ ġimgħa, tiċċekkja l-metriki tiegħek f’kull pass qabel ma tiftaħ li jmiss.
- Fażi 1 (ġimgħa): 10% tat-traffiku fuq il-mudell imħarreġ b’mod fin
- Fażi 2 (ġimgħa): 30% jekk il-metriki huma pożittivi
- Fażi 3 (ġimgħa): 50% għat-test A/B prinċipali
- Fażi 4: 100% jekk it-test ikun konklużiv
Jekk fażi tiddeterjora l-metriki tiegħek, erġa’ lura għall-preċedenti minflok ma tiftaħ li jmiss bit-tama li n-numru jirkupra waħdu. Ġimgħa spenta tifhem għaliex dejjem tiswi inqas minn xahar ta’ traffiku moqdi minn mudell deludenti.
Punti Ewlenin
- Il-metriki tan-negozju jhossu aktar mit-telf matul it-taħriġ
- Uża hashing deterministiku għall-assenjazzjoni A/B
- Stenna s-sinifikat statistiku qabel ma tikkonkludi (p < 0.05)
- Iddispjega gradwalment: 10%, 30%, 50%, 100%
- Kejjel l-ispejjeż u l-latenza flimkien mal-kwalità