Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Ittestjar A/B u Metriki tan-Negozju

Lezzjoni 12 / 16 Aġġornat 2 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. Lil hinn mit-Telf: Kejl tal-Impatt tan-Negozju
  2. It-Twaqqif ta’ Test A/B
  3. L-Għażla tal-Metriki tan-Negozju T-tajba
  4. Il-Ġbir tal-Kejlijiet
  5. Stennija għas-Sinifikat Statistiku
  6. Skalar Gradwali
  7. Punti Ewlenin

Aġġornament 2 ta’ Novembru, 2026 — Disponibbiltà tal-Fine-tuning. Is-servizz awtonomu ta’ fine-tuning ta’ OpenAI qed jiġi rtirat gradwalment: mill-7 ta’ Mejju, 2026, l-organizzazzjonijiet li qatt ma użawh ma jistgħux joħolqu aktar kompiti; mill-2 ta’ Lulju, trid tkun użajt mudell imħarreġ b’mod fin (fine-tuned) fi żmien l-aħħar 60 jum; u mill-6 ta’ Jannar, 2027, l-ebda klijent ma jkun jista’ jnieda kompiti ġodda. Il-mudelli diġà mħarrġa jibqgħu użabbli sakemm il-mudell bażi tagħhom jiġi rtirat. Dan il-kors jibqa’ utli biex tifhem u tisfrutta mudell eżistenti; għal proġetti ġodda, agħti prijorità lill-inġinerija tal-prompt (prompt engineering), RAG, u l-evalwazzjonijiet.

Lil hinn mit-Telf: Kejl tal-Impatt tan-Negozju

It-telf matul it-taħriġ u l-punteġġi tal-kwalità mhumiex biżżejjed. Dak li verament jgħodd huwa l-impatt tal-mudell imħarreġ b’mod fin tiegħek fuq l-KPIs tan-negozju tiegħek: is-sodisfazzjon tal-klijenti, il-ħin tar-riżoluzzjoni, ir-rata ta’ konverżjoni. Mudell jista’ jipproduċi tweġibiet li r-reviżuri tiegħek isibu eleganti, filwaqt li fl-istess ħin iżid ir-rata ta’ eskalazzjoni lejn l-aġenti umani tiegħek. Dak in-numru t-tieni jiddeċiedi l-futur tal-proġett, mhux l-ewwel wieħed.

It-Twaqqif ta’ Test A/B

Test A/B iqabbel żewġ varjanti f’kundizzjonijiet tad-dinja reali b’traffiku awtentiku. Il-Grupp A, il-grupp ta’ kontroll, jirċievi tweġibiet mill-mudell bażi bil-prompt ottimizzat tiegħek; il-Grupp B, il-grupp tat-test, jikseb tweġibiet mill-mudell imħarreġ b’mod fin. L-utenti jiġu assenjati b’mod każwali għaż-żewġ gruppi, u tkejjel ir-riżultati bl-użu tal-istess metriki. Il-validità kollha tal-eżerċizzju tiddependi fuq din l-assenjazzjoni: jekk il-Grupp B jirċievi b’kumbinazzjoni l-aktar talbiet sempliċi, is-superjorità apparenti tiegħu tkejjel xejn ħlief dik ix-xorti.

Il-funzjoni choisir_variante issolvi din il-problema billi tagħmel hash tal-ID tal-utent. Dan l-approċċ jiggarantixxi li l-istess utent dejjem jara l-istess varjant—essenzjali, għax li tibdel bejn is-sessjonijiet jesponi lill-persuna għal żewġ stili ta’ tweġiba u jħassar il-valutazzjoni tas-sodisfazzjon tagħhom. Jipproduċi distribuzzjoni statistikament ibbilanċjata ladarba l-volum ikun biżżejjed, u jibqa’ riproduċibbli: li terġa’ tgħaddi mill-kalkolu aktar tard jagħtik eżattament l-istess gruppi, u jħallik terġa’ tikkalkula metrika minsija mingħajr ma terġa’ tniedi t-test.

import random
import hashlib
from openai import OpenAI

client = OpenAI()

MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."

def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
    """Assigns a user to group A or B deterministically."""
    h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
    return "B" if (h % 100) < pourcentage_test else "A"

def repondre(user_id: str, question: str) -> dict:
    """Responds with the correct model based on the A/B group."""
    variante = choisir_variante(user_id)

    if variante == "A":
        response = client.responses.create(
            model=MODELE_BASE,
            instructions=PROMPT_BASE,
            input=question
        )
    else:
        response = client.responses.create(
            model=MODELE_FT,
            input=question
        )

    return {
        "variante": variante,
        "modele": MODELE_BASE if variante == "A" else MODELE_FT,
        "reponse": response.output_text,
        "user_id": user_id
    }

L-Għażla tal-Metriki tan-Negozju T-tajba

L-indikaturi li għandek issegwi jiddependu għalkollox fuq dak li l-assistent tiegħek huwa maħsub biex iwassal, u kull familja ta’ każijiet ta’ użu għandha dawk tagħha.

Għal servizz ta’ appoġġ lill-klijenti, ir-rata ta’ riżoluzzjoni mill-ewwel kuntatt twieġeb l-aktar mistoqsija konkreta: l-utent kellu bżonn jikkuntattja l-appoġġ mill-ġdid? Il-punteġġ CSAT, valutazzjoni tas-sodisfazzjon minn 1 sa 5 miġbura wara l-interazzjoni, jaqbad is-sentiment li l-metriki awtomatizzati jitilfu. Il-ħin tar-riżoluzzjoni jkejjel id-durata totali tal-iskambju, u r-rata ta’ eskalazzjoni—il-porzjon ta’ konversazzjonijiet trasferiti lil bniedem—taqra bħala ammissjoni ta’ falliment tal-mudell fuq il-każijiet involuti. Fine-tuning ta’ suċċess tipikament inaqqas iż-żewġ tal-aħħar flimkien.

Għal chatbot tal-bejgħ, ir-raġunament jiċċaqlaq ‘l isfel. Ir-rata ta’ konverżjoni tgħodd il-konversazzjonijiet li jwasslu għal xiri jew appuntament; ir-rata ta’ impenn, espressa bħala n-numru medju ta’ messagi għal kull konversazzjoni, teħtieġ interpretazzjoni attenta peress li skambju itwal jista’ jindika jew interess jew nuqqas ta’ fehim; ir-rata ta’ rifjut (bounce rate) tiżola lill-utenti li jitilqu wara l-ewwel messaġġ, spiss għax it-tweġiba inizjali ma laqtitx il-mira.

Għal kompitu ta’ klassifikazzjoni jew estrazzjoni, terġa’ lura għat-trijet klassiku. Il-preċiżjoni tagħti l-perċentwal ta’ klassifikazzjonijiet korretti, is-sejbien (recall) il-perċentwal ta’ każijiet pożittivi skoperti effettivament, u l-punteġġ F1, il-medja armonika taż-żewġ metriki, jipprevjeni li tilqa’ għal mudell li qatt ma jbassar il-klassi rari biss biex jevita żbalji.

Il-Ġbir tal-Kejlijiet

Dawn l-indikaturi huma inutili jekk jgħixu fi tliet fogli tal-kalkolu separati. Kollettur wieħed, imħaddem f’kull interazzjoni, iżomm il-varjant flimkien mal-metrika u jippermetti li tipproduċi rapport komparattiv b’kmand wieħed. Il-klassi ABTracker hawn taħt tagħmel dan ix-xogħol minimu: tirreġistra, imbagħad tagħmel raggruppament skont il-varjant u tikkalkula medji u rati.

import datetime

class ABTracker:
    """Metric collector for A/B testing."""

    def __init__(self):
        self.events = []

    def log_interaction(
        self,
        user_id: str,
        variante: str,
        question: str,
        reponse: str,
        metriques: dict
    ):
        """Records an interaction with its metrics."""
        self.events.append({
            "timestamp": datetime.datetime.now().isoformat(),
            "user_id": user_id,
            "variante": variante,
            "question": question,
            "reponse": reponse,
            **metriques
        })

    def rapport(self) -> dict:
        """Generates a comparative A vs B report."""
        groupes = {"A": [], "B": []}
        for e in self.events:
            groupes[e["variante"]].append(e)

        rapport = {}
        for variante, events in groupes.items():
            if not events:
                continue
            rapport[variante] = {
                "nb_interactions": len(events),
                "csat_moyen": self._moyenne(events, "csat"),
                "resolution_premier_contact": self._taux(events, "resolu"),
                "temps_moyen_sec": self._moyenne(events, "temps_resolution"),
            }

        return rapport

    def _moyenne(self, events, cle):
        vals = [e[cle] for e in events if cle in e and e[cle] is not None]
        return sum(vals) / len(vals) if vals else None

    def _taux(self, events, cle):
        vals = [e[cle] for e in events if cle in e]
        return sum(vals) / len(vals) * 100 if vals else None

tracker = ABTracker()

Stennija għas-Sinifikat Statistiku

Tikkonkludix kmieni wisq. Wara għoxrin interazzjoni għal kull grupp, differenza ta’ 0.4 punti fil-CSAT m’għandha l-ebda valur: tliet klijenti kuntenti huma biżżejjed biex jipproduċuha. Għandek bżonn biżżejjed interazzjonijiet biex ir-riżultati jkunu sinifikanti, u l-parametri referenzjarji hawn taħt jagħtuk l-ordni tal-kobor li għandek timmira lejha qabel ma tħares lejn in-numri.

100
Minimum per group
500+
For reliable results
p < 0.05
Significance threshold

Ladarba tilħaq dak il-volum, test statistiku jiddeċiedi għalik. It-test ta’ Mann-Whitney jaħdem tajjeb għal punteġġi tas-sodisfazzjon, li huma valutazzjonijiet ordnali rari distribwiti b’mod normali. Il-valur-p tiegħu jwieġeb mistoqsija preċiża: x’inhi l-probabbiltà li tosserva differenza daqshekk kbira jekk iż-żewġ mudelli kienu effettivament ugwali? Taħt 0.05, l-ipoteżi tax-xorti sempliċi ssir diffiċli biex tiddefendiha.

from scipy import stats

def test_significativite(scores_a: list[float], scores_b: list[float]):
    """Tests whether the difference between A and B is significant."""
    stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")

    moy_a = sum(scores_a) / len(scores_a)
    moy_b = sum(scores_b) / len(scores_b)

    print(f"Mean A: {moy_a:.3f}")
    print(f"Mean B: {moy_b:.3f}")
    print(f"p-value: {p_value:.4f}")

    if p_value < 0.05:
        gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
        print(f"Significant difference — {gagnant} is better")
    else:
        print("No significant difference")

Skalar Gradwali

Anke test ta’ suċċess ma jiġġustifikax li tbiddel it-traffiku kollu f’daqqa: difett li jidher darba biss f’elf jibqa’ inviżibbli fuq kampjun u jsir viżibbli ħafna f’volum sħiħ. Ipproċedi f’fażijiet ta’ ġimgħa, tiċċekkja l-metriki tiegħek f’kull pass qabel ma tiftaħ li jmiss.

  1. Fażi 1 (ġimgħa): 10% tat-traffiku fuq il-mudell imħarreġ b’mod fin
  2. Fażi 2 (ġimgħa): 30% jekk il-metriki huma pożittivi
  3. Fażi 3 (ġimgħa): 50% għat-test A/B prinċipali
  4. Fażi 4: 100% jekk it-test ikun konklużiv

Jekk fażi tiddeterjora l-metriki tiegħek, erġa’ lura għall-preċedenti minflok ma tiftaħ li jmiss bit-tama li n-numru jirkupra waħdu. Ġimgħa spenta tifhem għaliex dejjem tiswi inqas minn xahar ta’ traffiku moqdi minn mudell deludenti.

Punti Ewlenin

  • Il-metriki tan-negozju jhossu aktar mit-telf matul it-taħriġ
  • Uża hashing deterministiku għall-assenjazzjoni A/B
  • Stenna s-sinifikat statistiku qabel ma tikkonkludi (p < 0.05)
  • Iddispjega gradwalment: 10%, 30%, 50%, 100%
  • Kejjel l-ispejjeż u l-latenza flimkien mal-kwalità