Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Tástáil A/B agus Meadráin Ghnó

Ceacht 12 as 16 Nuashonraithe 2 Samhain 2026 Ardleibhéal
Ar an leathanach seo
  1. Thar an gCaillteanas: Tionchar Gnó a Thomhas
  2. Tástáil A/B a Shocrú
  3. Na Meadráin Ghnó Cearta a Roghnú
  4. Tomhais a Bhailiú
  5. Fanacht le Suntasacht Staitistiúil
  6. Scálú suas go Céimniúil
  7. Príomhphointí

Nuashonrú 2 Samhain 2026 — Fáilteacht mionchoigeartaithe. Tá an tseirbhís fhéinseirbhíse mionchoigeartaithe ó OpenAI á céimniú amach: ón 7 Bealtaine 2026, ní féidir le heagraíochtaí nach bhfuil tar éis í a úsáid riamh post a chruthú a thuilleadh; ón 2 Iúil, caithfidh tú samhalt mionchoigeartaithe a bheith úsáidte agat laistigh de na 60 lá seo caite; agus ag tosú 6 Eanáir 2027, ní bheidh aon chustaiméir in ann poist nua a sheoladh. Fanann samhlacha atá traenáilte cheana inúsáidte go dtí go gcuirtear an tsamhail bhunaidh ar scor. Fanann an cúrsa seo úsáideach chun samhail atá ann cheana a thuiscint agus a shaothrú; do thionscadail nua, tabhair tosaíocht d’innealtóireacht leideanna, RAG, agus meastóireachtaí.

Thar an gCaillteanas: Tionchar Gnó a Thomhas

Níl caillteanas traenála agus scóir cháilíochta leor. Is é an tionchar a bhíonn ag do shamhail mhionchoigeartaithe ar do KPIanna gnó an rud is tábhachtaí: sástacht custaiméirí, am réitigh, ráta tiontaithe. D’fhéadfadh samhail freagraí a tháirgeadh a fhaigheann do lucht athbhreithnithe galánta, agus san am céanna an ráta éalaithe chuig do ghníomhairí daonna a mhéadú. Is é an dara huimhir sin a chinneann todhchaí an tionscadail, ní an chéad cheann.

Tástáil A/B a Shocrú

Déanann tástáil A/B comparáid idir dhá leagan faoi choinníollacha an tsaoil fhíor le trácht fíor. Faigheann Grúpa A, an grúpa rialaithe, freagraí ón tsamhail bhunaidh le do leid optamaithe; faigheann Grúpa B, an grúpa tástála, freagraí ón tsamhail mhionchoigeartaithe. Sannann tú úsáideoirí go randamach don dá ghrúpa, agus déanann tú tomhas ar thorthaí ag baint úsáide as na meadráin chéanna. Braitheann bailíocht an chleachtais ar fad ar an sannadh seo: má tharlaíonn sé go bhfaigheann Grúpa B na hiarratais is simplí de thaisme, ní thomhaiseann a fheabhas dealraitheach ach an t-ádh sin.

Réitíonn an fheidhm choisir_variante an fhadhb seo trí ID an úsáideora a haiseáil. Ráthaíonn an cur chuige seo go bhfeiceann an t-úsáideoir céanna an leagan céanna i gcónaí—rud atá riachtanach, mar nochtfadh malartú idir seisiúin an duine do dhá stíl freagartha agus chuirfeadh sé as a chéile a rátáil sástachta. Cruthaíonn sé dáileadh atá cothrom go staitistiúil a luaithe a bhíonn toirt leordhóthanach ann, agus fanann sé in-atáirgthe: tugann an ríomh céanna a rith arís níos déanaí na grúpaí céanna go díreach, rud a ligeann duit méadrach a rinneadh dearmad de a ríomh arís gan an tástáil a athsheoladh.

import random
import hashlib
from openai import OpenAI

client = OpenAI()

MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."

def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
    """Assigns a user to group A or B deterministically."""
    h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
    return "B" if (h % 100) < pourcentage_test else "A"

def repondre(user_id: str, question: str) -> dict:
    """Responds with the correct model based on the A/B group."""
    variante = choisir_variante(user_id)

    if variante == "A":
        response = client.responses.create(
            model=MODELE_BASE,
            instructions=PROMPT_BASE,
            input=question
        )
    else:
        response = client.responses.create(
            model=MODELE_FT,
            input=question
        )

    return {
        "variante": variante,
        "modele": MODELE_BASE if variante == "A" else MODELE_FT,
        "reponse": response.output_text,
        "user_id": user_id
    }

Na Meadráin Ghnó Cearta a Roghnú

Braitheann na táscairí le leanúint go hiomlán ar an rud atá do chúntóir ceaptha a sheachadadh, agus tá a chuid féin ag gach teaghlach cásanna úsáide.

I gcás seirbhíse tacaíochta custaiméirí, freagraíonn an ráta réitigh ar an gcéad teagmháil an cheist is concretaí: an raibh ar an úsáideoir teagmháil a dhéanamh leis an tacaíocht arís? Gabhann an scór CSAT, rátáil sástachta 1-go-5 a bhailítear tar éis an idirghníomhaíochta, an mothúchán nach mbraitear le meadráin uathoibrithe. Tomhaiseann am réitigh fad iomlán an mhalartaithe, agus léitear an ráta éalaithe—an chuid den chomhrá a aistrítear chuig duine—mar admháil go dteip ar an tsamhail ar na cásanna lena mbaineann. De ghnáth, íslíonn mionchoigeartú rathúil an dá cheann deireanach sin ag an am céanna.

I gcás chatbot díolacháin, bogann an réasúnaíocht níos faide síos an sruth. Déanann an ráta tiontaithe comhaireamh ar chomhráite a fhágann ceannach nó coinne; éilíonn an ráta rannpháirtíochta, arna shloinneadh mar líon meánach na dteachtaireachtaí in aghaidh an chomhrá, léirmhíniú cúramach ós rud é gur féidir le malartú níos faide suim nó míthuiscint a chiallú; aonraíonn an ráta preab úsáideoirí a fhágann tar éis na chéad teachtaireachta, go minic toisc gur chlis an chéad fhreagra.

I gcás tasc aicmithe nó eastósctha, filleann tú ar an dtriúr clasaiceach. Tugann an chruinneas an céatadán d’aicmithe cearta, tugann an t-aisghabháil an céatadán de chásanna dearfacha a brathadh i ndáiríre, agus coscaíonn an scór F1, meán harmónach an dá cheann, socrú ar shamhail nach dtuarann an rang annamh riamh díreach chun earráidí a sheachaint.

Tomhais a Bhailiú

Níl na táscairí seo úsáideach má mhaireann siad i dtrí leatháin ríomhaire ar leith. Coinníonn bailitheoir amháin, a chothaítear ag gach idirghníomhaíocht, an leagan in éineacht leis an méadrach agus ligeann sé tuarascáil chomparáideach a tháirgeadh le haon ordú amháin. Déanann an rang ABTracker thíos an obair íosta seo: déanann sé logáil, ansin grúpáil de réir leagan agus ríomhann sé meáin agus rátaí.

import datetime

class ABTracker:
    """Metric collector for A/B testing."""

    def __init__(self):
        self.events = []

    def log_interaction(
        self,
        user_id: str,
        variante: str,
        question: str,
        reponse: str,
        metriques: dict
    ):
        """Records an interaction with its metrics."""
        self.events.append({
            "timestamp": datetime.datetime.now().isoformat(),
            "user_id": user_id,
            "variante": variante,
            "question": question,
            "reponse": reponse,
            **metriques
        })

    def rapport(self) -> dict:
        """Generates a comparative A vs B report."""
        groupes = {"A": [], "B": []}
        for e in self.events:
            groupes[e["variante"]].append(e)

        rapport = {}
        for variante, events in groupes.items():
            if not events:
                continue
            rapport[variante] = {
                "nb_interactions": len(events),
                "csat_moyen": self._moyenne(events, "csat"),
                "resolution_premier_contact": self._taux(events, "resolu"),
                "temps_moyen_sec": self._moyenne(events, "temps_resolution"),
            }

        return rapport

    def _moyenne(self, events, cle):
        vals = [e[cle] for e in events if cle in e and e[cle] is not None]
        return sum(vals) / len(vals) if vals else None

    def _taux(self, events, cle):
        vals = [e[cle] for e in events if cle in e]
        return sum(vals) / len(vals) * 100 if vals else None

tracker = ABTracker()

Fanacht le Suntasacht Staitistiúil

Ná tarraing conclúidí ró-luath. Tar éis fiche idirghníomhaíocht in aghaidh an ghrúpa, níl aon luach ag bearna CSAT 0.4 pointe: tá trí chustaiméir shásta leor chun é a tháirgeadh. Teastaíonn go leor idirghníomhaíochtaí uait chun go mbeidh na torthaí suntasach, agus tugann na tagarmharcanna thíos an t-ord méide le díriú air sula bhféachann tú fiú ar na huimhreacha.

100
Íosmhéid in aghaidh an ghrúpa
500+
Le haghaidh torthaí iontaofa
p < 0.05
Tairseach suntasachta

A luaithe a shroicheann tú an toirt sin, cinneann tástáil staitistiúil duitse. Oibríonn an tástáil Mann-Whitney go maith do scóir sástachta, atá ina rátálacha ordúla nach mbíonn dáilte go gnáth go minic. Freagraíonn a luach-p ceist chruinn: cén dóchúlacht atá ann go mbreathnófaí ar bhearna chomh mór sin dá mbeadh an dá shamhail comhionann i ndáiríre? Faoi 0.05, éiríonn sé deacair an hipitéis maidir le seans simplí a chosaint.

from scipy import stats

def test_significativite(scores_a: list[float], scores_b: list[float]):
    """Tests whether the difference between A and B is significant."""
    stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")

    moy_a = sum(scores_a) / len(scores_a)
    moy_b = sum(scores_b) / len(scores_b)

    print(f"Mean A: {moy_a:.3f}")
    print(f"Mean B: {moy_b:.3f}")
    print(f"p-value: {p_value:.4f}")

    if p_value < 0.05:
        gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
        print(f"Significant difference — {gagnant} is better")
    else:
        print("No significant difference")

Scálú suas go Céimniúil

Ní dhéanann tástáil rathúil údar maith fiú chun an trácht ar fad a aistriú thar oíche: fanann locht a tharlaíonn uair amháin as míle dofheicthe ar shampla agus éiríonn sé an-infheicthe ag toirt iomlán. Téigh ar aghaidh i gcéimeanna seachtaine, ag seiceáil do mheadráin ag gach céim sula osclaíonn tú an chéad cheann eile.

  1. Céim 1 (1 seachtain): 10% den trácht ar an tsamhail mhionchoigeartaithe
  2. Céim 2 (1 seachtain): 30% má tá na meadráin dearfach
  3. Céim 3 (1 seachtain): 50% don phríomhthástáil A/B
  4. Céim 4: 100% má tá an tástáil críochnaitheach

Má dhéanann céim do mheadráin a dhíghrádú, fill ar an gceann roimhe sin in ionad an chéad cheann eile a oscailt ag súil go dtiocfaidh feabhas ar an uimhir léi féin. Is lú costas seachtain a chaitear ag tuiscint cén fáth ná mí de thrácht a sheachadann samhail dhíomách.

Príomhphointí

  • Tá meadráin ghnó níos tábhachtaí ná caillteanas traenála
  • Úsáid haiseáil chinntitheach do shannadh A/B
  • Fan le suntasacht staitistiúil sula dtarraingíonn tú conclúidí (p < 0.05)
  • Imscaradh céimniúil: 10%, 30%, 50%, 100%
  • Tomhais costais agus moill i dteannta le cáilíocht