Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Ittestjar A/B tal-Prompts

Lezzjoni 15 / 16 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Ittestjar A/B tal-Prompts
  2. Il-Prinċipju
  3. Qafas għall-Ittestjar A/B
  4. Metriċi ta’ Evalwazzjoni
  5. Eżempju Sħiħ: Ittestjar ta’ Żewġ Stili ta’ Prompt
  6. Sinifikat Statistiku
  7. It-Tnedija tal-Ewwel Esperiment Tiegħek
  8. Punti Ewlenin

Lezzjoni aġġornata fit-3 ta’ Novembru 2026 ibbażata fuq id-dokumentazzjoni ta’ OpenAI: temperature u top_p huma aċċettati biss b’sforz ta’ raġunar ta’ none, filwaqt li l-mudelli GPT-5.6 jirraġunaw b’mod awtomatiku (medium). Għalhekk, is-sejħiet li jistabbilixxu dawn il-parametri għandhom jispeċifikaw reasoning={"effort": "none"} (API tar-Risposti) jew reasoning_effort="none" (Chat Completions). Sorsi: L-użu ta’ GPT-6 · GPT-5.6 Terra.

Ittestjar A/B tal-Prompts

L-ittestjar A/B tal-prompts jippermettilek tqabbel b’mod oġġettiv żewġ verżjonijiet ta’ prompt billi tuża traffiku reali. Minflok ma tagħżel prompt ibbażat fuq l-intuwizzjoni, tkejjel liema minnhom jipproduċi riżultati aħjar skont il-metriċi tan-negozju tiegħek. Dan huwa l-pass obbligatorju bejn il-prototipar u l-produzzjoni.

Il-Prinċipju

It-traffiku li jidħol jinqasam b’mod każwali bejn żewġ (jew aktar) varjanti ta’ prompt. Kull risposta tiġi evalwata kontra kriterji definiti minn qabel, u l-varjant rebbieħ jiġi dispjegat għal 100% tat-traffiku.

Is-saħħa ta’ dan il-metodu hija li ż-żewġ varjanti jiffaċċjaw l-istess traffiku, taħt l-istess kundizzjonijiet, fl-istess ħin. Is-sorsi esterni kollha ta’ varjazzjoni—staġjonalità, inċidenti fin-netwerk, wasla ta’ kategorija ġdida ta’ talbiet—jaffettwaw iż-żewġ gruppi bl-istess mod u jikkanċellaw ruħhom fil-komparazzjoni. Test sekwenzjali ma jistax jiggarantixxi dan: it-tħaddim tal-prompt qadim għal ġimgħa u dak il-ġdid għall-ġimgħa ta’ wara jħallik incapaci li tgħid jekk it-titjib ġiex mir-rewrite tiegħek jew mill-kalendarju.

Qafas għall-Ittestjar A/B

Il-klassi PromptExperiment għandha tliet responsabbiltajiet. assign_variant tiddeċiedi liema varjant iservi talba mogħtija, run tesegwixxi s-sejħa u tirreġistra r-riżultat, u get_stats taggrega d-data.

L-assenjament jeħtieġ nota. Meta jiġi pprovdut user_id, dan ikun deterministiku, ikkalkulat minn hash tal-par esperiment-utent. L-istess utent jibqa’ fl-istess grupp minn sejħa għall-oħra. Din il-kontinwità mhix raffinar teoretiku: klijent li jirċievi tweġiba sħuna u mbagħad, tliet minuti wara, tweġiba niexfa għas-segwitu tiegħu, jaħseb li hemm bug, u d-diżappunt tiegħu jniġġes iż-żewġ varjanti.

Kull eżekuzzjoni tirreġistra l-input, l-output, it-tokens konsumati, u t-timestamp. Dawn it-tokens mhumiex hemm għad-dekorazzjoni: varjant jista’ jirbaħ fil-kwalità waqt li jirdoppja t-tul tar-risposta, u _estimate_cost jittrasforma dik id-differenza f’dollari biex tkun tista’ tagħmel kompromess infurmat.

import random
import json
from datetime import datetime
from openai import OpenAI

client = OpenAI()

class PromptExperiment:
    """Qafas għall-ittestjar A/B tal-prompts."""

    def __init__(self, name: str, variants: dict[str, dict]):
        """
        variants = {
            "control": {"system_prompt": "...", "model": "gpt-5.6-terra",
                        "temperature": 0.3},
            "variant_a": {"system_prompt": "...", "model": "gpt-5.6-terra",
                          "temperature": 0.1},
        }
        """
        self.name = name
        self.variants = variants
        self.results = {v: [] for v in variants}

    def assign_variant(self, user_id: str = None) -> str:
        """Tassenja varjant (stabbli skont user_id jekk ipprovdut)."""
        if user_id:
            # Assenjazzjoni deterministika skont l-utent
            hash_val = hash(f"{self.name}:{user_id}") % 100
            keys = sorted(self.variants.keys())
            split = 100 // len(keys)
            for i, key in enumerate(keys):
                if hash_val < (i + 1) * split:
                    return key
            return keys[-1]
        return random.choice(list(self.variants.keys()))

    def run(self, input_text: str, user_id: str = None,
            schema: dict = None) -> dict:
        """Tesegwixxi l-prompt bil-varjant assenjat."""
        variant_name = self.assign_variant(user_id)
        variant = self.variants[variant_name]

        kwargs = {
            "model": variant["model"],
            "instructions": variant["system_prompt"],
            "input": input_text,
            "temperature": variant.get("temperature", 0.3)
        }

        if schema:
            kwargs["text"] = {
                "format": {
                    "type": "json_schema",
                    "name": "response",
                    "schema": schema,
                    "strict": True
                }
            }

        response = client.responses.create(**kwargs)

        result = {
            "variant": variant_name,
            "input": input_text,
            "output": response.output_text,
            "tokens_input": response.usage.input_tokens,
            "tokens_output": response.usage.output_tokens,
            "timestamp": datetime.now().isoformat()
        }

        self.results[variant_name].append(result)
        return result

    def get_stats(self) -> dict:
        """Tikkalkula l-istatistiki għal kull varjant."""
        stats = {}
        for variant, results in self.results.items():
            if not results:
                continue
            tokens_in = [r["tokens_input"] for r in results]
            tokens_out = [r["tokens_output"] for r in results]
            stats[variant] = {
                "count": len(results),
                "avg_tokens_input": sum(tokens_in) / len(tokens_in),
                "avg_tokens_output": sum(tokens_out) / len(tokens_out),
                "total_cost_estimate": self._estimate_cost(
                    sum(tokens_in), sum(tokens_out)
                )
            }
        return stats

    def _estimate_cost(self, tokens_in: int,
                        tokens_out: int) -> float:
        """Tistma l-ispiża f'USD."""
        return (tokens_in * 2.5 + tokens_out * 10) / 1_000_000

Metriċi ta’ Evalwazzjoni

Il-metriċi jiddependu mill-każ ta’ użu tiegħek, u żewġ familji jkopru l-biċċa l-kbira tax-xenarji. Meta l-kompitu għandu tweġiba korretta—bħall-klassifikazzjoni ta’ tikketta jew l-estrazzjoni ta’ qasam—l-evalwazzjoni tinżel għat-tqabbil ma’ tikketta ta’ referenza. Dan huwa r-rwol ta’ evaluer_classification. Innota għażla instruttiva hawnhekk: il-fallimenti fil-parsing jiġu ttrattati bħala previżjonijiet vojta minflok ma jqajmu eċċezzjoni, għax varjant li jipproduċi JSON invalidu għandu jiġi penalizzat fil-punteġġ, mhux iwaqqa’ l-kejl.

Meta l-kompitu jipproduċi test liberu, m’hemmx tweġiba waħda korretta, allura titlob lill-mudell jagħmel l-arbitraġġ. evaluer_qualite_texte taqsam il-ġudizzju f’erba’ kriterji—rilevanza, ċarezza, kompletezza, ton professjonali—minflok ma titlob punteġġ ġenerali dirett. Din il-qsim jagħmel l-evalwazzjoni aktar stabbli u jgħidlek fuq liema assi jexcelja l-varjant rebbieħ: li tkun taf li l-qligħ ġej mit-ton aktar milli mill-kompletezza huwa preċiżament l-informazzjoni li għandek bżonn biex tikteb il-verżjoni li jmiss.

def evaluer_classification(result: dict,
                            label_attendu: str) -> dict:
    """Tevalwa risposta ta' klassifikazzjoni."""
    try:
        output = json.loads(result["output"])
        prediction = output.get("category", "")
    except json.JSONDecodeError:
        prediction = ""

    return {
        "correct": prediction == label_attendu,
        "prediction": prediction,
        "attendu": label_attendu
    }

def evaluer_qualite_texte(result: dict) -> dict:
    """Tevalwa l-kwalità ta' risposta testwali bl-użu tal-LLM."""
    eval_response = client.responses.create(
        model="gpt-5.6-terra",
        reasoning={"effort": "none"},  # temperature teħtieġ effort none
        instructions="Inti evalwatur tal-kwalità tat-test. "
                     "Agħti punteġġ minn 10 ibbażat fuq: rilevanza, ċarezza, "
                     "kompletezza, ton professjonali.",
        input=f"Mistoqsija: {result['input']}\n\n"
              f"Tweġiba: {result['output']}",
        text={
            "format": {
                "type": "json_schema",
                "name": "evaluation",
                "schema": {
                    "type": "object",
                    "properties": {
                        "pertinence": {"type": "integer"},
                        "clarte": {"type": "integer"},
                        "completude": {"type": "integer"},
                        "ton": {"type": "integer"},
                        "note_globale": {"type": "number"},
                        "commentaire": {"type": "string"}
                    },
                    "required": ["pertinence", "clarte",
                                 "completude", "ton",
                                 "note_globale", "commentaire"],
                    "additionalProperties": False
                },
                "strict": True
            }
        },
        temperature=0.1
    )
    return json.loads(eval_response.output_text)

Eżempju Sħiħ: Ittestjar ta’ Żewġ Stili ta’ Prompt

L-esperiment hawn taħt iqabbel żewġ approċċi għas-sostenn lill-klijenti. Il-kontroll juża istruzzjoni minima, professjonali u newtrali. Il-varjant “empaticu” jimponi struttura fi tliet passi: irrikonoxxi l-problema, uri empatija, imbagħad ipproponi soluzzjoni konkreta b’passi. Kollox ieħor huwa identiku, mill-mudell sat-temperatura. Din is-simetrija hija l-kundizzjoni biex tiġi attribwita kwalunkwe differenza mkejla lill-prompt. Li tbiddel it-ton u t-temperatura flimkien iwassal għal riżultat li ma jistax jiġi interpretat.

Il-ħames tikketts tat-test ikopru deliberatament reġistri differenti: inċident ta’ konsenja mimli emozzjoni, bug funzjonali, mistoqsija newtrali dwar il-password, talba kontenzjuża għal rimbors, u tfixkil fl-API rrappurtat minn profil tekniku. Tistenna li l-varjant empatiku jiddomina fl-ewwel żewġ każijiet u jiġi penalizzat fl-aħħar wieħed, fejn l-interlokutur irid status u stima tal-ħin (ETA), mhux kumpassjoni. Din hija n-nuansa li medja globali tgħatti u li eżami tikketta b’tikketta jiżvela—spiss iwassal għad-deċiżjoni reali: irrota abbażi tat-tip ta’ talba minflok ma tagħżel ton wieħed biss.

experiment = PromptExperiment(
    name="customer-support-style",
    variants={
        "control": {
            "system_prompt": "Inti aġent tas-sostenn. "
                             "Wieġeb b'mod professjonali.",
            "model": "gpt-5.6-terra",
            "temperature": 0.3
        },
        "empathique": {
            "system_prompt": "Inti aġent tas-sostenn li jħoss għalih. "
                             "Ibda billi tirrikonoxxi l-problema tal-klijent, "
                             "uri empatija, imbagħad ipproponi soluzzjoni konkreta "
                             "b'passi.",
            "model": "gpt-5.6-terra",
            "temperature": 0.3
        }
    }
)

# Simula t-traffiku
test_tickets = [
    "Il-pakkett tiegħi ma wasalx f'ġimagħtejn.",
    "L-app jikkraċċja meta nikklikkja fuq Is-Settings.",
    "Kif nibdel il-password tiegħi?",
    "Nixtieq rimbors, il-prodott huwa difettuż.",
    "L-API tiegħek qed tirritorna żball 500 minn dan il-għodu.",
]

for ticket in test_tickets:
    result = experiment.run(ticket)
    quality = evaluer_qualite_texte(result)
    print(f"Varjant: {result['variant']} | "
          f"Punteġġ: {quality['note_globale']}/10")

print("\nStatistika:")
print(json.dumps(experiment.get_stats(), indent=2))

Sinifikat Statistiku

Tikkonkludix wisq malajr. B’data ftita, ir-riżultati jkunu storbjużi, u l-iżball klassiku huwa li tara 7.4 kontra 6.9 fuq tnax-il osservazzjoni u tiddikjara rebbieħ. It-test t ta’ Student hawn taħt iwieġeb l-unika mistoqsija li tgħodd: id-differenza osservata hija akbar minn dak li ċ-ċans jipproduċi naturalment bejn żewġ serje ekwivalenti?

p_value taħt 0.05 ifisser li differenza bħal din tkun improbabbli jekk iż-żewġ varjanti kienu ugwali. ‘Il fuq minn hekk, ma ddemonstrajt xejn—li mhux l-istess bħala li ddemonstra l-ugwaljanza. L-aktar spiss, sempliċiment ma għandekx biżżejjed data. Iggħodd fuq minimu ta’ mitt osservazzjoni għal kull varjant qabel ma tikkonkludi, u oqgħod attent għax-xewqa li tiċċekkja r-riżultati kull għodu. Jekk tħares spiss biżżejjed, dejjem issib mument fejn id-differenza tidher sinifikanti.

from scipy import stats

def test_significativite(scores_a: list[float],
                          scores_b: list[float]) -> dict:
    """Test t ta' Student biex tqabbel żewġ varjanti."""
    t_stat, p_value = stats.ttest_ind(scores_a, scores_b)

    return {
        "moyenne_a": sum(scores_a) / len(scores_a),
        "moyenne_b": sum(scores_b) / len(scores_b),
        "p_value": p_value,
        "significatif": p_value < 0.05,
        "recommandation": (
            "Differenza sinifikanti, iddispjega l-varjant rebbieħ"
            if p_value < 0.05
            else "M'hemmx biżżejjed data jew l-ebda differenza sinifikanti"
        )
    }

It-Tnedija tal-Ewwel Esperiment Tiegħek

Ħu kompitu li tafu sewwa u stabbilixxi PromptExperiment b’żewġ varjanti, u biddel ħaġa waħda biss bejn il-kontroll u l-varjant: ton, struttura imposta, jew istruzzjoni addizzjonali. Iddefinixxi żewġ jew tliet metriċi qabel ma tniedi xejn, għax li tagħżel il-metrika wara li tara r-riżultati huwa bħal li tagħżel ir-rebbieħ minn qabel, u dan huwa l-aktar preġudizzju komuni fit-testijiet magħmula fid-dar.

Ħaddem l-esperiment fuq għoxrin input, imbagħad analizza. Ħares lejn il-medja, iżda speċjalment iftaħ il-każijiet fejn iż-żewġ varjanti jidverġu l-aktar: dawn jispjegaw id-differenza. Għoxrin osservazzjoni ovvjament mhumiex biżżejjed biex tilħaq is-sinifikat, u li tirrealizza dan int stess huwa aħjar milli taqrah hawnhekk. Fl-aħħar nett, iddokumenta d-deċiżjoni u arkivja r-riżultati mhux ipproċessati bid-data u l-konfigurazzjoni eżatta tal-varjant—dan l-arkivju huwa dak li jwaqqfek milli terġa’ tgħaddi mill-istess esperiment sena oħra.

Punti Ewlenin

  • L-ittestjar A/B jissostitwixxi l-intuwizzjoni b’data li tista’ titkejjel
  • Assenja l-varjanti b’mod deterministiku skont l-utent
  • Kejjel il-metriċi tan-negozju, mhux biss il-kwalità perċepita
  • Stenna s-sinifikat statistiku qabel ma tikkonkludi
  • Iddokumenta kull esperiment u r-riżultati tiegħu