Ittestjar A/B tal-Prompts
F'din il-paġna
Lezzjoni aġġornata fit-3 ta’ Novembru 2026 ibbażata fuq id-dokumentazzjoni ta’ OpenAI:
temperatureutop_phuma aċċettati biss b’sforz ta’ raġunar ta’none, filwaqt li l-mudelli GPT-5.6 jirraġunaw b’mod awtomatiku (medium). Għalhekk, is-sejħiet li jistabbilixxu dawn il-parametri għandhom jispeċifikawreasoning={"effort": "none"}(API tar-Risposti) jewreasoning_effort="none"(Chat Completions). Sorsi: L-użu ta’ GPT-6 · GPT-5.6 Terra.
Ittestjar A/B tal-Prompts
L-ittestjar A/B tal-prompts jippermettilek tqabbel b’mod oġġettiv żewġ verżjonijiet ta’ prompt billi tuża traffiku reali. Minflok ma tagħżel prompt ibbażat fuq l-intuwizzjoni, tkejjel liema minnhom jipproduċi riżultati aħjar skont il-metriċi tan-negozju tiegħek. Dan huwa l-pass obbligatorju bejn il-prototipar u l-produzzjoni.
Il-Prinċipju
It-traffiku li jidħol jinqasam b’mod każwali bejn żewġ (jew aktar) varjanti ta’ prompt. Kull risposta tiġi evalwata kontra kriterji definiti minn qabel, u l-varjant rebbieħ jiġi dispjegat għal 100% tat-traffiku.
Is-saħħa ta’ dan il-metodu hija li ż-żewġ varjanti jiffaċċjaw l-istess traffiku, taħt l-istess kundizzjonijiet, fl-istess ħin. Is-sorsi esterni kollha ta’ varjazzjoni—staġjonalità, inċidenti fin-netwerk, wasla ta’ kategorija ġdida ta’ talbiet—jaffettwaw iż-żewġ gruppi bl-istess mod u jikkanċellaw ruħhom fil-komparazzjoni. Test sekwenzjali ma jistax jiggarantixxi dan: it-tħaddim tal-prompt qadim għal ġimgħa u dak il-ġdid għall-ġimgħa ta’ wara jħallik incapaci li tgħid jekk it-titjib ġiex mir-rewrite tiegħek jew mill-kalendarju.
Qafas għall-Ittestjar A/B
Il-klassi PromptExperiment għandha tliet responsabbiltajiet. assign_variant tiddeċiedi liema varjant iservi talba mogħtija, run tesegwixxi s-sejħa u tirreġistra r-riżultat, u get_stats taggrega d-data.
L-assenjament jeħtieġ nota. Meta jiġi pprovdut user_id, dan ikun deterministiku, ikkalkulat minn hash tal-par esperiment-utent. L-istess utent jibqa’ fl-istess grupp minn sejħa għall-oħra. Din il-kontinwità mhix raffinar teoretiku: klijent li jirċievi tweġiba sħuna u mbagħad, tliet minuti wara, tweġiba niexfa għas-segwitu tiegħu, jaħseb li hemm bug, u d-diżappunt tiegħu jniġġes iż-żewġ varjanti.
Kull eżekuzzjoni tirreġistra l-input, l-output, it-tokens konsumati, u t-timestamp. Dawn it-tokens mhumiex hemm għad-dekorazzjoni: varjant jista’ jirbaħ fil-kwalità waqt li jirdoppja t-tul tar-risposta, u _estimate_cost jittrasforma dik id-differenza f’dollari biex tkun tista’ tagħmel kompromess infurmat.
import random
import json
from datetime import datetime
from openai import OpenAI
client = OpenAI()
class PromptExperiment:
"""Qafas għall-ittestjar A/B tal-prompts."""
def __init__(self, name: str, variants: dict[str, dict]):
"""
variants = {
"control": {"system_prompt": "...", "model": "gpt-5.6-terra",
"temperature": 0.3},
"variant_a": {"system_prompt": "...", "model": "gpt-5.6-terra",
"temperature": 0.1},
}
"""
self.name = name
self.variants = variants
self.results = {v: [] for v in variants}
def assign_variant(self, user_id: str = None) -> str:
"""Tassenja varjant (stabbli skont user_id jekk ipprovdut)."""
if user_id:
# Assenjazzjoni deterministika skont l-utent
hash_val = hash(f"{self.name}:{user_id}") % 100
keys = sorted(self.variants.keys())
split = 100 // len(keys)
for i, key in enumerate(keys):
if hash_val < (i + 1) * split:
return key
return keys[-1]
return random.choice(list(self.variants.keys()))
def run(self, input_text: str, user_id: str = None,
schema: dict = None) -> dict:
"""Tesegwixxi l-prompt bil-varjant assenjat."""
variant_name = self.assign_variant(user_id)
variant = self.variants[variant_name]
kwargs = {
"model": variant["model"],
"instructions": variant["system_prompt"],
"input": input_text,
"temperature": variant.get("temperature", 0.3)
}
if schema:
kwargs["text"] = {
"format": {
"type": "json_schema",
"name": "response",
"schema": schema,
"strict": True
}
}
response = client.responses.create(**kwargs)
result = {
"variant": variant_name,
"input": input_text,
"output": response.output_text,
"tokens_input": response.usage.input_tokens,
"tokens_output": response.usage.output_tokens,
"timestamp": datetime.now().isoformat()
}
self.results[variant_name].append(result)
return result
def get_stats(self) -> dict:
"""Tikkalkula l-istatistiki għal kull varjant."""
stats = {}
for variant, results in self.results.items():
if not results:
continue
tokens_in = [r["tokens_input"] for r in results]
tokens_out = [r["tokens_output"] for r in results]
stats[variant] = {
"count": len(results),
"avg_tokens_input": sum(tokens_in) / len(tokens_in),
"avg_tokens_output": sum(tokens_out) / len(tokens_out),
"total_cost_estimate": self._estimate_cost(
sum(tokens_in), sum(tokens_out)
)
}
return stats
def _estimate_cost(self, tokens_in: int,
tokens_out: int) -> float:
"""Tistma l-ispiża f'USD."""
return (tokens_in * 2.5 + tokens_out * 10) / 1_000_000
Metriċi ta’ Evalwazzjoni
Il-metriċi jiddependu mill-każ ta’ użu tiegħek, u żewġ familji jkopru l-biċċa l-kbira tax-xenarji. Meta l-kompitu għandu tweġiba korretta—bħall-klassifikazzjoni ta’ tikketta jew l-estrazzjoni ta’ qasam—l-evalwazzjoni tinżel għat-tqabbil ma’ tikketta ta’ referenza. Dan huwa r-rwol ta’ evaluer_classification. Innota għażla instruttiva hawnhekk: il-fallimenti fil-parsing jiġu ttrattati bħala previżjonijiet vojta minflok ma jqajmu eċċezzjoni, għax varjant li jipproduċi JSON invalidu għandu jiġi penalizzat fil-punteġġ, mhux iwaqqa’ l-kejl.
Meta l-kompitu jipproduċi test liberu, m’hemmx tweġiba waħda korretta, allura titlob lill-mudell jagħmel l-arbitraġġ. evaluer_qualite_texte taqsam il-ġudizzju f’erba’ kriterji—rilevanza, ċarezza, kompletezza, ton professjonali—minflok ma titlob punteġġ ġenerali dirett. Din il-qsim jagħmel l-evalwazzjoni aktar stabbli u jgħidlek fuq liema assi jexcelja l-varjant rebbieħ: li tkun taf li l-qligħ ġej mit-ton aktar milli mill-kompletezza huwa preċiżament l-informazzjoni li għandek bżonn biex tikteb il-verżjoni li jmiss.
def evaluer_classification(result: dict,
label_attendu: str) -> dict:
"""Tevalwa risposta ta' klassifikazzjoni."""
try:
output = json.loads(result["output"])
prediction = output.get("category", "")
except json.JSONDecodeError:
prediction = ""
return {
"correct": prediction == label_attendu,
"prediction": prediction,
"attendu": label_attendu
}
def evaluer_qualite_texte(result: dict) -> dict:
"""Tevalwa l-kwalità ta' risposta testwali bl-użu tal-LLM."""
eval_response = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature teħtieġ effort none
instructions="Inti evalwatur tal-kwalità tat-test. "
"Agħti punteġġ minn 10 ibbażat fuq: rilevanza, ċarezza, "
"kompletezza, ton professjonali.",
input=f"Mistoqsija: {result['input']}\n\n"
f"Tweġiba: {result['output']}",
text={
"format": {
"type": "json_schema",
"name": "evaluation",
"schema": {
"type": "object",
"properties": {
"pertinence": {"type": "integer"},
"clarte": {"type": "integer"},
"completude": {"type": "integer"},
"ton": {"type": "integer"},
"note_globale": {"type": "number"},
"commentaire": {"type": "string"}
},
"required": ["pertinence", "clarte",
"completude", "ton",
"note_globale", "commentaire"],
"additionalProperties": False
},
"strict": True
}
},
temperature=0.1
)
return json.loads(eval_response.output_text)
Eżempju Sħiħ: Ittestjar ta’ Żewġ Stili ta’ Prompt
L-esperiment hawn taħt iqabbel żewġ approċċi għas-sostenn lill-klijenti. Il-kontroll juża istruzzjoni minima, professjonali u newtrali. Il-varjant “empaticu” jimponi struttura fi tliet passi: irrikonoxxi l-problema, uri empatija, imbagħad ipproponi soluzzjoni konkreta b’passi. Kollox ieħor huwa identiku, mill-mudell sat-temperatura. Din is-simetrija hija l-kundizzjoni biex tiġi attribwita kwalunkwe differenza mkejla lill-prompt. Li tbiddel it-ton u t-temperatura flimkien iwassal għal riżultat li ma jistax jiġi interpretat.
Il-ħames tikketts tat-test ikopru deliberatament reġistri differenti: inċident ta’ konsenja mimli emozzjoni, bug funzjonali, mistoqsija newtrali dwar il-password, talba kontenzjuża għal rimbors, u tfixkil fl-API rrappurtat minn profil tekniku. Tistenna li l-varjant empatiku jiddomina fl-ewwel żewġ każijiet u jiġi penalizzat fl-aħħar wieħed, fejn l-interlokutur irid status u stima tal-ħin (ETA), mhux kumpassjoni. Din hija n-nuansa li medja globali tgħatti u li eżami tikketta b’tikketta jiżvela—spiss iwassal għad-deċiżjoni reali: irrota abbażi tat-tip ta’ talba minflok ma tagħżel ton wieħed biss.
experiment = PromptExperiment(
name="customer-support-style",
variants={
"control": {
"system_prompt": "Inti aġent tas-sostenn. "
"Wieġeb b'mod professjonali.",
"model": "gpt-5.6-terra",
"temperature": 0.3
},
"empathique": {
"system_prompt": "Inti aġent tas-sostenn li jħoss għalih. "
"Ibda billi tirrikonoxxi l-problema tal-klijent, "
"uri empatija, imbagħad ipproponi soluzzjoni konkreta "
"b'passi.",
"model": "gpt-5.6-terra",
"temperature": 0.3
}
}
)
# Simula t-traffiku
test_tickets = [
"Il-pakkett tiegħi ma wasalx f'ġimagħtejn.",
"L-app jikkraċċja meta nikklikkja fuq Is-Settings.",
"Kif nibdel il-password tiegħi?",
"Nixtieq rimbors, il-prodott huwa difettuż.",
"L-API tiegħek qed tirritorna żball 500 minn dan il-għodu.",
]
for ticket in test_tickets:
result = experiment.run(ticket)
quality = evaluer_qualite_texte(result)
print(f"Varjant: {result['variant']} | "
f"Punteġġ: {quality['note_globale']}/10")
print("\nStatistika:")
print(json.dumps(experiment.get_stats(), indent=2))
Sinifikat Statistiku
Tikkonkludix wisq malajr. B’data ftita, ir-riżultati jkunu storbjużi, u l-iżball klassiku huwa li tara 7.4 kontra 6.9 fuq tnax-il osservazzjoni u tiddikjara rebbieħ. It-test t ta’ Student hawn taħt iwieġeb l-unika mistoqsija li tgħodd: id-differenza osservata hija akbar minn dak li ċ-ċans jipproduċi naturalment bejn żewġ serje ekwivalenti?
p_value taħt 0.05 ifisser li differenza bħal din tkun improbabbli jekk iż-żewġ varjanti kienu ugwali. ‘Il fuq minn hekk, ma ddemonstrajt xejn—li mhux l-istess bħala li ddemonstra l-ugwaljanza. L-aktar spiss, sempliċiment ma għandekx biżżejjed data. Iggħodd fuq minimu ta’ mitt osservazzjoni għal kull varjant qabel ma tikkonkludi, u oqgħod attent għax-xewqa li tiċċekkja r-riżultati kull għodu. Jekk tħares spiss biżżejjed, dejjem issib mument fejn id-differenza tidher sinifikanti.
from scipy import stats
def test_significativite(scores_a: list[float],
scores_b: list[float]) -> dict:
"""Test t ta' Student biex tqabbel żewġ varjanti."""
t_stat, p_value = stats.ttest_ind(scores_a, scores_b)
return {
"moyenne_a": sum(scores_a) / len(scores_a),
"moyenne_b": sum(scores_b) / len(scores_b),
"p_value": p_value,
"significatif": p_value < 0.05,
"recommandation": (
"Differenza sinifikanti, iddispjega l-varjant rebbieħ"
if p_value < 0.05
else "M'hemmx biżżejjed data jew l-ebda differenza sinifikanti"
)
}
It-Tnedija tal-Ewwel Esperiment Tiegħek
Ħu kompitu li tafu sewwa u stabbilixxi PromptExperiment b’żewġ varjanti, u biddel ħaġa waħda biss bejn il-kontroll u l-varjant: ton, struttura imposta, jew istruzzjoni addizzjonali. Iddefinixxi żewġ jew tliet metriċi qabel ma tniedi xejn, għax li tagħżel il-metrika wara li tara r-riżultati huwa bħal li tagħżel ir-rebbieħ minn qabel, u dan huwa l-aktar preġudizzju komuni fit-testijiet magħmula fid-dar.
Ħaddem l-esperiment fuq għoxrin input, imbagħad analizza. Ħares lejn il-medja, iżda speċjalment iftaħ il-każijiet fejn iż-żewġ varjanti jidverġu l-aktar: dawn jispjegaw id-differenza. Għoxrin osservazzjoni ovvjament mhumiex biżżejjed biex tilħaq is-sinifikat, u li tirrealizza dan int stess huwa aħjar milli taqrah hawnhekk. Fl-aħħar nett, iddokumenta d-deċiżjoni u arkivja r-riżultati mhux ipproċessati bid-data u l-konfigurazzjoni eżatta tal-varjant—dan l-arkivju huwa dak li jwaqqfek milli terġa’ tgħaddi mill-istess esperiment sena oħra.
Punti Ewlenin
- L-ittestjar A/B jissostitwixxi l-intuwizzjoni b’data li tista’ titkejjel
- Assenja l-varjanti b’mod deterministiku skont l-utent
- Kejjel il-metriċi tan-negozju, mhux biss il-kwalità perċepita
- Stenna s-sinifikat statistiku qabel ma tikkonkludi
- Iddokumenta kull esperiment u r-riżultati tiegħu