Tástáil A/B ar Phromptaí
Ar an leathanach seo
Ceacht nuashonraithe an 3 Samhain 2026 bunaithe ar dhoiciméadacht OpenAI: níl
temperatureagustop_pinghlactha ach le hiarracht réasúnaíochtanone, cé go ndéanann múnlaí GPT-5.6 réasúnú go huathoibríoch (medium). Caithfidh glaonna a shocraíonn na paraiméadair seoreasoning={"effort": "none"}(API Freagraí) nóreasoning_effort="none"(Críochnú Comhrá) a shonrú dá bhrí sin. Foinsí: GPT-6 a úsáid · GPT-5.6 Terra.
Tástáil A/B ar Phromptaí
Soláthraíonn tástáil A/B ar phromptaí bealach chun dhá leagan de phrompt a chur i gcomparáid go hoibiachtúil le trácht fíor. In ionad prompt a roghnú ar bhonn intuigthe, tomhaiseann tú cé acu ceann a thugann na torthaí is fearr de réir do mheadrán gnó. Seo an chéim éigeantach idir samplú agus táirgeadh.
Prionsabal
Roinntear an trácht atá ag teacht isteach go randamach idir dhá leagan (nó níos mó) de phrompt. Meastar gach freagra i gcoinne critéar réamhshainithe, agus imlíontar an leagan buacach ar 100% den trácht.
Is í neart an mhóid seo go mbuailann an dá leagan an trácht céanna, faoi na coinníollacha céanna, ag an am céanna. Bíonn an tionchar céanna ag gach fhoinse athraith sheachtrach—séasúrachas, teagmhais líonra, teacht catagóira nua iarratais—ar an dá ghrúpa, agus cealaíonn siad a chéile sa chomparáid. Ní thig le tástáil sheicheamhach é seo a ráthú: má ritheann an tseanprompt ar feadh seachtaine agus an ceann nua an chéad seachtain eile, ní bheidh a fhios déanach an dtagann an feabhas ón athscríobh nó ón bhFéilire.
Creatlach na tástála A/B
Tá trí fhreagracht ag an rang PromptExperiment. Cinneann assign_variant cé acu leagan a fhreastalaíonn ar iarratas áirithe, ritheann run an glaoch agus logálann sé an toradh, agus comhthionólann get_stats na sonraí.
Is fiú nóta ar leith a thabhairt ar an sannadh. Nuair a sholáthraítear user_id, bíonn sé cinntitheach, ríofa as haise an péire turgnamh-úsáideora. Fanann an t-úsáideoir céanna sa ghrúpa céanna ó ghlaoch go glaoch. Ní míniú teoiriciúil é an leanúnachas seo: cuirimh custaiméir a fhaigheann freagra cairdiúil agus, trí nóiméad ina dhiaidh sin, freagra tirim dá cheist leanúnach, gurb é botún atá ann, agus truailfidh a mhíshásamh an dá leagan.
Taifeann gach rith an t-ionchur, an t-aschur, na tokenaí ídithe, agus an stamp ama. Níl na huimhreacha sin ann mar mhaisiú: d’fhéadfadh leagan bua ar cháilíocht agus fhad a fhreagartha a dhúbailt aige ag an am céanna, agus aistríonn _estimate_cost an bhearna sin go dollaranna ionas gur féidir cinneadh fiosraithe a dhéanamh idir costais agus cáilíocht.
import random
import json
from datetime import datetime
from openai import OpenAI
client = OpenAI()
class PromptExperiment:
"""A/B testing framework for prompts."""
def __init__(self, name: str, variants: dict[str, dict]):
"""
variants = {
"control": {"system_prompt": "...", "model": "gpt-5.6-terra",
"temperature": 0.3},
"variant_a": {"system_prompt": "...", "model": "gpt-5.6-terra",
"temperature": 0.1},
}
"""
self.name = name
self.variants = variants
self.results = {v: [] for v in variants}
def assign_variant(self, user_id: str = None) -> str:
"""Assigns a variant (sticky by user_id if provided)."""
if user_id:
# Deterministic assignment by user
hash_val = hash(f"{self.name}:{user_id}") % 100
keys = sorted(self.variants.keys())
split = 100 // len(keys)
for i, key in enumerate(keys):
if hash_val < (i + 1) * split:
return key
return keys[-1]
return random.choice(list(self.variants.keys()))
def run(self, input_text: str, user_id: str = None,
schema: dict = None) -> dict:
"""Executes the prompt with the assigned variant."""
variant_name = self.assign_variant(user_id)
variant = self.variants[variant_name]
kwargs = {
"model": variant["model"],
"instructions": variant["system_prompt"],
"input": input_text,
"temperature": variant.get("temperature", 0.3)
}
if schema:
kwargs["text"] = {
"format": {
"type": "json_schema",
"name": "response",
"schema": schema,
"strict": True
}
}
response = client.responses.create(**kwargs)
result = {
"variant": variant_name,
"input": input_text,
"output": response.output_text,
"tokens_input": response.usage.input_tokens,
"tokens_output": response.usage.output_tokens,
"timestamp": datetime.now().isoformat()
}
self.results[variant_name].append(result)
return result
def get_stats(self) -> dict:
"""Calculates statistics per variant."""
stats = {}
for variant, results in self.results.items():
if not results:
continue
tokens_in = [r["tokens_input"] for r in results]
tokens_out = [r["tokens_output"] for r in results]
stats[variant] = {
"count": len(results),
"avg_tokens_input": sum(tokens_in) / len(tokens_in),
"avg_tokens_output": sum(tokens_out) / len(tokens_out),
"total_cost_estimate": self._estimate_cost(
sum(tokens_in), sum(tokens_out)
)
}
return stats
def _estimate_cost(self, tokens_in: int,
tokens_out: int) -> float:
"""Estimates cost in USD."""
return (tokens_in * 2.5 + tokens_out * 10) / 1_000_000
Meadráin mheastóireachta
Braitheann na meadráin ar do chás úsáide, agus clúdaíonn dhá theaghlach an chuid is mó de na gnáthchásanna. Nuair a bhíonn freagra ceart ag an tasc—aicmiú ticéid, eastóscadh réimse—tagann an mheastóireacht siar ar chur i gcomparáid le lipéad tagartha. Sin ról evaluer_classification. Tabhair faoi deara rogha threasmhar anseo: láimhseáiltear teipí parsála mar thuar folamh seachas mar eisceacht a dhuscadh, mar is ceart pionós a ghearradh ar leagan a tháirgeann JSON neamhbhailí sa scór, ní an tomhas a chur ar straic.
Nuair a tháirgeann an tasc téacs saor, ní bhíonn aon fhreagra amháin ceart ann, mar sin iarrtar ar an múnla an breithiúnas a thabhairt. Briseann evaluer_qualite_texte an breithiúnas ina cheithre chritéar—ábharthacht, soiléireacht, iomláine, ton ghairmiúil—seachas scór foriomlán a iarraidh go díreach. Coinníonn an briseadh sin an mheastóireacht níos cobhsaí, agus insíonn sé cé acu ais ar a bhfuil an buachaill ag sárú uirthi: is díreach an fhaisnéis atá uait chun an chéad leagan eile a scríobh a fhios go dtagann an gnóthachan ón ton seachas ón iomláine.
def evaluer_classification(result: dict,
label_attendu: str) -> dict:
"""Evaluates a classification response."""
try:
output = json.loads(result["output"])
prediction = output.get("category", "")
except json.JSONDecodeError:
prediction = ""
return {
"correct": prediction == label_attendu,
"prediction": prediction,
"attendu": label_attendu
}
def evaluer_qualite_texte(result: dict) -> dict:
"""Evaluates the quality of a text response using the LLM."""
eval_response = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature requires effort none
instructions="You are a text quality evaluator. "
"Rate out of 10 based on: relevance, clarity, "
"completeness, professional tone.",
input=f"Question: {result['input']}\n\n"
f"Answer: {result['output']}",
text={
"format": {
"type": "json_schema",
"name": "evaluation",
"schema": {
"type": "object",
"properties": {
"pertinence": {"type": "integer"},
"clarte": {"type": "integer"},
"completude": {"type": "integer"},
"ton": {"type": "integer"},
"note_globale": {"type": "number"},
"commentaire": {"type": "string"}
},
"required": ["pertinence", "clarte",
"completude", "ton",
"note_globale", "commentaire"],
"additionalProperties": False
},
"strict": True
}
},
temperature=0.1
)
return json.loads(eval_response.output_text)
Sampla iomlán: dhá stíl phrompth á dtástáil
Cuiridh an turgnamh thíos dhá chur chuige i gcoinne a chéile i dtaca le tacaíocht chustaiméirí. Úsáideann an grúpa rialaithe treoir íosta, ghairmiúil agus neodrach. Éilíonn an leagan “comhbhrónach” struchtúr trí chéim: admháil fhadhb an chustaiméara, taispeáint comhbhróin, agus ansin réiteach praiticiúil le céimeanna a mholadh. Tá gach rud eile comhionann, ón múnla go dtí an teocht. Coinníoll í an tsiméadracht sin chun aon bhearna thomhaiste a chur i leith an phrompt. Ní thabharfadh athrú ar an ton agus ar an teocht le chéile ach toradh nach féidir a léirmhíniú.
Clúdaíonn na cúig ticéad tástála, go hiartach, tonanna an-difriúla: teagmhas seachadta a bhfuil go leor mothúcháin i gceist leis, botún feidhmiúil, ceist fhocalóireachta neodrúil, iarraidh aisíocaíochta conspóideach, agus teip API tuairiscithe ag próifíl theicniúil. Táthar ag súil go sáróidh an leagan comhbhrónach an chéad dhá cheann sin agus go bpionósófar é ar an gceann deireanach, áit a bhfuil stádas agus ETA ag teastáil ón duine atá sa chomhrá, seachas trócaire. Sin í an nuance a chumhdaíonn meán foriomlán agus a nochtann scrúdú ticéad ar ticéad—agus is minic í a osclaíonn an fíor-chinneadh: seoladh de réir cineál iarratais in ionad aon ton amháin a roghnú.
experiment = PromptExperiment(
name="customer-support-style",
variants={
"control": {
"system_prompt": "You are a support agent. "
"Respond professionally.",
"model": "gpt-5.6-terra",
"temperature": 0.3
},
"empathique": {
"system_prompt": "You are a caring support agent. "
"Start by acknowledging the customer's problem, "
"show empathy, then propose a concrete solution "
"with steps.",
"model": "gpt-5.6-terra",
"temperature": 0.3
}
}
)
# Simulate traffic
test_tickets = [
"My package hasn't arrived in 2 weeks.",
"The app crashes when I click on Settings.",
"How do I change my password?",
"I want a refund, the product is defective.",
"Your API has been returning a 500 error since this morning.",
]
for ticket in test_tickets:
result = experiment.run(ticket)
quality = evaluer_qualite_texte(result)
print(f"Variant: {result['variant']} | "
f"Score: {quality['note_globale']}/10")
print("\nStatistics:")
print(json.dumps(experiment.get_stats(), indent=2))
Suntasacht staitistiúil
Ná tarraing conclúidí ró-luath. Le beag sonraí, bíonn torann sa toradh, is é an botún clasaiceach ná 7.4 i gcoinne 6.9 a fheiceáil thar dhá bhreathnóireacht déag agus buachaill a fhógairt. Freagraíonn an tástáil t Student thíos ar an aon cheist a bhfuil tábhacht léi: an bhfuil an bhearna a breathnaíodh níos mó ná mar a thabharfadh an t-ádh go nádúrtha idir dhá shraith chomhionann?
Ciallaíonn p_value faoi 0.05 go mbeadh sé neamhdhóchúil bearna mar sin a fheiceáil dá mbeadh an dá leagan cothrom. Os a chionn sin, níl aon rud cruthaithe agat—rud nach ionann é agus cothromas a chruthú. Is minic nach easpa sonraí amháin atá i gceist. Bí ag súil le céad breathnóireacht ar a laghad in aghaidh an leagana sula gcinnteoidh, agus fan amach ón mhian torthaí a sheiceáil gach maidin. Má fhéachann tú minic go leor, gheobhaidh tú nóiméad i gcónaí ina mbreathnaíonn an bhearna bríomhar.
from scipy import stats
def test_significativite(scores_a: list[float],
scores_b: list[float]) -> dict:
"""Student's t-test to compare two variants."""
t_stat, p_value = stats.ttest_ind(scores_a, scores_b)
return {
"moyenne_a": sum(scores_a) / len(scores_a),
"moyenne_b": sum(scores_b) / len(scores_b),
"p_value": p_value,
"significatif": p_value < 0.05,
"recommandation": (
"Significant difference, deploy the winning variant"
if p_value < 0.05
else "Not enough data or no significant difference"
)
}
Do chéad turgnamh a rith
Tóg tasc a bhfuil aithne mhaith agat air agus cuir PromptExperiment ar bun le dhá leagan, rud amháin á athrú idir an grúpa rialaithe agus an leagan: ton, struchtúr forchurtha, nó treoir bhreise. Sainigh dhá nó trí mheatrach sula seolann tú faic, toisc gurb ionann méadrach a roghnú i ndiaidh na dtorthaí a fheiceáil agus buachaill a roghnú roimh ré—agus gurb é sin an claonadh is coitianta i dtástálacha baile.
Rith an turgnamh ar fiche ionchur, ansin déan anailís. Féach ar an meán, ach osclaigh go háirithe na cásanna a bhfuil an difríocht is mó idir an dá leagan iontu: is iad sin a mhíníonn an bhearna. Ní leor fiche breathnóireacht, ar ndóigh, chun suntasacht a bhaint amach, agus is fearr duit sin a thuiscint de do chomhair féin ná a léamh anseo. Ar deireadh, doiciméadaigh an cinneadh agus cartlannaigh na torthaí garbh leis an dáta agus le cumraíocht beacht an leagan—sin í an chartlann a chosnóidh ortsa an turgnamh céanna a rith arís thar ceann bliana.
Príomhphointí
- Cuireann tástáil A/B sonraí in-tomhaiste in ionad intuigthe
- Asainnigh leagan go cinntitheach de réir an úsáideora
- Tomhais meadráin gnó, ní hamháin cáilíocht bhraite
- Fan le suntasacht staitistiúil sula dtarraingíonn tú conclúid
- Doiciméadaigh gach turgnamh agus a thorthaí