CI/CD don IA: Meastóireachtaí Uathoibrithe
Ar an leathanach seo
An ceacht nuashonraithe an 3 Samhain 2026 bunaithe ar dhoiciméadú OpenAI: níl
temperatureagustop_pinghlactha ach le hiarracht réasúnaíochta denone, cé go ndéanann samhlacha GPT-5.6 réasúnú go huathoibríoch (medium). Caithfidh glaonna a shocraíonn na paraiméadair seoreasoning={"effort": "none"}(API Freagraí) nóreasoning_effort="none"(Críochnú Comhrá) a shonrú dá bhrí sin. Foinse: GPT-6 a úsáid · GPT-5.6 Terra.
Meastóireachtaí a chomhtháthú i do Phíblíne CI/CD
Is cosúil le cód a imlonnú gan tástáil é athrú pras a imlonnú ar tháirgeadh gan mheastóireacht. Tá an chomparáid níos cruinne ná mar a shamhlófá: sa dá chás, dealraíonn sé go bhfuil an t-athrú suarach, rinneadh seiceáil láimhe air ar shampla amháin nó dhó, agus léiríonn an fo-iarsma é féin trí lá ina dhiaidh sin d’úsáideoir nach gcuirfidh in iúl duit é. Is é an difríocht ná nach gcuireann cúlú prais eisceacht ar siúl – leanann an feidhmchlár ag freagairt, ach go measa.
Is é an sprioc ná meastóireacht uathoibrithe a dhéanamh ina gheata éigeantach i do phróiseas imlonnaithe, ag cinntiú go gcoinníonn gach athrú cáilíocht nó go bhfeabhsaíonn sé í. Sin díreach an rud a phléifimid anois.
An Prionsabal: Geata, Ní Tuarascáil
Comhtháthaíonn an phíblíne meastóireachta isteach i do shruth imlonnaithe ag baint úsáide as meicníocht eolach. Déanann forbróir athrú ar phras nó ar pharaiméadar, spreagann an tiomantas an phíblíne CI, agus ritheann meastóireachtaí go huathoibríoch i gcoinne an tacair sonraí tagartha. Má shásaíonn na scóir na tairseacha, leanann an t-imlonnú ar aghaidh; mura ndéanann, cuirtear bac air, le tuarascáil mhionsonraithe a léiríonn cé acu meastóireacht a theip agus cé chomh mór is a bhí an teip.
Is é an pointe ríthábhachtach ná an iompar blocála. Éiríonn CI a tháirgeann tuarascáil álainn gan an phíblíne a stopadh ina sheiftín nach seiceálann aon duine tar éis coicíse. Ní dhéanann ach cód scortha neamh-nialasach tomhas a thiontú ina gharda-ráille.
Léann an script thíos cumraíocht, lódálann sé gach tacar sonraí, ritheann sé na cásanna, agus déanann sé comparáid idir an meánscór agus an tairseach dhearbhaithe. Tá an modh scórála – cuimsiú eochairfhocal simplí – bunúsach d’aon ghnó: caithfidh seiceáil CI a bheith tapa, cinntitheach, agus neamhspleách ar bhreitheamh a d’fhéadfadh a scór a athrú ó rith amháin go ceann eile.
import json
import sys
import openai
from pathlib import Path
client = openai.OpenAI()
def load_eval_config(path: str = "evals/config.json") -> dict:
"""Lódálann sé an chumraíocht meastóireachta."""
with open(path) as f:
return json.load(f)
def load_dataset(path: str) -> list[dict]:
"""Lódálann sé tacar sonraí JSONL."""
cases = []
with open(path) as f:
for line in f:
cases.append(json.loads(line))
return cases
def run_ci_evals(config: dict) -> dict:
"""Ritheann sé meastóireachtaí do CI."""
results = {}
for eval_config in config["evaluations"]:
name = eval_config["name"]
dataset = load_dataset(eval_config["dataset"])
threshold = eval_config["min_threshold"]
model = eval_config["model"]
prompt = Path(eval_config["prompt_file"]).read_text()
scores = []
for case in dataset:
response = client.responses.create(
model=model,
reasoning={"effort": "none"}, # temperature requires effort none
instructions=prompt,
input=case["input"],
temperature=0.0,
)
# Meastóireacht shimplí trí chuimsiú eochairfhocal
if "keywords" in case:
response_lower = response.output_text.lower()
found = sum(
1 for word in case["keywords"]
if word.lower() in response_lower
)
score = found / len(case["keywords"])
else:
score = 1.0 # Gan critéar sonrach
scores.append(score)
avg_score = sum(scores) / len(scores)
passed = avg_score >= threshold
results[name] = {
"score": avg_score,
"threshold": threshold,
"passed": passed,
"num_cases": len(dataset),
}
return results
def ci_report(results: dict) -> tuple[str, bool]:
"""Gineann sé tuarascáil do CI agus léiríonn sé an bhfuil sé ceart go leor."""
lines = ["# Tuarascáil Meastóireachta AI\n"]
all_pass = True
for name, r in results.items():
status = "PASS" if r["passed"] else "FAIL"
if not r["passed"]:
all_pass = False
lines.append(
f"- [{status}] {name}: {r['score']:.2%} "
f"(tairseach: {r['threshold']:.0%}, {r['num_cases']} cás)"
)
report = "\n".join(lines)
return report, all_pass
Tabhair faoi deara go léitear an pras ó chomhad seachas é a scríobh go díreach sa script. Is é seo a dhéanann an spreagadh indéanta: cruthaíonn pras atá leaganaithe sa stór dif, agus is féidir le dif meastóireacht a spreagadh. Fad is a mhaireann do phrais mar litearáil teaghráin scaipthe ar fud do chód feidhmchláir, ní féidir uathoibriú ceart a dhéanamh.
Dearbhaíonn an chumraíocht meastóireacht amháin in aghaidh na tasc, gach ceann acu lena thairseach féin.
{
"evaluations": [
{
"name": "ticket-classification",
"dataset": "evals/datasets/classification.jsonl",
"prompt_file": "prompts/classification.txt",
"model": "gpt-5.6-terra",
"min_threshold": 0.90
},
{
"name": "resume-generation",
"dataset": "evals/datasets/resumes.jsonl",
"prompt_file": "prompts/resume.txt",
"model": "gpt-5.6-terra",
"min_threshold": 0.75
}
]
}
Is é an bhearna idir an dá thairseach seo croílár na modheolaíochta. Is tasc dúnta é aicmiú ticéad: faoi 0.90, ní sholáthraíonn an ghné an tseirbhís a bhfuiltear ag súil léi. Is tasc oscailte é achoimriú, arna mheas ar eochairfhocail a d’fhéadfadh téacs maith a chur in iúl go dlisteanach ar bhealach difriúil; dá n-éileofaí 0.90, chuirfí bac ar gach imlonnú agus rachfaí i muinín an tseiceála a dhíchumasú go tapa. Déan calabrú ar gach tairseach bunaithe ar scóir a breathnaíodh ar tháirgeadh seachas ar uimhir shlán a mheastar a bheith sásúil.
Gach Rud a Nascadh le Chéile i nGníomhartha GitHub
Ní spreagtar an sruth oibre ach ar chonairí ábhartha – prais, meastóireachtaí, cód comhtháthaithe AI – ionas nach gcaithfidh athrú stílbhileog glaonna API.
# .github/workflows/eval-ai.yml
name: AI Evaluation
on:
pull_request:
paths:
- "prompts/**"
- "evals/**"
- "src/ai/**"
jobs:
evaluate:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: "3.12"
- run: pip install openai
- name: Run evals
env:
OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
run: python evals/run_ci.py
- name: Publish report
if: always()
uses: actions/upload-artifact@v4
with:
name: eval-report
path: evals/report.md
Tá dhá shonraí fiú a thabhairt faoi deara. Téann an eochair API trí rúin an stóir, riamh tríd an gcomhad sruth oibre, atá inléite ag duine ar bith a bhfuil rochtain aige ar an gcód. Agus úsáideann foilsiú na tuarascála if: always(), murach sin ní dhéanfaí an t-earra a tháirgeadh nuair a theipeann ar mheastóireachtaí – rud arb é sin díreach an t-aon chás ina bhfuil gá leat é a léamh.
Nascann an script iontrála gach rud le chéile: scríobhann sé an tuarascáil ar an diosca don earra, priontálann sé chuig na logaí é, agus socraíonn sé an cód scortha a cheadaíonn nó a chuireann bac ar an gcuid eile den phíblíne.
#!/usr/bin/env python3
"""Script meastóireachta do CI — evals/run_ci.py"""
import sys
from pathlib import Path
def main():
config = load_eval_config("evals/config.json")
results = run_ci_evals(config)
report, all_pass = ci_report(results)
# Scríobh an tuarascáil
Path("evals/report.md").write_text(report)
print(report)
# Cód scortha do CI
if not all_pass:
print("\nTheip ar roinnt meastóireachtaí. Bac ar imlonnú.")
sys.exit(1)
else:
print("\nGabhann gach meastóireacht.")
sys.exit(0)
if __name__ == "__main__":
main()
Déan Comparáid Seachas Breithiúnas i dtéarmaí Absalóideacha
Freagraíonn tairseach seasta an cheist “An bhfuil sé seo maith go leor?” Ní fhreagraíonn sé “An bhfuil sé seo níos fearr ná roimhe?”, rud arb é sin go minic an fhíorcheist. Is féidir le pras athscríofhe fanacht os cionn na tairsce agus trí phointe a chailleadh i gcomparáid leis an leagan roimhe seo: casann CI glas agus téann an díghrádú isteach sa táirgeadh gan aon duine a thabhairt faoi deara é.
Ritheann an tástáil cúlú dá bhrí sin an dá leagan ar an tacar sonraí céanna, san fheachtas céanna, agus déanann sé comparáid idir na meáin. Súnn lamháil 5% an torann atá inhéarach in aschuir ghiniúnacha; thairis sin, tá an breithiúnas soiléir.
def prompt_regression_test(
current_prompt: str,
previous_prompt: str,
dataset: list[dict],
model: str,
degradation_threshold: float = 0.05,
) -> dict:
"""Fíoraíonn sé nach ndéanann pras nua díghrádú ar fheidhmíocht."""
scores_current = []
scores_previous = []
for case in dataset:
# Déan meastóireacht leis an bpras reatha
r1 = client.responses.create(
model=model, instructions=current_prompt,
reasoning={"effort": "none"}, # temperature requires effort none
input=case["input"], temperature=0.0,
)
# Déan meastóireacht leis an bpras roimhe seo
r2 = client.responses.create(
model=model, instructions=previous_prompt,
reasoning={"effort": "none"}, # temperature requires effort none
input=case["input"], temperature=0.0,
)
s1 = evaluate_response(r1.output_text, case)
s2 = evaluate_response(r2.output_text, case)
scores_current.append(s1)
scores_previous.append(s2)
avg_current = sum(scores_current) / len(scores_current)
avg_previous = sum(scores_previous) / len(scores_previous)
delta = avg_current - avg_previous
return {
"current_score": avg_current,
"previous_score": avg_previous,
"delta": delta,
"regression": delta < -degradation_threshold,
"verdict": "OK" if delta >= -degradation_threshold else "REGRESSION",
}
Déanann an tástáil seo líon na nglaonna a dhúbailt, agus dá bhrí sin an costas agus an fad. Cuir in áirithe é d’athruithe prais, ag coinneáil air ó chonair tiomantas gnáth, agus rith é ar fho-thacar ionadaíoch seachas do thacar sonraí tagartha iomlán.
Príomhphointí
- Comhtháthaigh meastóireachtaí i do phíblíne CI/CD cosúil le tástálacha aonaid
- Cuir prais faoi leaganú i gcomhaid: gan dif, ní féidir aon spreagadh a dhéanamh
- Sainigh tairseacha íosta de réir cineáil meastóireachta, calabraithe ar shonraí táirgeachta
- Cuir bac ar imlonnú trí chód scortha nuair a thiteann scóir faoi thairseacha
- Déan tástáil ar chúlú trí phrais nua agus sean a chur i gcomparáid ar an tacar sonraí céanna