Įvertinkite savo užklausas: metodai, vertintojai ir migracija į Promptfoo
Šiame puslapyje
Pamoka atnaujinta 2026 m. lapkričio 3 d. pagal „OpenAI“ dokumentaciją: parametrai
temperatureirtop_ppriimami tik esant „none“ lygio samprotavimui, tuo tarpu GPT-5.6 modeliai pagal nutylėjimą samprotauja („medium“). Todėl užklausose, kuriose nustatomi šie parametrai, būtina nurodytireasoning={"effort": "none"}(Responses API) arbareasoning_effort="none"(Chat Completions). Šaltiniai: Using GPT-6 · GPT-5.6 Terra.
Atnaujinimas 2026 m. lapkričio 2 d. — Evals platforma. „OpenAI“ paskelbė apie savo Evals platformos veiklos pabaigą: esami vertinimai tapo tik skaitymo režimu nuo 2026 m. spalio 31 d., o prietaisų skydelis ir API bus uždaryti 2026 m. lapkričio 30 d., įskaitant vertintojus. „OpenAI“ paskelbė migracijos į „Promptfoo“ vadovą. Šioje pamokoje aptariami vertinimo principai lieka galioti; keičiasi tik įrankis.
Kodėl privalai sistemingai vertinti
Negali pagerinti to, ko nematuoji. Kai pakeiti užklausą, modelį ar parametrą, kaip sužinai, ar kokybė iš tikrųjų pagerėjo? Spontaniškas metodas – išbandyti tris ar keturis pavyzdžius, rasti geresnius atsakymus ir diegti. Tai dažnai nepavyksta, nes testuojami pavyzdžiai yra būtent tie, kurie sukėlė problemų praėjusią savaitę: matuoji pagerėjimą ten, kur jo ieškojai, ir praleidi regresijas, atsiradusias atvejais, kurie anksčiau veikė sklandžiai.
Vertinimai (evals) šią intuiciją paverčia objektyviu matu. Iki 2026 m. „OpenAI“ tam siūlė integruotą platformą „Evals“; ji tapo tik skaitymo režimu nuo spalio 31 d. ir bus uždaryta lapkričio 30 d. Dabar „OpenAI“ rekomenduoja „Promptfoo“ – atviro kodo įrankį vertinimui ir „red teaming“ testams. Gera žinia ta, kad abu naudoja tuos pačius statybinius blokus – testų duomenis, užklausas, modelius ir vertinimo kriterijus. Tai, ką čia išmoksi Python kode, tiesiogiai pritaikoma, o paskutinėje pamokos dalyje parodysime perėjimą prie „Promptfoo“.
Visą procesą struktūrizuoja trys sąvokos. Duomenų rinkinys (dataset) – tai testų atvejų su įvestimis ir tikėtinais rezultatais aibė: tai tavo etalonas, lygiavertis vienetinių testų rinkiniui. Vertintojas (grader) – tai vertinimo kriterijus – tikslus atitikimas, LLM kaip teisėjas, balas – kuris nusprendžia, ar konkretus atsakymas yra geras. Vykdymas (run) – tai vertinimo vykdymas duomenų rinkinyje naudojant konkretų modelį ir užklausą; tai vienetas, kurį lygini nuo vienos versijos iki kitos.
Sukurk duomenų rinkinį, atspindintį realybę
Testo atvejis susideda iš įvesties, tikėtino atsakymo ir metaduomenų. Pastarieji nėra dekoracija: būtent jie leis tau vėliau suprasti, kad bendras 87 % rezultatas slepia žlugimą „kodo“ kategorijoje, kompensuotą puikiais geografijos rezultatais. Be kategorijos ar sunkumo lygio turi tik agreguotą skaičių, o agreguotas skaičius niekada nepasako, kur reikia imtis veiksmų.
import json
# Duomenų rinkinys yra testų atvejų sąrašas
dataset = [
{
"input": "What is the capital of France?",
"expected": "Paris",
"metadata": {"category": "geography", "difficulty": "easy"},
},
{
"input": "Explain Bayes' theorem in one sentence.",
"expected": "Bayes' theorem calculates the probability "
"of an event based on known conditional probabilities.",
"metadata": {"category": "mathematics", "difficulty": "medium"},
},
{
"input": "Write a Python function that reverses a list.",
"expected": "def reverse_list(lst): return lst[::-1]",
"metadata": {"category": "code", "difficulty": "easy"},
},
]
# Išsaugoti kaip JSONL
with open("eval_dataset.jsonl", "w") as f:
for case in dataset:
f.write(json.dumps(case, ensure_ascii=False) + "\n")
Ofise sugalvotas duomenų rinkinys vertina tavo vaizduotę, o ne tavo programą. Tavo naudotojai savo užklausas formuluoja kitaip nei tu: rašybos klaidos, nepilnai suformuluoti klausimai, numanomas kontekstas. Todėl geriausias testų atvejų šaltinis yra tavo paties gamybos duomenys, su sąlyga, kad etaloninius atsakymus patvirtina žmogus – priešingu atveju įtvirinsi dabartines klaidas kaip normą.
import openai
import random
client = openai.OpenAI()
def create_dataset_from_logs(
production_logs: list[dict],
sample_size: int = 100,
) -> list[dict]:
"""Sukuria vertinimo duomenų rinkinį iš gamybos žurnalų."""
# Atranka
sample = random.sample(
production_logs,
min(sample_size, len(production_logs)),
)
dataset = []
for log in sample:
dataset.append({
"input": log["prompt"],
"expected": log["validated_response"], # Žmogaus patvirtintas atsakymas
"metadata": {
"source": "production",
"date": log["date"],
"original_model": log["model"],
},
})
return dataset
Pasirink tinkamą vertintoją
Tikslaus atitikimo vertintojas yra griežčiausias ir greičiausias. Jis tinka tik toms užduotims, kur išvestis yra apribota: trijų kategorijų klasifikacija, sąskaitos numerio ištraukimas, atsakymas „taip“ arba „ne“. Naudojamas laisvam tekstui, jis puikiam atsakymui, suformuluotam kitaip nei etalone, skirtų nulį.
def exact_grader(response: str, expected: str) -> dict:
"""Įvertina, ar atsakymas tiksliai atitinka lūkesčius."""
score = 1.0 if response.strip().lower() == expected.strip().lower() else 0.0
return {"score": score, "type": "exact"}
Įtraukties vertintojas atlaisvina reikalavimą: jis tikrina, ar yra numatytų raktinių žodžių, ir grąžina dalinį balą. Tai tinkamas įrankis atsakymams, kurie turi apimti privalomus punktus, nesvarbu, kaip jie suformuluoti – pavyzdžiui, palaikymo atsakymas, kuriame turi būti paminėtas atsisakymo laikotarpis ir grąžinimo adresas. Jo silpnybė gerai žinoma: tekstas, kuriame teisingi žodžiai išdėstyti absurdiška tvarka, gautų maksimalų balą.
def inclusion_grader(response: str, keywords: list[str]) -> dict:
"""Tikrina, ar atsakyme yra numatytų raktinių žodžių."""
response_lower = response.lower()
found = sum(1 for word in keywords if word.lower() in response_lower)
score = found / len(keywords) if keywords else 0.0
return {
"score": score,
"found": found,
"total": len(keywords),
"type": "inclusion",
}
Tuomet eina pats galingiausias: kitas LLM įvertina atsakymo kokybę. LLM-as-Judge vertintojas pastebi tai, ko jokia mechaninė taisyklė negali – aiškumą, išsamumą, tono tikslumą. Du įgyvendinimo detalės daro jį praktišku. Pirma, temperature=0.0: be to, tas pats teisėjas skirtinguose vykdymuose tam pačiam atsakymui skirtų skirtingus balus, ir tavo lyginamasis standartas prarastų visą vertę. Antra, atsarginis variantas json.JSONDecodeError atveju: teisėjas, kuris komentuoja vietoj to, kad grąžintų JSON, neturėtų sugriauti visos kampanijos.
def llm_judge_grader(
question: str,
response: str,
expected: str,
criteria: str = "accuracy, completeness, clarity",
) -> dict:
"""Naudoja LLM atsakymo kokybei įvertinti."""
judge_prompt = f"""Rate the quality of this response on a scale of 1 to 5.
Question: {question}
Expected Response: {expected}
Response to Evaluate: {response}
Criteria: {criteria}
Respond ONLY with JSON:
{{"score": <1-5>, "justification": "<short explanation>"}}"""
response_obj = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature requires effort none
input=judge_prompt,
temperature=0.0,
)
import json
try:
result = json.loads(response_obj.output_text)
result["normalized_score"] = result["score"] / 5.0
return result
except json.JSONDecodeError:
return {"score": 0, "justification": "Parsing error", "normalized_score": 0}
Surink visą vertinimą į vienumą
Orkestracija nesukelia koncepcinių sunkumų: iteruoji per duomenų rinkinį, kvieti modelį su testuojama sistemos užklausa, taikai vertintoją ir agreguoji rezultatus. Įdomu tai, kad balų skaičiavimo funkcija perduodama kaip parametras, tai leidžia tą patį duomenų rinkinį paleisti su skirtingais kriterijais priklausomai nuo kampanijos – įtrauktis greitai patikrai kūrimo metu, LLM teisėjas validavimui prieš diegiant į gamybą.
async def run_eval(
dataset: list[dict],
model: str,
system_prompt: str,
grader_fn,
) -> dict:
"""Vykdo pilną vertinimą duomenų rinkinyje."""
results = []
for case in dataset:
response = client.responses.create(
model=model,
instructions=system_prompt,
input=case["input"],
)
score = grader_fn(response.output_text, case["expected"])
results.append({
"input": case["input"],
"expected": case["expected"],
"obtained": response.output_text,
**score,
})
# Apskaičiuoti agreguotas metrikas
scores = [r["score"] for r in results if "score" in r]
return {
"model": model,
"num_cases": len(dataset),
"average_score": sum(scores) / len(scores) if scores else 0,
"min_score": min(scores) if scores else 0,
"max_score": max(scores) if scores else 0,
"results": results,
}
Ataskaitoje paliekamas min_score ir kiekvieno atvejo detalės, ir tai nėra atsitiktinumas. Vidurkis parodo, ar judi į priekį; blogiausiai įvertinti atvejai parodo, kodėl. Įsivesk įprotį prieš komentuojant vidurkį perskaityti penkis blogiausius kiekvieno vykdymo atsakymus: būtent ten, ir retai kur kitur, rasi kitą taisymą, kurį reikia atlikti.
Industrializuok su „Promptfoo“
Vertinimų rašymas rankiniu būdu Python kalba yra šviečiamasis procesas; jų palaikymas laikui bėgant yra patogesnis naudojant specializuotą įrankį. „OpenAI“ migracijos vadove aprašoma „Promptfoo“ logika: vertinimas gyvena konfigūracijos faile promptfooconfig.yaml, kuris sujungia užklausas, modelį (-ius), testų atvejus ir kriterijus – čia vadinamus teiginiais (assertions). Jis vykdomas iš komandinės eilutės, lokaliai arba tavo nuolatinės integracijos sistemoje, ir egzistuoja greta programos kodo.
description: Support ticket classification
prompts:
- "Classify this ticket into a single category (billing, technical, account): {{ticket}}"
providers:
- openai:gpt-6.1-sol
tests:
- vars:
ticket: "My card was charged twice this month."
assert:
- type: icontains
value: billing
- vars:
ticket: "The app crashes when I open a PDF."
assert:
- type: icontains
value: technical
promptfoo eval -c promptfooconfig.yaml --no-cache
promptfoo view
promptfoo validate config -c promptfooconfig.yaml # in case of configuration error
Šioje pamokoje aptarti vertintojai čia atsiranda kaip teiginiai: tikslus atitikimas, raktinių žodžių įtrauktis ir modelio vertinimas. „OpenAI“ įspėja dėl paskutiniojo punkto: atkurtas vertintojas, ypač LLM teisėjas, prieš naudojant regresijai nustatyti turi būti iš naujo validuotas, nes balai nuo vieno įrankio iki kito nebūtinai bus identiški.
Svarbiausi punktai
- Vertinimai intuiciją paverčia objektyviu kokybės matu
- Duomenų rinkinius kurk iš realių gamybos atvejų, patvirtintų žmogaus
- Vertintoją rinkis pagal užduotį: tikslus atitikimas apribotoms užduotims, įtrauktis privalomiems punktams, LLM-as-Judge niuansams
- Nustatyk
temperature=0.0teisėjui, kad balai būtų atkuriami - Vykdyk vertinimus prieš kiekvieną užklausos ar modelio pakeitimą
- „OpenAI“ Evals platforma uždaroma 2026 m. lapkričio 30 d.: „Promptfoo“, rekomenduojama „OpenAI“, perima duomenų rinkinius, užklausas, modelius ir kriterijus konfigūracijos faile