Hinda oma vihjeid: meetodid, hindajad ja üleminek Promptfoole
Sellel lehel
Tund uuendatud 3. novembril 2026 OpenAI dokumentatsiooni põhjal: parameetreid
temperaturejatop_paktsepteeritakse ainult arutluskäigu jõupingutusega (effort) väärtuselnone, samas kui GPT-5.6 mudelid kasutavad vaikimisi arutluskäiku (medium). Seetõttu peavad need parameetrid määravad päringud sisaldamareasoning={"effort": "none"}(Responses API) võireasoning_effort="none"(Chat Completions). Allikad: GPT-6 kasutamine · GPT-5.6 Terra.
Uuendus 2. novembril 2026 — Evals platvorm. OpenAI on teatanud oma Evals platvormi tegevuse lõpetamisest: olemasolevad hindamised on olnud alates 31. oktoobrist 2026 ainult lugemisrežiimis ning armatuurlaud ja API suletakse 30. novembril 2026, kaasa arvatud hindajad. OpenAI on avaldanud üleminekujuhise Promptfoole. Selles tunnis käsitletud hindamispõhimõtted kehtivad endiselt; muutub vaid tööriist.
Miks pead hindama süstemaatiliselt
Sa ei saa parandada seda, mida sa ei mõõda. Kui muudad vihjet, mudelit või parameetrit, kuidas sa tead, et kvaliteet on tegelikult paranenud? Spontaanne meetod on proovida kolme-nelja näidet, leida paremad vastused ja need kasutusele võtta. See ebaõnnestub sageli, sest testitud näited on täpselt need, mis põhjustasid probleeme eelmisel nädalal: mõõdad paranemist seal, kus seda otsisid, ja jätad tähelepanuta tagasilöögid juhtudel, mis juba toimisid.
Hindamised (evals) muudavad selle intuitsiooni objektiivseks mõõduks. Kuni 2026. aastani pakkus OpenAI selleks integreeritud platvormi Evals; see on olnud alates 31. oktoobrist ainult lugemisrežiimis ja suletakse 30. novembril. OpenAI soovitab nüüd Promptfoot, avatud lähtekoodiga tööriista hindamiseks ja punase meeskonna (red teaming) testideks. Hea uudis on see, et mõlemad jagavad samu ehitusplokke – testandmed, vihjed, mudelid ja hindamiskriteeriumid. Siin Pythoni koodis õpitu on otse ülekantav ja tunni viimane osa näitab üleminekut Promptfoole.
Kogu protsessi struktureerivad kolm mõistet. Andmestik (dataset) on testjuhtumite kogum sisendite ja oodatud väljunditega: see on sinu võrdlusalus, mis vastab ühiktestide komplektile. Hindaja (grader) on hindamiskriteerium – täpne vaste, LLM kohtunikuna, skoor –, mis otsustab, kas antud vastus on hea. Käivitamine (run) on hindamise teostamine andmestikul konkreetse mudeli ja vihjega; see on üksus, mida võrreldakse ühest versioonist teise liikudes.
Loo andmestik, mis peegeldab reaalsust
Testjuhtum koosneb sisendist, oodatud väljundist ja metaandmetest. Viimased pole pelgalt kaunistuseks: just need võimaldavad sul hiljem mõista, et üldine skoor 87% varjab kokkuvarisemist kategoorias “kood”, mida kompenseerivad suurepärased tulemused geograafias. Ilma kategooria või raskusastmeta on sul vaid agregeeritud number, ja agregeeritud number ei ütle kunagi, kuhu sekkuda.
import json
# Andmestik on testjuhtumite loend
dataset = [
{
"input": "Mis on Prantsusmaa pealinn?",
"expected": "Pariis",
"metadata": {"category": "geograafia", "difficulty": "lihtne"},
},
{
"input": "Selgita Bayesi teoreemi ühes lauses.",
"expected": "Bayesi teorem arvutab sündmuse tõenäosust, "
"lähtudes teadaolevatest tinglikest tõenäosustest.",
"metadata": {"category": "matemaatika", "difficulty": "keskmine"},
},
{
"input": "Kirjuta Pythoni funktsioon, mis pöörab loendi ümber.",
"expected": "def reverse_list(lst): return lst[::-1]",
"metadata": {"category": "kood", "difficulty": "lihtne"},
},
]
# Salvesta JSONL-formaati
with open("eval_dataset.jsonl", "w") as f:
for case in dataset:
f.write(json.dumps(case, ensure_ascii=False) + "\n")
Kontoris välja mõeldud andmestik hindab sinu kujutlusvõimet, mitte sinu rakendust. Sinu kasutajad sõnastavad oma päringuid teisiti kui sina: kirjavead, poolikud küsimused, varjatud kontekst. Parim testjuhtumite allikas on seega sinu enda tootmisandmed, eeldusel, et inimene valideerib võrdlusvastused – vastasel juhul külmutad praegused vead normiks.
import openai
import random
client = openai.OpenAI()
def create_dataset_from_logs(
production_logs: list[dict],
sample_size: int = 100,
) -> list[dict]:
"""Loob hindamisandmestiku tootmislogidest."""
# Valim
sample = random.sample(
production_logs,
min(sample_size, len(production_logs)),
)
dataset = []
for log in sample:
dataset.append({
"input": log["prompt"],
"expected": log["validated_response"], # Inimese valideeritud vastus
"metadata": {
"source": "production",
"date": log["date"],
"original_model": log["model"],
},
})
return dataset
Vali õige hindaja
Täpse vaste hindaja on kõige rangem ja kiirem. See sobib ainult ülesannetele, kus väljund on piiratud: kolme kategooria klassifitseerimine, arvenumbri ekstraheerimine, jah-ei vastus. Vabas tekstis kasutatuna annaks see nulli ka täiuslikule vastusele, kui see on sõnastatud teisiti kui võrdlus.
def exact_grader(response: str, expected: str) -> dict:
"""Hindab, kas vastus langeb täpselt kokku."""
score = 1.0 if response.strip().lower() == expected.strip().lower() else 0.0
return {"score": score, "type": "exact"}
Kaasamise hindaja lõdvendab tingimust: see kontrollib oodatud märksõnade olemasolu ja tagastab osalise skoori. See on õige tööriist vastuste jaoks, mis peavad katma kohustuslikud punktid, kusjuures sõnastus ei oma tähtsust – näiteks tugiteenuse vastus, mis peab mainima taganemistähtaega ja tagastusaadressi. Selle nõrkus on üldteada: tekst, mis sisaldab õigeid sõnu absurdses järjekorras, saaks täisskoori.
def inclusion_grader(response: str, keywords: list[str]) -> dict:
"""Kontrollib, kas vastus sisaldab oodatud märksõnu."""
response_lower = response.lower()
found = sum(1 for word in keywords if word.lower() in response_lower)
score = found / len(keywords) if keywords else 0.0
return {
"score": score,
"found": found,
"total": len(keywords),
"type": "inclusion",
}
Siis on kõige võimsam: teine LLM hindab vastuse kvaliteeti. LLM-as-Judge hindaja tajub seda, mida ükski mehaaniline reegel ei suuda – selgust, täielikkust, tooni täpsust. Kaks rakendusdetaili teevad selle praktiliseks. Esiteks, temperature=0.0: ilma selleta omistaks sama hindaja samale vastusele erinevaid skoore ühest käivitusest teise ja sinu võrdlusalus kaotaks kogu võrdlusväärtuse. Teiseks, varuvariand json.JSONDecodeError jaoks: hindaja, mis kommenteerib JSON-i tagastamise asemel, ei tohiks kogu kampaaniat kokku lasta.
def llm_judge_grader(
question: str,
response: str,
expected: str,
criteria: str = "täpsus, täielikkus, selgus",
) -> dict:
"""Kasutab LLM-i vastuse kvaliteedi hindamiseks."""
judge_prompt = f"""Hinda selle vastuse kvaliteeti skaalal 1 kuni 5.
Küsimus: {question}
Oodatud vastus: {expected}
Hinnatav vastus: {response}
Kriteeriumid: {criteria}
Vasta AINULT JSON-formaadis:
{{"score": <1-5>, "justification": "<lühike selgitus>"}}"""
response_obj = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature nõuab effort none
input=judge_prompt,
temperature=0.0,
)
import json
try:
result = json.loads(response_obj.output_text)
result["normalized_score"] = result["score"] / 5.0
return result
except json.JSONDecodeError:
return {"score": 0, "justification": "Parsimisviga", "normalized_score": 0}
Koosta täielik hindamine
Orkestreerimine ei tekita kontseptuaalseid raskusi: iteratsioon andmestiku üle, mudeli kutsumine testitava süsteemivihjega, hindaja rakendamine ja agregeerimine. Huvitav punkt on see, et skoorimisfunktsioon tuleb parameetrina, mis võimaldab sama andmestikku uuesti käivitada erinevate kriteeriumidega sõltuvalt kampaaniast – kaasamine kiireks kontrolliks arenduse ajal, LLM-hindaja valideerimiseks enne tootmist.
async def run_eval(
dataset: list[dict],
model: str,
system_prompt: str,
grader_fn,
) -> dict:
"""Teostab täieliku hindamise andmestikule."""
results = []
for case in dataset:
response = client.responses.create(
model=model,
instructions=system_prompt,
input=case["input"],
)
score = grader_fn(response.output_text, case["expected"])
results.append({
"input": case["input"],
"expected": case["expected"],
"obtained": response.output_text,
**score,
})
# Arvuta agregeeritud meetrikad
scores = [r["score"] for r in results if "score" in r]
return {
"model": model,
"num_cases": len(dataset),
"average_score": sum(scores) / len(scores) if scores else 0,
"min_score": min(scores) if scores else 0,
"max_score": max(scores) if scores else 0,
"results": results,
}
Aruanne säilitab min_score ja iga juhtumi üksikasjad, ja see on tahtlik. Keskmine ütleb, kas liigud edasi; halvima skooriga juhtumid ütlevad, miks. Tee endale harjumuseks lugeda enne keskmise kommenteerimist iga käivituse viit halvimat vastust: just seal, ja harva mujal, leiad järgmise paranduse, mida teha.
Industrialiseeri Promptfooga
Hindamiste käsitsi Pythonis kirjutamine on hariv; nende aja jooksul haldamine on mugavam spetsiaalse tööriistaga. OpenAI üleminekujuhis kirjeldab Promptfoo loogikat: hindamine asub konfiguratsioonifailis promptfooconfig.yaml, mis toob kokku vihjed, mudeli(d), testjuhtumid ja kriteeriumid – siin nimetatakse neid väideteks (assertions). See käivitatakse käsurealt, lokaalselt või sinu pidevas integratsioonis, ja eksisteerib kõrvuti rakenduse koodiga.
description: Toe piletite klassifitseerimine
prompts:
- "Klassifitseeri see pilet ühte kategooriasse (arveldamine, tehniline, konto): {{ticket}}"
providers:
- openai:gpt-6.1-sol
tests:
- vars:
ticket: "Minu kaardilt võeti sel kuul kaks korda raha maha."
assert:
- type: icontains
value: arveldamine
- vars:
ticket: "Rakendus jookseb kokku, kui avan PDF-i."
assert:
- type: icontains
value: tehniline
promptfoo eval -c promptfooconfig.yaml --no-cache
promptfoo view
promptfoo validate config -c promptfooconfig.yaml # konfiguratsioonivea korral
Selles tunnis käsitletud hindajad ilmuvad uuesti väidetena: täpne vaste, märksõnade kaasamine ja mudeli hinnang. OpenAI hoiatab viimase punkti osas: uuesti loodud hindajat, eriti LLM-hindajat, tuleb enne tagasilöögi otsustamiseks kasutamist uuesti valideerida, kuna skoorid ei pruugi ühest tööriistast teise liikudes olla identsed.
Peamised punktid
- Evals muudavad intuitsiooni kvaliteedi objektiivseks mõõduks
- Loo oma andmestikud reaalsetest tootmisjuhtumitest, mille on valideerinud inimene
- Vali hindaja ülesande põhjal: täpne piiratud ülesannete jaoks, kaasamine kohustuslike punktide jaoks, LLM-as-Judge nüansside jaoks
- Määra hindajale
temperature=0.0, et skoorid oleksid reprodutseeritavad - Käivita hindamised enne iga vihje või mudeli muutmist
- OpenAI Evals platvorm suletakse 30. novembril 2026: OpenAI soovitatud Promptfoo võtab üle andmestikud, vihjed, mudelid ja kriteeriumid konfiguratsioonifailis