Arvioi kehotteitasi: menetelmät, arvostelijat ja siirtyminen Promptfoohon
Tällä sivulla
Oppitunti päivitetty 3. marraskuuta 2026 OpenAI:n dokumentaation perusteella: parametrit
temperaturejatop_phyväksytään vain, kun päättelypyrkimys (reasoning effort) onnone, kun taas GPT-5.6-mallit päättelevät oletusarvoisesti (medium). Näitä parametreja käyttävien kutsujen on siksi määritettäväreasoning={"effort": "none"}(Responses API) taireasoning_effort="none"(Chat Completions). Lähteet: Using GPT-6 · GPT-5.6 Terra.
Päivitys 2. marraskuuta 2026 — Evals-alusta. OpenAI on ilmoittanut Evals-alustansa sulkemisesta: olemassa olevat arvioinnit ovat olleet vain luku -tilassa 31. lokakuuta 2026 lähtien, ja kojelauta sekä API sulkeutuvat 30. marraskuuta 2026, arvostelijat (graders) mukaan lukien. OpenAI on julkaissut siirtymäoppaan Promptfoohon. Tämän oppitunnin arviointiperiaatteet pysyvät voimassa; vain työkalu vaihtuu.
Miksi sinun on arvioitava systemaattisesti
Et voi parantaa sitä, mitä et mittaa. Kun muutat kehotetta, mallia tai parametria, miten tiedät laadun todella parantuneen? Spontaani menetelmä on kokeilla kolmea tai neljää esimerkkiä, etsiä paremmat vastaukset ja ottaa käyttöön. Tämä epäonnistuu säännöllisesti, koska testatut esimerkit ovat juuri niitä, jotka aiheuttivat ongelmia viime viikolla: mittaat parannusta siellä, missä etsit sitä, ja huomaamattasi jäävät takaiskut tapauksissa, jotka jo toimivat.
Arvioinnit (evals) muuttavat tämän intuition objektiiviseksi mittariksi. Vuoteen 2026 saakka OpenAI tarjosi tähän integroidun alustan, Evals; se on ollut vain luku -tilassa 31. lokakuuta 2026 lähtien ja sulkeutuu 30. marraskuuta. OpenAI suosittelee nyt Promptfoota, avoimen lähdekoodin työkalua arviointiin ja red teaming -toimintaan. Hyvä uutinen on, että molemmat jakavat samat rakennuspalikat: testidata, kehotteet, mallit ja pisteytyskriteerit. Täällä Python-koodilla oppimasi siirtyy suoraan käytäntöön, ja oppitunnin viimeinen osa näyttää siirtymisen Promptfoohon.
Kolme käsitettä jäsentelee koko prosessin. Datasetti on joukko testitapauksia syötteineen ja odotettuine tuloksineen: se on viitekehyksesi, vastine yksikkötestisarjalle. Arvostelija (grader) on arviointikriteeri – täsmällinen osuma, LLM-tuomari, pistemäärä – joka päättää, onko annettu vastaus hyvä. Suoritus (run) on arvioinnin suoritus datasetillä tietyllä mallilla ja kehotteella; se on yksikkö, jota vertaat versiosta toiseen.
Rakenna datasetti, joka vastaa todellisuuttasi
Testitapaus koostuu syötteestä, odotetusta tuloksesta ja metatiedoista. Jälkimmäiset eivät ole koristeita: niiden ansiosta huomaat jälkikäteen, että 87 %:n kokonaispistemäärä peittää alleen romahduksen “koodi”-kategoriassa, jonka tasapainottaa erinomaiset tulokset maantieteessä. Ilman kategoriaa tai vaikeusastetta sinulla on vain aggregoitu luku, eikä aggregoitu luku kerro koskaan, missä sinun tulee puuttua asiaan.
import json
# Datasetti on lista testitapauksia
dataset = [
{
"input": "What is the capital of France?",
"expected": "Paris",
"metadata": {"category": "geography", "difficulty": "easy"},
},
{
"input": "Explain Bayes' theorem in one sentence.",
"expected": "Bayes' theorem calculates the probability "
"of an event based on known conditional probabilities.",
"metadata": {"category": "mathematics", "difficulty": "medium"},
},
{
"input": "Write a Python function that reverses a list.",
"expected": "def reverse_list(lst): return lst[::-1]",
"metadata": {"category": "code", "difficulty": "easy"},
},
]
# Tallenna JSONL-muodossa
with open("eval_dataset.jsonl", "w") as f:
for case in dataset:
f.write(json.dumps(case, ensure_ascii=False) + "\n")
Toimistolla keksitty datasetti arvioi mielikuvitustasi, ei sovellustasi. Käyttäjäsi muotoilevat pyyntönsä eri tavalla kuin sinä: kirjoitusvirheitä, puoliksi kysyttyjä kysymyksiä, implisiittistä kontekstia. Paras lähde testitapauksille onkin oma tuotantodatasi, edellyttäen että ihminen validoi vertailuvastaukset – muuten jäädytät nykyiset virheet normiksi.
import openai
import random
client = openai.OpenAI()
def create_dataset_from_logs(
production_logs: list[dict],
sample_size: int = 100,
) -> list[dict]:
"""Luo arviointidatasetin tuotantolokeista."""
# Otanta
sample = random.sample(
production_logs,
min(sample_size, len(production_logs)),
)
dataset = []
for log in sample:
dataset.append({
"input": log["prompt"],
"expected": log["validated_response"], # Ihmisen validoima vastaus
"metadata": {
"source": "production",
"date": log["date"],
"original_model": log["model"],
},
})
return dataset
Valitse oikea arvostelija
Täsmällinen osuma (exact match) on tiukin ja nopein arvostelija. Se sopii vain tehtäviin, joissa tuloste on rajoitettu: kolmen kategorian luokittelu, laskun numeron erottaminen, kyllä-ei-vastaus. Vapaaseen tekstiin käytettynä se antaisi nolla pistettä täydelliselle vastaukselle pelkästään siksi, että se on muotoiltu eri tavalla kuin vertailukohta.
def exact_grader(response: str, expected: str) -> dict:
"""Arvioi, vastaako vastaus täsmällisesti."""
score = 1.0 if response.strip().lower() == expected.strip().lower() else 0.0
return {"score": score, "type": "exact"}
Sisältöarvostelija (inclusion grader) löysentää rajoitusta: se tarkistaa odotettujen avainsanojen esiintymisen ja palauttaa osittaisen pistemäärän. Tämä on oikea työkalu vastauksille, joiden on katettava pakolliset kohdat sanamuodon välittämättä – esimerkiksi tukivastaus, jossa on mainittava peruutusaika ja palautusosoite. Sen heikkous on hyvin tunnettu: teksti, joka sisältää oikeat sanat absurdistissa järjestyksessä, saisi täydet pisteet.
def inclusion_grader(response: str, keywords: list[str]) -> dict:
"""Tarkistaa, sisältääkö vastaus odotetut avainsanat."""
response_lower = response.lower()
found = sum(1 for word in keywords if word.lower() in response_lower)
score = found / len(keywords) if keywords else 0.0
return {
"score": score,
"found": found,
"total": len(keywords),
"type": "inclusion",
}
Sitten on tehokkain: toinen LLM arvioi vastauksen laadun. LLM-as-tuomari (LLM-as-Judge) arvostaa sitä, mihin mikään mekaaninen sääntö ei pysty – selkeyttä, täydellisyyttä, sävyn oikeellisuutta. Kaksi toteutusyksityiskohtaa tekevät siitä käytännöllisen. Ensinnäkin temperature=0.0: ilman tätä sama tuomari antaisi eri pisteet samalle vastaukselle suoritus kerrallaan, ja vertailukelpoisuus katoaisi. Toiseksi varasuunnitelma json.JSONDecodeError:lle: tuomari, joka kommentoi JSON:n palauttamisen sijaan, ei saa kaataa koko kampanjaa.
def llm_judge_grader(
question: str,
response: str,
expected: str,
criteria: str = "accuracy, completeness, clarity",
) -> dict:
"""Käyttää LLM:ää vastauksen laadun arviointiin."""
judge_prompt = f"""Rate the quality of this response on a scale of 1 to 5.
Question: {question}
Expected Response: {expected}
Response to Evaluate: {response}
Criteria: {criteria}
Respond ONLY with JSON:
{{"score": <1-5>, "justification": "<short explanation>"}}"""
response_obj = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature vaatii effort none
input=judge_prompt,
temperature=0.0,
)
import json
try:
result = json.loads(response_obj.output_text)
result["normalized_score"] = result["score"] / 5.0
return result
except json.JSONDecodeError:
return {"score": 0, "justification": "Parsing error", "normalized_score": 0}
Kokoa koko arviointi
Orkestrointi ei ole käsitteellisesti vaikeaa: iteroid datasetin läpi, kutsu mallia testattavalla järjestelmäkehotteella, sovella arvostelijaa ja aggregoi tulokset. Kiinnostava kohta on, että pisteytysfunktio tulee parametrina, mikä mahdollistaa täsmälleen saman datasetin uudelleenkäytön eri kriteerein kampanjasta riippuen – sisältö tarkistukseen kehitysvaiheessa, LLM-tuomari validointiin ennen tuotantoon vientiä.
async def run_eval(
dataset: list[dict],
model: str,
system_prompt: str,
grader_fn,
) -> dict:
"""Suorittaa täyden arvioinnin datasetillä."""
results = []
for case in dataset:
response = client.responses.create(
model=model,
instructions=system_prompt,
input=case["input"],
)
score = grader_fn(response.output_text, case["expected"])
results.append({
"input": case["input"],
"expected": case["expected"],
"obtained": response.output_text,
**score,
})
# Laske aggregoidut mittarit
scores = [r["score"] for r in results if "score" in r]
return {
"model": model,
"num_cases": len(dataset),
"average_score": sum(scores) / len(scores) if scores else 0,
"min_score": min(scores) if scores else 0,
"max_score": max(scores) if scores else 0,
"results": results,
}
Raportti säilyttää min_score:n ja jokaisen tapauksen yksityiskohdat, ja se on tarkoituksellista. Keskiarvo kertoo, liikutko eteenpäin; huonoimmat pisteet saaneet tapaukset kertovat miksi. Tee tavaksi lukea viisi huonointa vastausta jokaisesta suorituksesta ennen kuin kommentoit keskiarvoa: juuri siellä, ja harvoin muualla, löydät seuraavan korjattavan asian.
Teollista Promptfoolla
Arviointien kirjoittaminen käsin Pythonilla on opettavaista; niiden ylläpito ajan myötä on mukavampaa omistetulla työkalulla. OpenAI:n siirtymäopas kuvaa Promptfoon logiikan: arviointi elää konfiguraatiotiedostossa, promptfooconfig.yaml, joka kokoaa yhteen kehotteet, malli(t), testitapaukset ja kriteerit – joita täällä kutsutaan väitteiksi (assertions). Se suoritetaan komentoriviltä, paikallisesti tai jatkuvassa integraatiossa, ja se elää sovelluskoodin rinnalla.
description: Support ticket classification
prompts:
- "Classify this ticket into a single category (billing, technical, account): {{ticket}}"
providers:
- openai:gpt-6.1-sol
tests:
- vars:
ticket: "My card was charged twice this month."
assert:
- type: icontains
value: billing
- vars:
ticket: "The app crashes when I open a PDF."
assert:
- type: icontains
value: technical
promptfoo eval -c promptfooconfig.yaml --no-cache
promptfoo view
promptfoo validate config -c promptfooconfig.yaml # konfiguraatiovirheen varalta
Tämän oppitunnin arvostelijat ilmestyvät uudelleen väitteinä: täsmällinen osuma, avainsanojen sisältäminen ja mallin arviointi. OpenAI varoittaa viimeisestä kohdasta: uudelleenluotu arvostelija, erityisesti LLM-tuomari, on validoitava uudelleen ennen kuin sitä käytetään päätöksenteossa takaiskun suhteen, sillä pisteet eivät välttämättä ole identtisiä työkalusta toiseen siirryttäessä.
Keskeiset asiat
- Arvioinnit muuttavat intuition objektiiviseksi laatumittariksi
- Luo datasettisi todellisista tuotantotapauksista, ihmisen validoimina
- Valitse arvostelija tehtävän perusteella: täsmällinen rajoitetuille, sisältö pakollisille kohdille, LLM-tuomari vivahdekkaille
- Aseta
temperature=0.0tuomarille, jotta pisteet ovat toistettavia - Suorita arvioinnit ennen jokaista kehotteen tai mallin muutosta
- OpenAI:n Evals-alusta sulkeutuu 30. marraskuuta 2026: OpenAI:n suosittelema Promptfoo ottaa haltuunsa datasetit, kehotteet, mallit ja kriteerit konfiguraatiotiedostossa