Procijeni svoje upite: metode, ocjenjivači i migracija na Promptfoo
Na ovoj stranici
Lekcija ažurirana 3. studenoga 2026. na temelju OpenAI dokumentacije: parametri
temperatureitop_pprihvaćeni su samo uz napor razmišljanja (reasoning effort) odnone, dok modeli GPT-5.6 prema zadanim postavkama razmišljaju (medium). Pozivi koji postavljaju ove parametre stoga moraju specificiratireasoning={"effort": "none"}(Responses API) ilireasoning_effort="none"(Chat Completions). Izvori: Korištenje GPT-6 · GPT-5.6 Terra.
Ažuriranje 2. studenoga 2026. — Evals platforma. OpenAI je najavio gašenje svoje Evals platforme: postojeće evaluacije su samo za čitanje od 31. listopada 2026., a nadzorna ploča zajedno s API-jem zatvorit će se 30. studenoga 2026., uključujući ocjenjivače. OpenAI je objavio vodič za migraciju na Promptfoo. Načela evaluacije u ovoj lekciji ostaju valjana; mijenja se samo alat.
Zašto moraš sustavno evaluirati
Ne možeš poboljšati ono što ne mjeriš. Kada promijeniš upit (prompt), model ili parametar, kako znaš da se kvaliteta stvarno poboljšala? Spontana metoda je isprobati tri ili četiri primjera, pronaći bolje odgovore i objaviti promjene. To redovito ne uspijeva jer su testirani primjerci upravo oni koji su prošlog tjedna izazivali probleme: mjeriš poboljšanje tamo gdje si ga tražio, a propuštaš regresije uvedene u slučajevima koji su već radili.
Evaluacije (evals) pretvaraju tu intuiciju u objektivnu mjeru. Do 2026. godine OpenAI je nudio integriranu platformu za to, Evals; ona je od 31. listopada 2026. samo za čitanje i zatvara se 30. studenoga. OpenAI sada preporučuje Promptfoo, alat otvorenog koda za evaluaciju i „red teaming“. Dobra vijest je da oba dijele iste gradivne blokove — podatke za testiranje, upite, modele i kriterije bodovanja. Ono što ovdje naučiš u Python kodu izravno se prenosi, a završni dio lekcije pokazuje prelazak na Promptfoo.
Tri koncepta strukturiraju cijeli proces. Skup podataka (dataset) je skup testnih slučajeva s ulazima i očekivanim izlazima: to je tvoja referenca, ekvivalent nizu jediničnih testova. Ocjenjivač (grader) je kriterij evaluacije — točno podudaranje, LLM kao sudac, bodovanje — koji odlučuje je li dani odgovor dobar. Pokretanje (run) je izvršenje evaluacije na skupu podataka s određenim modelom i upitom; to je jedinica koju uspoređuješ od jedne verzije do druge.
Izgradi skup podataka koji odražava stvarni svijet
Testni slučaj sastoji se od ulaza, očekivanog izlaza i metapodataka. Potonji nisu dekorativni: oni su ono što će ti omogućiti da naknadno shvatiš kako ukupni rezultat od 87 % skriva kolaps u kategoriji „kod“, kompenziran izvrsnim rezultatima u geografiji. Bez kategorije ili težine imaš samo agregirani broj, a agregirani broj nikada ne govori gdje trebaš intervenirati.
import json
# A dataset is a list of test cases
dataset = [
{
"input": "What is the capital of France?",
"expected": "Paris",
"metadata": {"category": "geography", "difficulty": "easy"},
},
{
"input": "Explain Bayes' theorem in one sentence.",
"expected": "Bayes' theorem calculates the probability "
"of an event based on known conditional probabilities.",
"metadata": {"category": "mathematics", "difficulty": "medium"},
},
{
"input": "Write a Python function that reverses a list.",
"expected": "def reverse_list(lst): return lst[::-1]",
"metadata": {"category": "code", "difficulty": "easy"},
},
]
# Save as JSONL
with open("eval_dataset.jsonl", "w") as f:
for case in dataset:
f.write(json.dumps(case, ensure_ascii=False) + "\n")
Skup podataka izmišljen u uredu evaluira tvoju maštu, a ne tvoju aplikaciju. Tvoji korisnici formuliraju svoje zahtjeve drugačije nego ti: tipfelere, nedovršena pitanja, implicitni kontekst. Najbolji izvor testnih slučajeva su stoga tvoji vlastiti produkcijski podaci, pod uvjetom da ljudski validator potvrdi referentne odgovore — inače zamrzavaš trenutne pogreške kao normu.
import openai
import random
client = openai.OpenAI()
def create_dataset_from_logs(
production_logs: list[dict],
sample_size: int = 100,
) -> list[dict]:
"""Creates an evaluation dataset from production logs."""
# Sample
sample = random.sample(
production_logs,
min(sample_size, len(production_logs)),
)
dataset = []
for log in sample:
dataset.append({
"input": log["prompt"],
"expected": log["validated_response"], # Response validated by a human
"metadata": {
"source": "production",
"date": log["date"],
"original_model": log["model"],
},
})
return dataset
Odaberi pravog ocjenjivača
Ocjenjivač točnog podudaranja (exact match) najstroži je i najbrži. Odgovara samo zadacima gdje je izlaz ograničen: klasifikacija u tri kategorije, ekstrakcija broja računa, odgovor da/ne. Korišten na slobodnom tekstu, dao bi nulu savršenom odgovoru koji je jednostavno formuliran drugačije od reference.
def exact_grader(response: str, expected: str) -> dict:
"""Evaluates if the response matches exactly."""
score = 1.0 if response.strip().lower() == expected.strip().lower() else 0.0
return {"score": score, "type": "exact"}
Ocjenjivač uključenosti (inclusion grader) opušta ograničenje: provjerava prisutnost očekivanih ključnih riječi i vraća djelomični rezultat. To je pravi alat za odgovore koji moraju pokriti obavezne točke bez da je formulacija bitna — npr. odgovor podrške koji mora spomenuti rok za odustanak i adresu za povrat. Njegova slabost je dobro poznata: tekst koji sadrži prave riječi u apsurdnom redoslijedu dobio bi savršen rezultat.
def inclusion_grader(response: str, keywords: list[str]) -> dict:
"""Checks that the response contains the expected keywords."""
response_lower = response.lower()
found = sum(1 for word in keywords if word.lower() in response_lower)
score = found / len(keywords) if keywords else 0.0
return {
"score": score,
"found": found,
"total": len(keywords),
"type": "inclusion",
}
Zatim tu je najmoćniji: drugi LLM evaluira kvalitetu odgovora. Ocjenjivač „LLM-as-Judge“ cijeni ono što nijedno mehaničko pravilo ne može — jasnoću, potpunost, točnost tona. Dva detalja implementacije čine ga praktičnim. Prvo, temperature=0.0: bez toga bi isti sudac dodijelio različite bodove istom odgovoru od jednog pokretanja do drugog, a tvoja referentna vrijednost izgubila bi svaku usporednu vrijednost. Drugo, sigurnosna kopija za json.JSONDecodeError: sudac koji komentira umjesto da vraća JSON ne bi smio srušiti cijelu kampanju.
def llm_judge_grader(
question: str,
response: str,
expected: str,
criteria: str = "accuracy, completeness, clarity",
) -> dict:
"""Uses an LLM to evaluate response quality."""
judge_prompt = f"""Rate the quality of this response on a scale of 1 to 5.
Question: {question}
Expected Response: {expected}
Response to Evaluate: {response}
Criteria: {criteria}
Respond ONLY with JSON:
{{"score": <1-5>, "justification": "<short explanation>"}}"""
response_obj = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature requires effort none
input=judge_prompt,
temperature=0.0,
)
import json
try:
result = json.loads(response_obj.output_text)
result["normalized_score"] = result["score"] / 5.0
return result
except json.JSONDecodeError:
return {"score": 0, "justification": "Parsing error", "normalized_score": 0}
Sastavi potpunu evaluaciju
Orkestracija ne predstavlja konceptualnu poteškoću: iteriraš kroz skup podataka, pozivaš model sa sistemskim upitom za testiranje, primjenjuješ ocjenjivača i agregiraš rezultate. Zanimljiva je točka što funkcija bodovanja dolazi kao parametar, što ti omogućuje ponovno pokretanje istog skupa podataka s različitim kriterijima ovisno o kampanji — uključenost za brzu provjeru tijekom razvoja, LLM sudac za validaciju prije produkcije.
async def run_eval(
dataset: list[dict],
model: str,
system_prompt: str,
grader_fn,
) -> dict:
"""Runs a full evaluation on a dataset."""
results = []
for case in dataset:
response = client.responses.create(
model=model,
instructions=system_prompt,
input=case["input"],
)
score = grader_fn(response.output_text, case["expected"])
results.append({
"input": case["input"],
"expected": case["expected"],
"obtained": response.output_text,
**score,
})
# Calculate aggregated metrics
scores = [r["score"] for r in results if "score" in r]
return {
"model": model,
"num_cases": len(dataset),
"average_score": sum(scores) / len(scores) if scores else 0,
"min_score": min(scores) if scores else 0,
"max_score": max(scores) if scores else 0,
"results": results,
}
Izvještaj zadržava min_score i detalje svakog slučaja, i to namjerno. Prosjek ti govori napreduješ li; slučajevi s najlošijim rezultatom govore ti zašto. Napravi naviku čitati pet najlošijih odgovora iz svakog pokretanja prije nego što komentiraš prosjek: tamo ćeš, a rijetko drugdje, pronaći sljedeći popravak koji trebaš napraviti.
Industrializiraj s Promptfoom
Ručno pisanje evaluacija u Pythonu je edukativno; njihovo održavanje tijekom vremena udobnije je uz namjenski alat. OpenAIjev vodič za migraciju opisuje logiku Promptfooa: evaluacija živi u konfiguracijskoj datoteci, promptfooconfig.yaml, koja objedinjuje upite, model(e), testne slučajeve i kriterije — ovdje zvane tvrdnje (assertions). Pokreće se iz naredbenog retka, lokalno ili u tvojoj kontinuiranoj integraciji, i živi uz kod aplikacije.
description: Support ticket classification
prompts:
- "Classify this ticket into a single category (billing, technical, account): {{ticket}}"
providers:
- openai:gpt-6.1-sol
tests:
- vars:
ticket: "My card was charged twice this month."
assert:
- type: icontains
value: billing
- vars:
ticket: "The app crashes when I open a PDF."
assert:
- type: icontains
value: technical
promptfoo eval -c promptfooconfig.yaml --no-cache
promptfoo view
promptfoo validate config -c promptfooconfig.yaml # in case of configuration error
Ocjenjivači iz ove lekcije ponovno se pojavljuju kao tvrdnje: točno podudaranje, uključenost ključnih riječi i prosudba modela. OpenAI upozorava na posljednju točku: recreated grader, posebno LLM sudac, mora se ponovno validirati prije nego što se koristi za donošenje odluke o regresiji, jer bodovi neće nužno biti identični od jednog alata do drugog.
Ključne točke
- Evals pretvaraju intuiciju u objektivnu mjeru kvalitete
- Stvori svoje skupove podataka iz stvarnih produkcijskih slučajeva, validiranih od strane čovjeka
- Odaberi ocjenjivača na temelju zadatka: točan za ograničene, uključenost za obavezne točke, LLM-as-Judge za nijanse
- Postavi
temperature=0.0na sucu kako bi bodovi bili reproducibilni - Pokreni evals prije svake promjene upita ili modela
- OpenAIjeva Evals platforma zatvara se 30. studenoga 2026.: Promptfoo, koji preporučuje OpenAI, preuzima skupove podataka, upite, modele i kriterije u konfiguracijskoj datoteci