Datasæt: Opret evalueringssæt og iterér
På denne side
Lektion omskrevet den 2. november 2026 baseret på Mistral-siden Datasets og
mistralaiSDK 3.7.0: En post indeholder en frit formateretpayloadogproperties; datasæt fyldes via manuel indtastning, filimport eller spans fra Explorer og videregives uændret til offline-evalueringer. Metodenimport_from_explorerfra den tidligere version findes ikke længere. Kilder: Datasets · Explore traces.
Det sidste led i iterationsløkken
Et datasæt er samlingen af testtilfælde, der driver en offline-evaluering. Det giver din kvalitetsproces hukommelse: Hver hændelse, du observerer i produktionen, kan blive til et testtilfælde, og hver ny version af applikationen måles op imod det. Uden et stabilt datasæt sammenligner du indtryk; med et sammenligner du tal.
Poststruktur
I Studio indeholder hver post en payload – et JSON-objekt, hvor du definerer nøglerne – og properties, som er metadata, der ikke sendes til den evaluerede opgave. Under en evaluering bliver payloaden til input-posten nøjagtig som den er (ctx.input_record).
{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}
Denne linje repræsenterer også JSONL-importformatet for Studio-datasæt: ét objekt pr. linje, der indeholder payload og properties.
Datakilder
Du kan fylde et datasæt på flere måder:
- Manuel indtastning, i Studio eller via API’en, post for post
- JSONL-filimport ved hjælp af formatet ovenfor
- Fra Explorer: En enkelt span eller op til 500 valgte spans bliver til poster (Lektion 12)
- Fra Studio Playground eller fra et andet datasæt
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets
# Opret datasættet
dataset = datasets.create(
name="Support tickets — reference set",
description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")
# Tilføj poster
cases = [
{"ticket": "I haven't been able to log in since this morning.", "category": "access"},
{"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
datasets.create_record(
dataset_id=dataset.id,
payload=payload,
properties={"origin": "manual entry"},
)
Ved store mængder importerer import_from_file en allerede uploadet JSONL-fil (via dens file_id), og import_from_spans indlæser trace-spans: Disse imports kører som baggrundsopgaver, og du kan følge deres fremdrift med fetch_task.
Gennemgang og eksport
list_records itererer gennem poster side for side (page_size, page), og export_to_jsonl genererer en eksport, hvis svar indeholder download-URL’en (file_url):
page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)
Evaluér på et Studio-datasæt
En offline-evaluering læser et Studio-datasæt via dets slug eller ID:
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project
run = await client.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Reference set"),
dataset=Dataset(slug="support-tickets-reference-set"),
task=tache,
evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)
Her er client evaluerings-SDK-klienten, og tache samt exactitude er defineret i Lektion 14. Send præcis én af slug eller id; valg af et datasæt via dets slug opretter aldrig et nyt. Husk to regler: En kørsel læser de poster, der findes ved opstart, op til 10.000 – et datasæt er ikke et øjebliksbillede, så ændringer påvirker kun efterfølgende kørsler – og hvis poster tilføjes eller fjernes under læsningen, fejler kørslen før start i stedet for at eksekvere på et inkonsistent sæt.
Bedste praksis for styring
Behold et stabilt referencesæt. Et datasæt, der ændrer sig ved hver kørsel, gør sammenligning umulig. Opret et referencesæt, som du kun ændrer bevidst, og vedligehold separate arbejdsdatasæt ved siden af det.
Fodret det fra produktionen. De mest nyttige tilfælde er dem, der faktisk har skabt problemer: En span fundet i Explorer, hvor du korrigerer det forventede output, er mere værd end ti opdigtede tilfælde.
Dokumentér oprindelse. properties (oprindelse, dato, relateret hændelse) ses ikke af opgaven, men de vil fortælle dig om seks måneder, hvorfor et tilfælde eksisterer.
Afbalancér dine data. Et datasæt, der kun indeholder lette tilfælde, smigrer dit system; et der kun indeholder faldgruber, modvirker det. Sig efter den faktiske fordeling af din trafik plus en håndfuld anerkendte randtilfælde.
Vigtige pointer
- En datasætpost = en
payload(opgaveinput) ogproperties(metadata) - Manuel indtastning, JSONL-import, Explorer-spans, Playground: Flere kilder til ét enkelt datasæt
- SDK’en eksponerer
create,create_record,import_from_file,import_from_spans,list_recordsogexport_to_jsonl - Evalueringer læser et datasæt via
Dataset(slug=...)ellerDataset(id=...), op til 10.000 poster - Et datasæt er ikke et øjebliksbillede: Behold et stabilt referencesæt for at sammenligne versioner