Putki päästä päähän: jäljet, arvioijat, aineistot, arvioinnit
Tällä sivulla
Oppitunti kirjoitettu uudelleen 2. marraskuuta 2026 Mistralin Observability-dokumentaation ja
mistralaiSDK:n version 3.7.0 perusteella: putki ketjuttaa nyt jäljet, arvioijat, aineistot ja offline-arvioinnit. Edellisen version “Campaigns”-ominaisuus sekächat_completion_events.search,campaigns.*jaimport_from_explorer-metodit eivät ole enää olemassa. Lähteet: Tutki jälkiä · Offline-arvioinnit.
Havainnoitavuuden end-to-end-työnkulku
Olet nyt hallinnut Mistralin havainnoitavuuspaketin jokaisen komponentin. Tämä viimeinen oppitunti kokoaa palaset yhteen täydelliseksi putkeksi, jonka voit toistaa ja mukauttaa omaan tuotantoympäristöösi.
Jäljitä ja tutki
Ota telemetria käyttöön ja suodata sitten viimeisen 7 päivän jäljet Explorerissa: virheet, hitaudet, epäilyttävät vastaukset. Kirjoita hakulauseke muistiin.
Arvioi (Judge)
Muotoile kyseessä oleva laatukriteeri arvioijaksi (luokittelu tai regressio) ja validoi se 10–20 tunnetulla tapauksella.
Rakenna aineisto
Muunna ongelmalliset spanit tietueiksi, joissa odotettu tuloste on korjattu manuaalisesti.
Arvioi (Evaluate)
Mittaa nykyinen versio ja sen jälkeen jokainen variaatio tätä aineistoa vasten asettamalla PASS/FAIL-tavoitteet.
Iteroi
Ota käyttöön voittava variaatio, säilytä aineisto regressiosuojauksena ja toista prosessi.
Python-toteutus
Alla oleva skripti automatisoi vaiheet 1, 3 ja 4; vaiheen 2 arvioija luodaan kerran, kuten oppitunnissa 13. Kaksi asiakasta toimii rinnakkain: mistralai SDK -asiakas jälkiä ja aineistoja varten sekä mistralai-evaluations -asiakas arviointia varten.
import asyncio
import os
from datetime import datetime, timedelta, timezone
from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations
key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)
# 1. Tunnista epäonnistuneet jäljet viikon ajalta
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
from_=now - timedelta(days=7),
to=now,
search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
print(trace.trace_id, trace.root_span_name)
# 3. Lisää manuaalisesti tarkistetut ja korjatut tapaukset aineistoon
corrected_cases = [
{"ticket": "Payment refused even though my card is valid.", "category": "billing"},
{"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
name="Support incidents — week 44",
description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)
# 4. Arvioi ehdokasversio (tehtävä ja tarkkuus: katso oppitunti 14)
async def main():
run = await evaluations.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Week 44 non-regression"),
system=System(name="medium-prompt-v2", params={
"model": "mistral-medium-latest",
"system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
}),
dataset=Dataset(id=dataset.id),
task=task,
evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
)
run.show(level="records")
asyncio.run(main())
Kun tämä skripti ajetaan viikoittain, se kasvattaa regressiotestausaineistoa todellisilla tapahtumilla, ja jokaisen ehdokasversion on täytettävä tavoitteensa tässä aineistossa ennen käyttöönottoa.
Kurssin yhteenveto
Tämä kurssi on ohjannut sinut läpi neljän keskeisen alueen tekoälyn tuotannossa Mistralilla:
Batch-päättely (Oppitunnit 1–4)
Osaat käsitellä miljoonia pyyntöjä alennetuin kustannuksin käyttämällä JSONL-muotoa, tiedostojen batchausta ja inline-batchausta.
Ennustetut tulosteet (Oppitunnit 5–7)
Osaat vähentää generoinnin viivettä tarjoamalla tulosteen ennusteen, erityisesti koodin ja tekstin muokkaamisessa.
Lähdeviitteet ja referenssit (Oppitunnit 8–10)
Osaat ankkuroida LLM:n vastaukset varmennettuihin lähteisiin, jäsentää lähdeviitteet ja rakentaa luotettavia RAG-putkia.
Havainnoitavuus (Oppitunnit 11–16)
Osaat jäljittää sovelluksesi OpenTelemetryllä, tutkia tuotantojälkiä, automatisoida laadunarvioinnin arvioijilla, rakentaa aineistoja ja mitata jokaista versiota offline-arvioinneilla.
Suositellut seuraavat askeleet
Paras tapa lujittaa nämä taidot on soveltaa niitä siinä järjestyksessä, joka hyödyttää tuotantoympäristöäsi eniten. Aloita ottamalla käyttöön batch-putki konkreettisessa käyttötapauksessa organisaatiossasi – esimerkiksi kuukausittainen luokittelu tai luettelon rikastaminen – sillä se on nopein tapa osoittaa hyöty. Seuraavaksi integroi ennustetut tulosteet kaikkialle, missä työkalusi muokkaavat olemassa olevaa koodia tai dokumentteja: viiveen väheneminen on mitattavissa päivissä. Lisää lähdeviitteet RAG-järjestelmääsi heti, kun käyttäjät luottavat sen vastauksiin tehdessään päätöksiä. Lopuksi havainnoitavuus alkaa jälkien lähettämisellä, mikä on mahdollista pelkällä API-avaimella; Explorer ja offline-arvioinnit vaativat Enterprise-organisaation. Nimenomaan Enterprise-taso muuttaa kolme ensimmäistä aloitetta jatkuvaksi parantamis sykliksi eikä vain kertaluonteisiksi käyttöönotoiksi.
Keskeiset asiat
- Putki noudattaa silmukkaa: jäljitä ja tutki, arvioi (judge), rakenna aineisto, arvioi (evaluate), iteroi
- Jokainen tuotantotapahtuma voi muuttua testitapaukseksi, ja jokaisen ehdokasversion on täytettävä tavoitteensa
- Automatisoi silmukka SDK:n avulla (
traces.search,datasets.create_record,evaluation.run) ja aja se säännöllisin väliajoin - Tämän kurssin neljä aluetta (batch, ennustetut tulosteet, lähdeviitteet, havainnoitavuus) täydentävät toisiaan vankan tekoälyn tuotannon aikaansaamiseksi
Testaa tietämyksesi
Batch, viive, lähdeviitteet, havainnoitavuus: tuotannon neljä pilaria.
1. Milloin Batch-päättely on oikea valinta?
Vastaus: Suurille volyymeille, joissa ei ole reaaliaikavaatimuksia: asynkroniset JSONL-työt (tai inline aina 10 000 pyyntöön asti) alennetuin kustannuksin – luokittelu, rikastaminen, massagenerointi.
2. Mitä ovat ennustetut tulosteet?
Vastaus: Kiihdytys silloin, kun vastaus on pitkälti ennustettavissa (olemassa olevan tekstin muokkaus, mallipohjat): tarjoat ennusteen, ja malli “maksaa” vain eroista – viive laskee merkittävästi.
3. Mihin lähdeviitteet Reference Objectin kanssa mahdollistavat?
Vastaus: Jokaisen vastauksen väittämän linkittämisen sen lähteisiin RAG-järjestelmässä: varmennettavat vastaukset, hallusinaatioiden väheneminen – luottamuksesta tulee tuoteominaisuus.
4. Mitä teet Explorerissa?
Vastaus: Etsit ja tarkastelet tuotantojälkiä käyttämällä kielilauseketta kohteille service_name, status_code, duration_ns tai span-attribuutit löytääksesi ongelmallisia pyyntöjä, ja muutat ne sitten testitapauksiksi: raaka-aineeksi kaikelle parantamiselle.
5. Miten arvioijat, aineistot ja arvioinnit toimivat yhdessä?
Vastaus: Arvioijat arvioivat automaattisesti (LLM-as-judge), aineistot kerryttävät tuotannosta poimittuja testitapauksia, ja offline-arvioinnit mittaavat jokaista versiota näitä aineistoja vasten PASS/FAIL-tavoitteilla – silmukka jälki → arvioija → rakenna → arvioi.
Kurssin viimeinen putki ketjuttaa kaikki neljä yhteen: tuota taloudellisesti, vastaa nopeasti, perustele vastaukset, havainnoi – kypsä tuotanto yhdessä työnkulussa.