Johdanto havainnoitavuuteen: jäljitykset, tuomarit ja arvioinnit
Tällä sivulla
Kirjoitettu uudelleen 2. marraskuuta 2026 perustuen Mistralin Observability-dokumentaatioon ja
mistralaiSDK:n versioon 3.7.0: havainnoitavuus perustuu nyt Studio-alustalla tarkasteltaviin OpenTelemetry-jäljityksiin, LLM-tuomareihin ja offline-arviointeihin (mistralai-evaluations). Aiempien oppituntien “Campaigns” jachat_completion_events-rajapinnat eivät ole enää käytössä. Lähteet: Distributed tracing · Offline evaluations.
Miksi havainnoitavuus on välttämätöntä
Tavanomaiset kojelautasi – kuten vasteajat, virheprosentit ja saatavuus – voivat näyttää vihreältä, vaikka avustajasi antaisi epäoleellisia vastauksia, keksisi toimintatapoja tai muuttaisi sävyään kehote päivityksen jälkeen. Tuotannossa oleva LLM epäonnistuu harvoin poikkeuksella; se epäonnistuu tarjoamalla väärän vastauksen täysin varmasti. LLM-havainnoitavuus tekee nämä epäonnistumiset näkyviksi, mitattaviksi ja korjattaviksi.
Havainnoitavuuden kolme pilaria
1. Näkyvyys – näe, mitä tapahtuu
Jokainen sovelluksesi pyyntö muuttuu jäljitykseksi (trace): se on spaneista koostuva puu, joka edustaa jokaista suorituksen vaihetta – mallikutsu, työkalukutsu, työnkulun vaihe – yhdessä syötteen, tulosteen, keston, token-määrän ja tilan kanssa. Nämä jäljitykset noudattavat OpenTelemetry-standardia, ja Studion Explorer-työkalun avulla voit hakea ja tarkastella niitä.
2. Laatusignaalit – mittaa automaattisesti
Tuhansien keskustelujen manuaalinen tarkastelu on mahdotonta. Tuomarit (judges) ovat LLM-pohjaisia arvioijia, jotka määrität kerran (ohjeet, malli ja tulostemuoto) ja sovellat sitten keskusteluihin tai datajoukon tallenteisiin saadaksesi luokituksen tai pisteytyksen.
3. Iterointisilmukat – paranna jatkuvasti
Datajoukot (datasets) keräävät testitapauksia, jotka on usein poimittu todellisista jäljityksistä. Offline-arvioinnit mittaavat sovelluksesi version – mallin, kehotteen, parametrit – näitä vastaan ennen käyttöönottoa. Vertaat versioita, pidät parhaan ja toistat prosessin.
Neljä komponenttia
| Komponentti | Rooli | Vertauskuva |
|---|---|---|
| Jäljitykset ja Explorer | Kerää, hae ja tarkastele toimintaa | APM tekoälylle |
| Tuomarit | Arvioi laatua automaattisesti | Väsymätön arvostelija |
| Datajoukot | Tallenna testitapauksia | Regression testauspaketti |
| Arvioinnit | Mittaa versio datajoukkoa vasten | CI tekoälyn laadulle |
Edellytykset ja tila
Pidä mielessäsi kolme asiaa ennen aloittamista:
- Tila: Mistralin havainnoitavuus on Private Preview -vaiheessa, ja sen SDK-integraatio muuttuu nopeasti. Mistral suosittelee käyttämään SDK:n uusinta versiota.
- Jäljitysten lähetys vaatii vain voimassa olevan API-avaimen. Jäljitys on oletuksena pois käytöstä ja se on otettava käyttöön erikseen jokaiselle lähteelle (käsitellään seuraavassa oppitunnissa).
- Jäljitysten lukeminen Studiossa vaatii Enterprise-organisaation ja sopivan roolin (Org Admin, Workspace Admin tai Observability Viewer). Myös offline-arvioinnit ja spanien lisääminen datajoukkoon ovat rajoitettuja Enterprise-organisaatioille. Jäljityksiä säilytetään 30 päivää.
Jos organisaatiollasi ei vielä ole pääsyä, tämä osio on silti ajankäyttösi arvoinen: käsitteet – jäljitys, tuomarointi, testijoukkojen rakentaminen ja arviointi ennen käyttöönottoa – pätevät mihin tahansa OpenTelemetry-työkaluun.
Tyypillinen työnkulku
Komponentit muodostavat jatkuvan silmukan:
- Jäljitä ja tutki – Instrumentoi sovelluksesi ja käytä Exploreria havaitsemaan ongelmallisia jäljityksiä (virheet, hitaus, kyseenalaiset vastaukset).
- Tuomaroi – Luo tuomari, joka formalisoi relevantin laatukriteerin.
- Rakenna datajoukko – Muuta todelliset spanit testitapauksiksi.
- Arvioi – Mittaa nykyistä versiota ja sen jälkeen jokaista variaatiota tätä datajoukkoa vasten.
Jokainen sykli vie sinut lähemmäs luotettavampaa ja paremmin kalibroitua järjestelmää.
Keskeiset asiat
- LLM-havainnoitavuus paljastaa epäonnistumiset, jotka jäävät tavanomaiselta valvonnalta huomaamatta: huonot vastaukset.
- OpenTelemetry-jäljitykset (ja niiden Explorer), tuomarit, datajoukot ja offline-arvioinnit muodostavat parantamisen silmukan.
- Mistralin havainnoitavuus on Private Preview -vaiheessa; jäljitysten lähettäminen vaatii vain API-avaimen, kun taas jäljitysten lukeminen ja offline-arviointien suorittaminen vaativat Enterprise-organisaation.
- Jäljityksiä säilytetään 30 päivää.