Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Johdanto havainnoitavuuteen: jäljitykset, tuomarit ja arvioinnit

Oppitunti 11 / 16 Päivitetty 2. marraskuuta 2026 Edistynyt
Tällä sivulla
  1. Miksi havainnoitavuus on välttämätöntä
  2. Havainnoitavuuden kolme pilaria
  3. Neljä komponenttia
  4. Edellytykset ja tila
  5. Tyypillinen työnkulku
  6. Keskeiset asiat

Kirjoitettu uudelleen 2. marraskuuta 2026 perustuen Mistralin Observability-dokumentaatioon ja mistralai SDK:n versioon 3.7.0: havainnoitavuus perustuu nyt Studio-alustalla tarkasteltaviin OpenTelemetry-jäljityksiin, LLM-tuomareihin ja offline-arviointeihin (mistralai-evaluations). Aiempien oppituntien “Campaigns” ja chat_completion_events -rajapinnat eivät ole enää käytössä. Lähteet: Distributed tracing · Offline evaluations.

Miksi havainnoitavuus on välttämätöntä

Tavanomaiset kojelautasi – kuten vasteajat, virheprosentit ja saatavuus – voivat näyttää vihreältä, vaikka avustajasi antaisi epäoleellisia vastauksia, keksisi toimintatapoja tai muuttaisi sävyään kehote päivityksen jälkeen. Tuotannossa oleva LLM epäonnistuu harvoin poikkeuksella; se epäonnistuu tarjoamalla väärän vastauksen täysin varmasti. LLM-havainnoitavuus tekee nämä epäonnistumiset näkyviksi, mitattaviksi ja korjattaviksi.

Havainnoitavuuden kolme pilaria

1. Näkyvyys – näe, mitä tapahtuu

Jokainen sovelluksesi pyyntö muuttuu jäljitykseksi (trace): se on spaneista koostuva puu, joka edustaa jokaista suorituksen vaihetta – mallikutsu, työkalukutsu, työnkulun vaihe – yhdessä syötteen, tulosteen, keston, token-määrän ja tilan kanssa. Nämä jäljitykset noudattavat OpenTelemetry-standardia, ja Studion Explorer-työkalun avulla voit hakea ja tarkastella niitä.

2. Laatusignaalit – mittaa automaattisesti

Tuhansien keskustelujen manuaalinen tarkastelu on mahdotonta. Tuomarit (judges) ovat LLM-pohjaisia arvioijia, jotka määrität kerran (ohjeet, malli ja tulostemuoto) ja sovellat sitten keskusteluihin tai datajoukon tallenteisiin saadaksesi luokituksen tai pisteytyksen.

3. Iterointisilmukat – paranna jatkuvasti

Datajoukot (datasets) keräävät testitapauksia, jotka on usein poimittu todellisista jäljityksistä. Offline-arvioinnit mittaavat sovelluksesi version – mallin, kehotteen, parametrit – näitä vastaan ennen käyttöönottoa. Vertaat versioita, pidät parhaan ja toistat prosessin.

Neljä komponenttia

Komponentti Rooli Vertauskuva
Jäljitykset ja Explorer Kerää, hae ja tarkastele toimintaa APM tekoälylle
Tuomarit Arvioi laatua automaattisesti Väsymätön arvostelija
Datajoukot Tallenna testitapauksia Regression testauspaketti
Arvioinnit Mittaa versio datajoukkoa vasten CI tekoälyn laadulle

Edellytykset ja tila

Pidä mielessäsi kolme asiaa ennen aloittamista:

  • Tila: Mistralin havainnoitavuus on Private Preview -vaiheessa, ja sen SDK-integraatio muuttuu nopeasti. Mistral suosittelee käyttämään SDK:n uusinta versiota.
  • Jäljitysten lähetys vaatii vain voimassa olevan API-avaimen. Jäljitys on oletuksena pois käytöstä ja se on otettava käyttöön erikseen jokaiselle lähteelle (käsitellään seuraavassa oppitunnissa).
  • Jäljitysten lukeminen Studiossa vaatii Enterprise-organisaation ja sopivan roolin (Org Admin, Workspace Admin tai Observability Viewer). Myös offline-arvioinnit ja spanien lisääminen datajoukkoon ovat rajoitettuja Enterprise-organisaatioille. Jäljityksiä säilytetään 30 päivää.

Jos organisaatiollasi ei vielä ole pääsyä, tämä osio on silti ajankäyttösi arvoinen: käsitteet – jäljitys, tuomarointi, testijoukkojen rakentaminen ja arviointi ennen käyttöönottoa – pätevät mihin tahansa OpenTelemetry-työkaluun.

Tyypillinen työnkulku

Komponentit muodostavat jatkuvan silmukan:

  1. Jäljitä ja tutki – Instrumentoi sovelluksesi ja käytä Exploreria havaitsemaan ongelmallisia jäljityksiä (virheet, hitaus, kyseenalaiset vastaukset).
  2. Tuomaroi – Luo tuomari, joka formalisoi relevantin laatukriteerin.
  3. Rakenna datajoukko – Muuta todelliset spanit testitapauksiksi.
  4. Arvioi – Mittaa nykyistä versiota ja sen jälkeen jokaista variaatiota tätä datajoukkoa vasten.

Jokainen sykli vie sinut lähemmäs luotettavampaa ja paremmin kalibroitua järjestelmää.

Keskeiset asiat

  • LLM-havainnoitavuus paljastaa epäonnistumiset, jotka jäävät tavanomaiselta valvonnalta huomaamatta: huonot vastaukset.
  • OpenTelemetry-jäljitykset (ja niiden Explorer), tuomarit, datajoukot ja offline-arvioinnit muodostavat parantamisen silmukan.
  • Mistralin havainnoitavuus on Private Preview -vaiheessa; jäljitysten lähettäminen vaatii vain API-avaimen, kun taas jäljitysten lukeminen ja offline-arviointien suorittaminen vaativat Enterprise-organisaation.
  • Jäljityksiä säilytetään 30 päivää.