Introduzzjoni għall-Osservabbiltà: Traċċi, Imħallfin u Evalwazzjonijiet
F'din il-paġna
Miktub mill-ġdid fit-2 ta’ Novembru 2026 abbażi tad-dokumentazzjoni Observability ta’ Mistral u l-SDK
mistralai3.7.0: l-osservabbiltà issa tiddependi fuq it-traċċi OpenTelemetry esplorati fi Studio, imħallfin LLM, u evalwazzjonijiet offline (mistralai-evaluations*). Il-"Campaigns" u l-APIchat_completion_events` minn lezzjonijiet preċedenti ma jeżistux aktar. Sorsi: Distributed tracing · Offline evaluations.
Għaliex l-Osservabbiltà Hija Essenzjali
Id-dashboards standard tiegħek—latenza, rati ta’ żball, disponibbiltà—jistgħu jibqgħu ħodor filwaqt li assistent jagħti tweġibiet mhux rilevanti, jinventa proċeduri, jew ibiddel it-ton wara aġġornament tal-prompt. LLM fil-produzzjoni rari jonqos b’eċċezzjoni; jonqos billi jservi tweġiba ħażina b’kunfidenza. L-osservabbiltà tal-LLM tagħmel dawn il-fallimenti viżibbli,kejblabbli u fissabbli.
It-Tliet Pilastri tal-Osservabbiltà
1. Viżibbiltà—Ara X’Qed Jiġri
Kull talba mill-applikazzjoni tiegħek issir traċċa: siġra ta’ spans li jirrappreżentaw kull pass tal-eżekuzzjoni—sejħa tal-mudell, sejħa ta’ għodda, pass tal-fluss tax-xogħol—flimkien mal-input, l-output, it-tul, in-numru ta’ tokens u l-istatus tagħha. Dawn it-traċċi jsegwu l-istandard OpenTelemetry, u l-Explorer ta’ Studio jippermettilek tfittxihom u teħmilhom inspezzjoni.
2. Sinjali tal-Kwalità—Kejjel Awtomatikament
Li tirrevedi eluf ta’ konversazzjonijiet manwalment huwa impossibbli. L-Imħallfin huma evalwaturi bbażati fuq LLM li tikkonfigura darba biss—b’istruzzjonijiet, mudell, u format tal-output—u mbagħad tapplika għal konversazzjonijiet jew reġistrazzjonijiet ta’ datasets biex tikseb tikketta jew punteġġ.
3. Ċikli ta’ Iterazzjoni—Tejjeb Kontinwament
Id-Datasets jiġbru każijiet ta’ test, spiss miġbuda minn traċċi reali, u l-evalwazzjonijiet offline ikejlu verżjoni tal-applikazzjoni tiegħek—mudell, prompt, parametri—kontra dawn qabel id-distribuzzjoni. Int tqabbel il-verżjonijiet, iżżomm l-aħjar waħda, u terġa’ tibda.
L-Erba’ Komponenti
| Komponent | Rwol | Analoġija |
|---|---|---|
| Traċċi u Explorer | Iġbor, fittex u spezzjona l-attività | APM għall-AI |
| Imħallfin | Evalwa l-kwalità awtomatikament | Reviżur li ma jgħejix |
| Datasets | Aħżen każijiet ta' test | Suite ta' testijiet tar-regressjoni |
| Evalwazzjonijiet | Kejjel verżjoni kontra dataset | CI għall-kwalità tal-AI |
Prerekwiżiti u Status
Żomm f’moħħok tliet punti qabel ma tibda:
- Status: L-osservabbiltà ta’ Mistral tinsab f’Private Preview, u l-integrazzjoni tal-SDK tagħha tinbidel malajr. Mistral tirrakkomanda li tuża l-aħħar verżjoni tal-SDK.
- L-ibgħat ta’ traċċi jeħtieġ biss API key valida. It-traċċar huwa diżattivat b’mod predefinit u jrid jiġi attivat għal kull sors (kopert fil-lezzjoni li jmiss).
- Il-qari ta’ traċċi fi Studio jeħtieġ organizzazzjoni Enterprise u rwol xieraq (Org Admin, Workspace Admin, jew Observability Viewer). L-evalwazzjonijiet offline u ż-żieda ta’ spans f’dataset huma limitati wkoll għal organizzazzjonijiet Enterprise. It-traċċi jinżammu għal 30 jum.
Jekk l-organizzazzjoni tiegħek għadha m’għandhiex aċċess, din it-taqsima xorta taqbel ħinek: il-kunċetti—it-traċċar, il-ġudizzju, il-bini ta’ settijiet ta’ test, u l-evalwazzjoni qabel id-distribuzzjoni—japplikaw għal kwalunkwe għodda OpenTelemetry.
Il-Fluss tax-Xogħol Tipiku
Il-komponenti jiffurmaw ċiklu kontinwu:
- Traċċa u esplora—Strumenta l-applikazzjoni tiegħek, imbagħad uża l-Explorer biex tindividwa traċċi problematiċi (żbalji, bil-mod, tweġibiet dubjużi)
- Imħallef—Oħloq imħallef li jifformalizza l-kriterju tal-kwalità rilevanti
- Bni dataset—Ibdel spans reali f’każijiet ta’ test
- Evalwa—Kejjel il-verżjoni kurrenti, u mbagħad kull varjant, kontra dan id-dataset
Kull ċiklu jqarrebek lejn sistema aktar affidabbli u kkaliibrata aħjar.
Punti Ewlenin
- L-osservabbiltà tal-LLM tikxef fallimenti li l-monitoraġġ standard jitlifhom: tweġibiet ħżiena
- It-traċċi OpenTelemetry (u l-Explorer tagħhom), l-imħallfin, id-datasets u l-evalwazzjonijiet offline jiffurmaw iċ-ċiklu ta’ titjib
- L-osservabbiltà ta’ Mistral tinsab f’Private Preview; l-ibgħat ta’ traċċi jeħtieġ biss API key, filwaqt li l-qari ta’ traċċi u t-tħaddim ta’ evalwazzjonijiet offline jeħtieġu organizzazzjoni Enterprise
- It-traċċi jinżammu għal 30 jum