Pabeigts novērojamības cikls: izsekošana, vērtētāji, datu kopas, novērtējumi
Šajā lapā
Nodarbība pārrakstīta 2026. gada 2. novembrī, balstoties uz Mistral Observability dokumentāciju un
mistralaiSDK 3.7.0: cikls tagad secīgi savieno izsekošanu (traces), vērtētājus (judges), datu kopas un bezsaistes novērtējumus. Funkcija “Campaigns” un metodeschat_completion_events.search,campaigns.*unimport_from_explorerno iepriekšējās versijas vairs nepastāv. Avoti: Izpētīt izsekošanas datus · Bezsaistes novērtējumi.
Pabeigts novērojamības darbplūsmas cikls
Tagad tu esi apguvis katru Mistral novērojamības steka komponenti. Šajā noslēdzošajā nodarbībā mēs saliekam šos elementus vienotā pabeigtā ciklā, ko vari reproducēt un pielāgot savam ražošanas vidēm.
Izseko un izpēti
Aktivizē telemetriju, pēc tam filtrē izsekošanas datus pēdējo 7 dienu laikā, izmantojot Explorer: kļūdas, lēnumu, aizdomīgas atbildes. Pieraksti meklēšanas izteiksmi.
Vērtē
Formalizē attiecīgo kvalitātes kritēriju kā vērtētāju (klasifikācija vai regresija), validējot to uz 10 līdz 20 zināmiem gadījumiem.
Izveido datu kopu
Pārvērt problemātiskos segmentus (spans) ierakstos, manuāli labojot paredzamo izvadi.
Novērtē
Izmēri pašreizējo versiju un pēc tam katru variantu pret šo datu kopu, nosakot PASS/FAIL mērķus.
Iterē
Izvieto uzvarējušo variantu, saglabā datu kopu kā neregresijas drošības tīklu un atkārto procesu.
Implementācija Python valodā
Zemāk esošais skripts automatizē 1., 3. un 4. soli; 2. solim paredzētais vērtētājs tiek izveidots vienreiz, tāpat kā 13. nodarbībā. Līdzās pastāv divi klienti: mistralai SDK klients izsekošanai un datu kopām, un mistralai-evaluations klients novērtējumiem.
import asyncio
import os
from datetime import datetime, timedelta, timezone
from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations
key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)
# 1. Identificē neizdevušos izsekošanas datus no nedēļas
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
from_=now - timedelta(days=7),
to=now,
search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
print(trace.trace_id, trace.root_span_name)
# 3. Pievieno manuāli pārskatītus un labotus gadījumus datu kopai
corrected_cases = [
{"ticket": "Payment refused even though my card is valid.", "category": "billing"},
{"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
name="Support incidents — week 44",
description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)
# 4. Novērtē kandidāta versiju (uzdevums un precizitāte: skat. 14. nodarbību)
async def main():
run = await evaluations.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Week 44 non-regression"),
system=System(name="medium-prompt-v2", params={
"model": "mistral-medium-latest",
"system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
}),
dataset=Dataset(id=dataset.id),
task=task,
evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
)
run.show(level="records")
asyncio.run(main())
Izpildot šo skriptu reizi nedēļā, tu papildini neregresijas datu kopu ar reāliem incidentiem, un katrai kandidāta versijai pirms izvietošanas ir jāsasniedz savi mērķi šajā datu kopā.
Kursu kopsavilkums
Šis kurss tevi ir vadījis cauri četrām būtiskām jomām AI ražošanai ar Mistral:
Batch inference (1.–4. nodarbība)
Tu zini, kā apstrādāt miljoniem pieprasījumu par samazinātām izmaksām, izmantojot JSONL formātu, failu grupēšanu un tiešo grupēšanu (inline batching).
Prognozētās izvades (5.–7. nodarbība)
Tu zini, kā samazināt ģenerēšanas latentumu, nodrošinot izvades prognozi, it īpaši koda un teksta rediģēšanas gadījumos.
Citāti un atsauces (8.–10. nodarbība)
Tu zini, kā balstīt sava LLM atbildes verificētos avotos, parsēt citātus un veidot uzticamus RAG ciklus.
Novērojamība (11.–16. nodarbība)
Tu zini, kā izsekot savu lietotni ar OpenTelemetry, izpētīt ražošanas izsekošanas datus, automatizēt kvalitātes novērtējumu ar vērtētājiem, veidot datu kopas un izmērīt katru versiju, izmantojot bezsaistes novērtējumus.
Ieteicamie nākamie soļi
Labākais veids, kā nostiprināt šīs prasmes, ir pielietot tās secībā, kas visvairāk noderēs tavai ražošanas videi. Sāc ar batch cikla izvietošanu konkrētam lietojuma gadījumam savā organizācijā — ikmēneša klasifikācijai, kataloga bagātināšanai — jo tas ir ātrākais ieguvums, ko demonstrēt. Tālāk integrē prognozētās izvades tur, kur tavi rīki rediģē esošo kodu vai dokumentus: latentuma samazinājums būs izmērāms dažu dienu laikā. Pievieno citātus savai RAG sistēmai tiklīdz lietotāji paļaujas uz tās atbildēm, pieņemot lēmumus. Visbeidzot, novērojamība sākas ar izsekošanas datu nosūtīšanu, kas ir iespējams, izmantojot vienkāršu API atslēgu; Explorer un bezsaistes novērtējumiem ir nepieciešama Enterprise organizācija. Tieši Enterprise līmenis pārveidos pirmās trīs iniciatīvas nepārtrauktas uzlabošanas ciklā, nevis vienreizējos izvietojumos.
Galvenās atziņas
- Cikls seko šai shēmai: izseko un izpēti, vērtē, izveido datu kopu, novērtē, iterē.
- Katrs ražošanas incidents var kļūt par testa gadījumu, un katrai kandidāta versijai ir jāsasniedz savi mērķi.
- Automatizē ciklu, izmantojot SDK (
traces.search,datasets.create_record,evaluation.run), un izpildi to regulāros intervālos. - Šī kursa četras jomas (batch, prognozētās izvades, citāti, novērojamība) papildina viena otru, nodrošinot stabilu AI ražošanu.
Pārbaudi savas zināšanas
Batch, latentums, citāti, novērojamība: četri ražošanas pamatpīlāri.
1. Kad Batch Inference ir pareizā izvēle?
Atbilde: Lieliem apjomiem bez reāllaika ierobežojumiem: asinhroni JSONL uzdevumi (vai tieši līdz 10 000 pieprasījumiem) par samazinātām izmaksām — klasifikācija, bagātināšana, masveida ģenerēšana.
2. Kas ir prognozētās izvades?
Atbilde: Paātrinājums, kad atbilde ir lielā mērā paredzama (esoša teksta rediģēšana, veidnes): tu nodrošini prognozi, un modelis „maksā” tikai par atšķirībām — latentums ievērojami samazinās.
3. Ko ļauj sasniegt citāti ar atsauces objektu (Reference Object)?
Atbilde: Katra apgalvojuma saistīšanu ar tā avotiem RAG sistēmā: pārbaudāmas atbildes, samazinātas halucinācijas — uzticamība kļūst par produkta īpašību.
4. Ko tu dari Explorer rīkā?
Atbilde: Meklē un inspektē ražošanas izsekošanas datus — izmantojot izteiksmju valodu laukiem service_name, status_code, duration_ns vai segmentu atribūtiem — lai atrastu problemātiskus pieprasījumus un pēc tam pārvērstu tos testa gadījumos: izejmateriāls jebkurai uzlabošanai.
5. Kā kopā darbojas vērtētāji, datu kopas un novērtējumi?
Atbilde: Vērtētāji veic automātisku novērtējumu (LLM-as-judge), datu kopas uzkrāj testa gadījumus, kas iegūti no ražošanas, un bezsaistes novērtējumi mēra katru versiju pret šīm datu kopām ar PASS/FAIL mērķiem — cikls: izsekošana → vērtēšana → veidošana → novērtēšana.
Kursa noslēdzošais cikls savieno visas četras jomas: ražo ekonomiski, atbildi ātri, balsti atbildes uz avotiem, veic novērošanu — nobriedusi ražošana vienotā darbplūsmā.