Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Visas observabilumo grandinė: pėdsakai, vertintojai, duomenų rinkiniai, vertinimai

Paskaita 16 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Pažengusiems
Šiame puslapyje
  1. Visa observabilumo darbo eiga
  2. Implementacija naudojant „Python“
  3. Kurso santrauka
  4. Rekomenduojami kiti žingsniai
  5. Svarbiausi punktai
  6. Patikrink savo žinias

Pamoka perrašyta 2026 m. lapkričio 2 d. pagal „Mistral“ Observability dokumentaciją ir mistralai SDK 3.7.0 versiją: dabar grandinėje sujungiami pėdsakai, vertintojai, duomenų rinkiniai ir neakivaizdiniai vertinimai. Ankstesnės versijos funkcija „Campaigns“ bei metodai chat_completion_events.search, campaigns.* ir import_from_explorer nebeegzistuoja. Šaltiniai: Naršyti pėdsakus · Neakivaizdiniai vertinimai.

Visa observabilumo darbo eiga

Dabar jau puikiai išmanai kiekvieną „Mistral“ observabilumo stack’o komponentą. Šioje paskutinėje pamokoje sujungsime visas dalis į visą grandinę, kurią galėsi atkurti ir pritaikyti savo gamybinėje aplinkoje.

1

Fiksuok pėdsakus ir naršyk

Įjunk telemetriją, tada „Explorer“ įrankyje filtruok paskutinių 7 dienų pėdsakus: klaidas, lėtumą, įtartinus atsakymus. Užsirašyk paieškos išraišką.

2

Vertink

Suformuluok aktualų kokybės kriterijų kaip vertintoją (klasifikaciją arba regresiją) ir patikrink jį su 10–20 žinomų atvejų.

3

Sukurk duomenų rinkinį

Paversk probleminius segmentus (spans) įrašais, rankiniu būdu ištaisydamas laukiamą išvestį.

4

Įvertink

Išmatuok dabartinę versiją ir kiekvieną variantą pagal šį duomenų rinkinį, nustatydamas PASS/FAIL tikslus.

5

Iteruok

Diek laimėjusį variantą, naudok duomenų rinkinį kaip neregresijos apsaugą ir kartok procesą.

Implementacija naudojant „Python“

Toliau pateiktas scenarijus automatizuoja 1, 3 ir 4 žingsnius; 2 žingsnio vertintojas sukuriamas vieną kartą, kaip ir 13 pamokoje. Veikia du klientai: mistralai SDK klientas pėdsakams ir duomenų rinkiniams bei mistralai-evaluations klientas vertinimams.

import asyncio
import os
from datetime import datetime, timedelta, timezone

from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations

key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)

# 1. Nustatyk nepavykusius pėdsakus iš savaitės
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
    from_=now - timedelta(days=7),
    to=now,
    search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
    print(trace.trace_id, trace.root_span_name)

# 3. Į duomenų rinkinį įtrauk rankiniu būdu peržiūrėtus ir ištaisytus atvejus
corrected_cases = [
    {"ticket": "Payment refused even though my card is valid.", "category": "billing"},
    {"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
    name="Support incidents — week 44",
    description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
    api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)


# 4. Įvertink kandidato versiją (užduotis ir tikslumas: žr. 14 pamoką)
async def main():
    run = await evaluations.evaluation.run(
        project=Project(name="Ticket sorting"),
        evaluation=Evaluation(name="Week 44 non-regression"),
        system=System(name="medium-prompt-v2", params={
            "model": "mistral-medium-latest",
            "system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
        }),
        dataset=Dataset(id=dataset.id),
        task=task,
        evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
    )
    run.show(level="records")


asyncio.run(main())

Paleidžiamas kas savaitę, šis scenarijus papildo neregresijos duomenų rinkinį realiais incidentais, o prieš diegiant kiekviena kandidato versija privalo pasiekti savo tikslus šiame rinkinyje.

Kurso santrauka

Šis kursas vedė tave per keturias esmines sritis, skirtas dirbtinio intelekto gamybai su „Mistral“:

Grupinis išvedimas (1–4 pamokos)

Moki apdoroti milijonus užklausų mažesnėmis sąnaudomis, naudodamas JSONL formatą, failų grupavimą ir tiesioginį grupavimą.

Numatoma išvestis (5–7 pamokos)

Moki sumažinti generavimo delsą pateikdamas išvesties prognozę, ypač dirbdamas su kodu ir teksto redagavimu.

Citatos ir nuorodos (8–10 pamokos)

Moki pagrįsti didžiojo kalbos modelio (LLM) atsakymus patikrintais šaltiniais, analizuoti citatas ir kurti patikimas RAG grandines.

Observabilumas (11–16 pamokos)

Moki fiksuoti savo programos pėdsakus naudojant „OpenTelemetry“, naršyti gamybinius pėdsakus, automatizuoti kokybės vertinimą su vertintojais, kurti duomenų rinkinius ir matuoti kiekvieną versiją atlikdamas neakivaizdinius vertinimus.

Rekomenduojami kiti žingsniai

Geriausias būdas įtvirtinti šiuos įgūdžius – pritaikyti juos tokia tvarka, kuri labiausiai naudinga tavo gamybinei aplinkai. Pradėk nuo grupinės grandinės diegimo konkrečiam naudojimui savo organizacijoje – mėnesinei klasifikacijai, katalogo papildymui – nes tai greičiausias būdas parodyti naudą. Toliau integruok numatomą išvestį ten, kur tavo įrankiai redaguoja esamą kodą ar dokumentus: delsos sumažėjimą pastebėsi per kelias dienas. Pridėk citatas į savo RAG sistemą, kai tik vartotojai pradės remtis jos atsakymais priimdami sprendimus. Galiausiai, observabilumas prasideda nuo pėdsakų siuntimo, ką galima padaryti turint tiesiog API raktą; „Explorer“ ir neakivaizdiniai vertinimai reikalauja „Enterprise“ lygio organizacijos. Būtent „Enterprise“ lygis pirmuosius tris projektus pavers nuolatinio tobulinimo ciklu, o ne vienkartiniais diegimais.

Svarbiausi punktai

  • Grandinė vyksta ciklu: fiksuok ir naršyk pėdsakus, vertink, kurk duomenų rinkinį, įvertink, iteruok.
  • Kiekvienas gamybinis incidentas gali tapti testavimo atveju, o kiekviena kandidato versija privalo pasiekti savo tikslus.
  • Automatizuok ciklą naudodamas SDK (traces.search, datasets.create_record, evaluation.run) ir vykdyk jį reguliariais intervalais.
  • Šio kurso keturios sritys (grupinis apdorojimas, numatoma išvestis, citatos, observabilumas) papildo viena kitą, užtikrindamos patikimą dirbtinio intelekto gamybą.

Patikrink savo žinias

Grupinis apdorojimas, delsa, citatos, observabilumas: keturi gamybos ramstai.

1. Kada tinkama naudoti grupinį išvedimą (Batch Inference)?

Atsakymas: Kai reikia apdoroti didelius kiekius be realaus laiko reikalavimų: asinchroninės JSONL užduotys (arba tiesioginis grupavimas iki 10 tūkst. užklausų) mažesnėmis sąnaudomis – klasifikacijai, papildymui, masiniam generavimui.

2. Kas yra numatoma išvestis (Predicted Outputs)?

Atsakymas: Tai pagreitinimas, kai atsakymas yra iš dalies nuspėjamas (redaguojant esamą tekstą, šablonus): tu pateiki prognozę, o modelis „moka“ tik už skirtumus – delsa žymiai sumažėja.

3. Ką leidžia daryti citatos naudojant „Reference Object“?

Atsakymas: Susieti kiekvieną atsakymo teiginį su jo šaltiniais RAG sistemoje: patikrinami atsakymai, sumažėję haliucinacijos – pasitikėjimas tampa produkto savybe.

4. Ką veiki „Explorer“ įrankyje?

Atsakymas: Ieškai ir tikrini gamybinius pėdsakus – naudodamas išraiškų kalbą su service_name, status_code, duration_ns arba segmento atributais – kad rastum problemines užklausas, o tada paverstum jas testavimo atvejais: tai žaliava bet kokiam tobulinimui.

5. Kaip kartu veikia vertintojai, duomenų rinkiniai ir vertinimai?

Atsakymas: Vertintojai vertina automatiškai (LLM-as-judge), duomenų rinkiniai kaupia testavimo atvejus, paimtus iš gamybos, o neakivaizdiniai vertinimai matuoja kiekvieną versiją pagal šiuos rinkinius su PASS/FAIL tikslais – tai ciklas: pėdsakas → vertinimas → kūrimas → įvertinimas.

Galutinė šio kurso grandinė sujungia visas keturias dalis: gamink ekonomiškai, atsakyk greitai, pagrįsk atsakymus šaltiniais, stebėk – brandi gamyba vienoje darbo eigoje.