Píblíne end-to-end: rianta, breithiúna, tacair shonraí, meastóireachtaí
Ar an leathanach seo
An ceacht athscríofa an 2 Samhain 2026 bunaithe ar dhoiciméadú Observability ó Mistral agus ar SDK
mistralai3.7.0: déanann an phíblíne slabhrú anois ar rianta, breithiúna, tacair shonraí, agus meastóireachtaí as líne. Níl an ghné “Campaigns” ná na modhannachat_completion_events.search,campaigns.*, agusimport_from_explorerón leagan roimhe seo ann a thuilleadh. Foinse: Rianta a iniúchadh · Meastóireachtaí as líne.
An sruth oibre breathnaitheachta end-to-end
Tá gach comhpháirt de chruachan breathnaitheachta Mistral mastered agat anois. Cuireann an ceacht deiridh seo na píosaí le chéile i bpíblíne iomlán is féidir leat a atáirgeadh agus a oiriúnú do do chomhthéacs táirgeachta.
Rianaigh agus iniúch
Cumasaigh teileiméadracht, ansin scag rianta ón 7 lá deireanacha san Explorer: earráidí, moille, freagraí amhrasacha. Tabhair faoi deara an slonn cuardaigh.
Breithnigh
Foirmigh an critéar cáilíochta atá i gceist ina bhreitheamh (aicmiú nó aischéimniú), bailíochtaithe ar 10 go 20 cás ar eolas.
Tacar sonraí a thógáil
Tiontaigh spásanna fadhbacha ina dtaifid, leis an aschur ionchais ceartaithe de láimh.
Déan meastóireacht
Tomhais an leagan reatha agus ansin gach leagan athraitheach i gcoinne an tacair shonraí seo, le cuspóirí PASS/FAIL.
Déan athrá
Deighil an leagan athraitheach buaite, coinnigh an tacar sonraí mar ghardráil neamh-chúlaithe, agus déan arís é.
Cur chun feidhme i bPython
Uathoibríonn an script thíos céimeanna 1, 3, agus 4; cruthaítear an breitheamh do chéim 2 uair amháin, mar sa Cheacht 13. Comhchónaíonn dhá chliaint: an cliant SDK mistralai do rianta agus tacair shonraí, agus an cliant mistralai-evaluations don mheastóireacht.
import asyncio
import os
from datetime import datetime, timedelta, timezone
from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations
key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)
# 1. Aithin rianta teipthe ón tseachtain
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
from_=now - timedelta(days=7),
to=now,
search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
print(trace.trace_id, trace.root_span_name)
# 3. Cuir cásanna athbhreithnithe agus ceartaithe de láimh leis an tacar sonraí
corrected_cases = [
{"ticket": "Payment refused even though my card is valid.", "category": "billing"},
{"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
name="Support incidents — week 44",
description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)
# 4. Déan meastóireacht ar an leagan iarrthóra (tasc agus cruinneas: féach Ceacht 14)
async def main():
run = await evaluations.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Week 44 non-regression"),
system=System(name="medium-prompt-v2", params={
"model": "mistral-medium-latest",
"system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
}),
dataset=Dataset(id=dataset.id),
task=task,
evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
)
run.show(level="records")
asyncio.run(main())
Ag rith go seachtainiúil, méadaíonn an script seo an tacar sonraí neamh-chúlaithe le fíor-theagmhais, agus caithfidh gach leagan iarrthóra a gcuspóirí a bhaint amach ar an tacar sonraí seo sula ndéantar iad a dheighilt.
Achoimre ar an gcúrsa
Threoraigh an cúrsa seo tú trí cheithre réimse riachtanacha do tháirgeadh AI le Mistral:
Inference Baisc (Ceachtaí 1-4)
Tá a fhios agat conas milliúin iarratas a phróiseáil ar chostas laghdaithe, ag baint úsáide as formáid JSONL, baisciú comhaid, agus baisciú inline.
Aschuir Rhéamh-mheasta (Ceachtaí 5-7)
Tá a fhios agat conas moill ghiniúna a laghdú trí réamh-mheastachán aschuir a sholáthar, go háirithe do chód agus d’eagarthóireacht téacs.
Luathanna agus Tagairtí (Ceachtaí 8-10)
Tá a fhios agat conas freagraí do LLM a chur ar bun i bhfoinsí fíoraithe, luathanna a pharsáil, agus píblíní RAG iontaofa a thógáil.
Breathnaitheacht (Ceachtaí 11-16)
Tá a fhios agat conas d’iarratas a rianú le OpenTelemetry, rianta táirgeachta a iniúchadh, meastóireacht cáilíochta a uathoibriú le breithiúna, tacair shonraí a thógáil, agus gach leagan a thomhas trí mheastóireachtaí as líne.
Na chéad chéimeanna molta
Is é an bealach is fearr chun na scileanna seo a dhaingniú ná iad a chur i bhfeidhm san ord a thairbhíonn do do thimpeallacht táirgeachta is mó. Tosaigh le píblíne baisc a dheighilt ar chás úsáide concreideach i d’eagraíocht—aicmiú míosúil, saibhriú catalóige—mar gurb é seo an gnóthachan is tapúla le taispeáint. Ina dhiaidh sin, comhtháthaigh Aschuir Rhéamh-mheasta cibé áit a ndéanann do uirlisí eagarthóireacht ar chód nó ar dhoiciméid atá ann cheana: tá an gnóthachan moille in-tomhaiste laistigh de laethanta. Cuir luathanna le do chóras RAG chomh luath agus a bhíonn úsáideoirí ag brath ar a fhreagraí chun cinntí a dhéanamh. Ar deireadh, tosaíonn breathnaitheacht le rianta a sheoladh, rud atá indéanta le heochair API simplí; éilíonn an tExplorer agus meastóireachtaí as líne eagraíocht Enterprise. Is é an leibhéal Enterprise a chlaochlóidh na chéad trí thionscnamh ina lúb feabhsaithe leanúnaigh seachas in imlonnú aonuaire.
Príomhphointí
- Leanann an phíblíne an lúb: rianaigh agus iniúch, déan breithiúnas, tóg tacar sonraí, déan meastóireacht, déan athrá
- Is féidir gach teagmhas táirgeachta a bheith ina chás tástála, agus caithfidh gach leagan iarrthóra a chuspóirí a bhaint amach
- Uathoibrigh an lúb leis an SDK (
traces.search,datasets.create_record,evaluation.run) agus rith í ag eatraimh rialta - Comhlánaíonn ceithre réimse an chúrsa seo (baisc, aschuir rhéamh-mheasta, luathanna, breathnaitheacht) a chéile do tháirgeadh AI láidir
Tástáil do chuid eolais
Baisc, moill, luathanna, breathnaitheacht: ceithre philliar na táirgeachta.
1. Cathain is rogha cheart é Inference Baisc?
Freagra: Do thoirt mhór gan srianta fíor-ama: poist JSONL asioncronacha (nó inline suas le 10K iarratas) ar chostas laghdaithe—aicmiú, saibhriú, giniúint mhórchóir.
2. Cad iad Aschuir Rhéamh-mheasta?
Freagra: Luasú nuair atá an freagra intuartha go mór (eagarthóireacht ar théacs atá ann cheana, teimpléid): soláthraíonn tú an réamh-mheastachán, agus ní “íocann” an múnla ach as na difríochtaí—titim shuntasach ar an moill.
3. Cad a chumasaíonn luathanna le Réad Tagartha?
Freagra: Gach ráiteas sa fhreagra a nascadh lena fhoinsí i RAG: freagraí in-fhíoraithe, laghdú ar hallúcináidí—éiríonn muinín ina airí táirge.
4. Cad a dhéanann tú san Explorer?
Freagra: Cuardaigh agus iniúch rianta táirgeachta—ag baint úsáide as teanga sloinn ar service_name, status_code, duration_ns, nó ar airíonna spáin—chun iarratais fhadhbacha a aimsiú, ansin iad a thiontú ina gcásanna tástála: an t-amhábhar d’aon fheabhsú.
5. Conas a oibríonn breithiúna, tacair shonraí, agus meastóireachtaí le chéile?
Freagra: Déanann breithiúna meastóireacht go huathoibríoch (LLM-mar-bhreitheamh), carnann tacair shonraí cásanna tástála ón táirgeadh, agus tomhaiseann meastóireachtaí as líne gach leagan i gcoinne na dtacar sonraí seo le cuspóirí PASS/FAIL—an lúb rian → breithiúnas → tógáil → meastóireacht.
Slabhraíonn píblíne deiridh an chúrsa na ceithre cinn le chéile: táirg go heacnamaíoch, freagair go tapa, foinseigh freagraí, déan breathnú—táirgeadh aibí i sruth oibre amháin.