Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Píblíne end-to-end: rianta, breithiúna, tacair shonraí, meastóireachtaí

Ceacht 16 as 16 Nuashonraithe 2 Samhain 2026 Ardleibhéal
Ar an leathanach seo
  1. An sruth oibre breathnaitheachta end-to-end
  2. Cur chun feidhme i bPython
  3. Achoimre ar an gcúrsa
  4. Na chéad chéimeanna molta
  5. Príomhphointí
  6. Tástáil do chuid eolais

An ceacht athscríofa an 2 Samhain 2026 bunaithe ar dhoiciméadú Observability ó Mistral agus ar SDK mistralai 3.7.0: déanann an phíblíne slabhrú anois ar rianta, breithiúna, tacair shonraí, agus meastóireachtaí as líne. Níl an ghné “Campaigns” ná na modhanna chat_completion_events.search, campaigns.*, agus import_from_explorer ón leagan roimhe seo ann a thuilleadh. Foinse: Rianta a iniúchadh · Meastóireachtaí as líne.

An sruth oibre breathnaitheachta end-to-end

Tá gach comhpháirt de chruachan breathnaitheachta Mistral mastered agat anois. Cuireann an ceacht deiridh seo na píosaí le chéile i bpíblíne iomlán is féidir leat a atáirgeadh agus a oiriúnú do do chomhthéacs táirgeachta.

1

Rianaigh agus iniúch

Cumasaigh teileiméadracht, ansin scag rianta ón 7 lá deireanacha san Explorer: earráidí, moille, freagraí amhrasacha. Tabhair faoi deara an slonn cuardaigh.

2

Breithnigh

Foirmigh an critéar cáilíochta atá i gceist ina bhreitheamh (aicmiú nó aischéimniú), bailíochtaithe ar 10 go 20 cás ar eolas.

3

Tacar sonraí a thógáil

Tiontaigh spásanna fadhbacha ina dtaifid, leis an aschur ionchais ceartaithe de láimh.

4

Déan meastóireacht

Tomhais an leagan reatha agus ansin gach leagan athraitheach i gcoinne an tacair shonraí seo, le cuspóirí PASS/FAIL.

5

Déan athrá

Deighil an leagan athraitheach buaite, coinnigh an tacar sonraí mar ghardráil neamh-chúlaithe, agus déan arís é.

Cur chun feidhme i bPython

Uathoibríonn an script thíos céimeanna 1, 3, agus 4; cruthaítear an breitheamh do chéim 2 uair amháin, mar sa Cheacht 13. Comhchónaíonn dhá chliaint: an cliant SDK mistralai do rianta agus tacair shonraí, agus an cliant mistralai-evaluations don mheastóireacht.

import asyncio
import os
from datetime import datetime, timedelta, timezone

from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations

key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)

# 1. Aithin rianta teipthe ón tseachtain
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
    from_=now - timedelta(days=7),
    to=now,
    search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
    print(trace.trace_id, trace.root_span_name)

# 3. Cuir cásanna athbhreithnithe agus ceartaithe de láimh leis an tacar sonraí
corrected_cases = [
    {"ticket": "Payment refused even though my card is valid.", "category": "billing"},
    {"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
    name="Support incidents — week 44",
    description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
    api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)


# 4. Déan meastóireacht ar an leagan iarrthóra (tasc agus cruinneas: féach Ceacht 14)
async def main():
    run = await evaluations.evaluation.run(
        project=Project(name="Ticket sorting"),
        evaluation=Evaluation(name="Week 44 non-regression"),
        system=System(name="medium-prompt-v2", params={
            "model": "mistral-medium-latest",
            "system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
        }),
        dataset=Dataset(id=dataset.id),
        task=task,
        evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
    )
    run.show(level="records")


asyncio.run(main())

Ag rith go seachtainiúil, méadaíonn an script seo an tacar sonraí neamh-chúlaithe le fíor-theagmhais, agus caithfidh gach leagan iarrthóra a gcuspóirí a bhaint amach ar an tacar sonraí seo sula ndéantar iad a dheighilt.

Achoimre ar an gcúrsa

Threoraigh an cúrsa seo tú trí cheithre réimse riachtanacha do tháirgeadh AI le Mistral:

Inference Baisc (Ceachtaí 1-4)

Tá a fhios agat conas milliúin iarratas a phróiseáil ar chostas laghdaithe, ag baint úsáide as formáid JSONL, baisciú comhaid, agus baisciú inline.

Aschuir Rhéamh-mheasta (Ceachtaí 5-7)

Tá a fhios agat conas moill ghiniúna a laghdú trí réamh-mheastachán aschuir a sholáthar, go háirithe do chód agus d’eagarthóireacht téacs.

Luathanna agus Tagairtí (Ceachtaí 8-10)

Tá a fhios agat conas freagraí do LLM a chur ar bun i bhfoinsí fíoraithe, luathanna a pharsáil, agus píblíní RAG iontaofa a thógáil.

Breathnaitheacht (Ceachtaí 11-16)

Tá a fhios agat conas d’iarratas a rianú le OpenTelemetry, rianta táirgeachta a iniúchadh, meastóireacht cáilíochta a uathoibriú le breithiúna, tacair shonraí a thógáil, agus gach leagan a thomhas trí mheastóireachtaí as líne.

Na chéad chéimeanna molta

Is é an bealach is fearr chun na scileanna seo a dhaingniú ná iad a chur i bhfeidhm san ord a thairbhíonn do do thimpeallacht táirgeachta is mó. Tosaigh le píblíne baisc a dheighilt ar chás úsáide concreideach i d’eagraíocht—aicmiú míosúil, saibhriú catalóige—mar gurb é seo an gnóthachan is tapúla le taispeáint. Ina dhiaidh sin, comhtháthaigh Aschuir Rhéamh-mheasta cibé áit a ndéanann do uirlisí eagarthóireacht ar chód nó ar dhoiciméid atá ann cheana: tá an gnóthachan moille in-tomhaiste laistigh de laethanta. Cuir luathanna le do chóras RAG chomh luath agus a bhíonn úsáideoirí ag brath ar a fhreagraí chun cinntí a dhéanamh. Ar deireadh, tosaíonn breathnaitheacht le rianta a sheoladh, rud atá indéanta le heochair API simplí; éilíonn an tExplorer agus meastóireachtaí as líne eagraíocht Enterprise. Is é an leibhéal Enterprise a chlaochlóidh na chéad trí thionscnamh ina lúb feabhsaithe leanúnaigh seachas in imlonnú aonuaire.

Príomhphointí

  • Leanann an phíblíne an lúb: rianaigh agus iniúch, déan breithiúnas, tóg tacar sonraí, déan meastóireacht, déan athrá
  • Is féidir gach teagmhas táirgeachta a bheith ina chás tástála, agus caithfidh gach leagan iarrthóra a chuspóirí a bhaint amach
  • Uathoibrigh an lúb leis an SDK (traces.search, datasets.create_record, evaluation.run) agus rith í ag eatraimh rialta
  • Comhlánaíonn ceithre réimse an chúrsa seo (baisc, aschuir rhéamh-mheasta, luathanna, breathnaitheacht) a chéile do tháirgeadh AI láidir

Tástáil do chuid eolais

Baisc, moill, luathanna, breathnaitheacht: ceithre philliar na táirgeachta.

1. Cathain is rogha cheart é Inference Baisc?

Freagra: Do thoirt mhór gan srianta fíor-ama: poist JSONL asioncronacha (nó inline suas le 10K iarratas) ar chostas laghdaithe—aicmiú, saibhriú, giniúint mhórchóir.

2. Cad iad Aschuir Rhéamh-mheasta?

Freagra: Luasú nuair atá an freagra intuartha go mór (eagarthóireacht ar théacs atá ann cheana, teimpléid): soláthraíonn tú an réamh-mheastachán, agus ní “íocann” an múnla ach as na difríochtaí—titim shuntasach ar an moill.

3. Cad a chumasaíonn luathanna le Réad Tagartha?

Freagra: Gach ráiteas sa fhreagra a nascadh lena fhoinsí i RAG: freagraí in-fhíoraithe, laghdú ar hallúcináidí—éiríonn muinín ina airí táirge.

4. Cad a dhéanann tú san Explorer?

Freagra: Cuardaigh agus iniúch rianta táirgeachta—ag baint úsáide as teanga sloinn ar service_name, status_code, duration_ns, nó ar airíonna spáin—chun iarratais fhadhbacha a aimsiú, ansin iad a thiontú ina gcásanna tástála: an t-amhábhar d’aon fheabhsú.

5. Conas a oibríonn breithiúna, tacair shonraí, agus meastóireachtaí le chéile?

Freagra: Déanann breithiúna meastóireacht go huathoibríoch (LLM-mar-bhreitheamh), carnann tacair shonraí cásanna tástála ón táirgeadh, agus tomhaiseann meastóireachtaí as líne gach leagan i gcoinne na dtacar sonraí seo le cuspóirí PASS/FAIL—an lúb rian → breithiúnas → tógáil → meastóireacht.

Slabhraíonn píblíne deiridh an chúrsa na ceithre cinn le chéile: táirg go heacnamaíoch, freagair go tapa, foinseigh freagraí, déan breathnú—táirgeadh aibí i sruth oibre amháin.