Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

L-għażla tal-livell ta' raġunar it-tajjeb

Lezzjoni 12 / 12 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Żewġ kontrolli minflok linja ta’ mudelli
  2. Il-matriċi tad-deċiżjoni
  3. Ikkalkula qabel ma tiskala
  4. Arkitettura ta’ routing
  5. Aħjar prattiki għall-produzzjoni
  6. Sommarju tal-kors
  7. Punti Ewlenin
  8. Ittestja l-għarfien tiegħek

Lezzjon miktuba mill-ġdid fit-2 ta’ Novembru 2026. Qabel kienet tqabbel ir-raġunar “aġġustabbli” ta’ Mistral Small mar-raġunar “nattiv” ta’ Magistral, iżda Magistral ġie rtirat fil-31 ta’ Lulju 2026. L-għażla issa tinsab bejn mudelli ġeneralisti u livelli ta’ reasoning_effort. Sorsi: Reasoning · Kards tal-mudell Small 4 u Large 4.

Żewġ kontrolli minflok linja ta’ mudelli

Li tagħżel mudell ta’ raġunar f’Mistral kien ifisser li tagħżel bejn żewġ linji distinti. Illum, ifisser li taġġusta żewġ kontrolli: il-mudell (Small 4 għall-biċċa l-kbira tal-kompiti, Large 4 għall-aktar każijiet diffiċli) u il-livell ta’ raġunar (none jew high fuq Small 4; low, medium, jew high fuq Large 4). Applikazzjoni waħda tista’, u spiss għandha, tuża kombinamenti multipli.

Il-matriċi tad-deċiżjoni

SitwazzjoniKonfigurazzjoni tal-biduGħaliex
Mistoqsija fattwali, riformulazzjoni, estrazzjoniSmall 4, noneXejn x’tiddelibera: r-raġunar iżid biss il-latency u t-tokens
Kalkolu b’diversi passi, debugging ta’ rutina, tqabbil sempliċiSmall 4, highIr-raġunar jikkoreġi l-iżbalji fil-katina b’kost modest
Sommarju jew riformulazzjoni fuq Large 4Large 4, lowLarge 4 ma jaċċettax none; low huwa l-aktar livell ekonomiku tiegħu
Analiżi b’ħafna kriterji, pjan ta’ migrazzjoni, bug sottiliLarge 4, medium imbagħad highIpprova l-livell intermedju l-ewwel; itla’ jekk il-kwalità titlob hekk
Deċiżjoni kritika (legali, finanzjarja, medika)Large 4, high + verifikaIr-raġunar inaqqas l-iżbalji iżda ma jeliminax: għadha meħtieġa pass sekondarju jew reviżjoni umana

Din il-matriċi tipprovdi punti tat-tluq, mhux veritajiet assoluti: l-evalwazzjonijiet tiegħek stess jiddeċiedu. Ftakar ukoll li Large 4 jinsab f’Public Preview mit-2 ta’ Novembru 2026.

Ikkalkula qabel ma tiskala

Ir-rati elenkati (kull miljun token, irreġistrati fit-2 ta’ Novembru 2026) jħalluk tistma l-kost ta’ konfigurazzjoni mill-qasam usage fir-risposti:

RATES = {  # USD per million tokens: (input, output)
    "mistral-small-2603": (0.15, 0.60),
    "mistral-large-4-0": (0.70, 2.10),
    "mistral-medium-3-5": (1.50, 7.50),   # deprecated, retirement on April 30, 2027
}

def cost(response, model):
    """Cost of a response, including reasoning (excluding cache discounts)."""
    input_rate, output_rate = RATES[model]
    u = response.usage
    return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000

Iġbor dan il-kost għal kull tip ta’ talba fuq ftit jiem ta’ traffiku reali: dik iċ-ċifra tgħidlek jekk konfigurazzjoni ġeneralizzata high hijiex sostenibbli.

Arkitettura ta’ routing

F’applikazzjoni reali, il-biċċa l-kbira tat-talbiet huma sempliċi. Li tħallas għar-raġunar fuq dawn ma żżidx valur. Ir-router li ġej l-ewwel jistaqsi lil Small 4, mingħajr raġunar, biex jistma l-kumplessità tal-mistoqsija, imbagħad jirrotta l-mistoqsija għall-konfigurazzjoni xierqa:

import os
from mistralai.client import Mistral

class ReasoningRouter:
    """Routes each question to a model and a reasoning level."""

    def __init__(self):
        self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    def complexity(self, question):
        r = self.client.chat.complete(
            model="mistral-small-2603",
            messages=[{"role": "user", "content":
                f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
            reasoning_effort="none",
        )
        try:
            return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
        except ValueError:
            return 5  # conservative value if the response isn't a number

    def respond(self, question, system_prompt=None):
        score = self.complexity(question)
        if score <= 3:
            model, level = "mistral-small-2603", "none"
        elif score <= 7:
            model, level = "mistral-small-2603", "high"
        else:
            model, level = "mistral-large-4-0", "high"
        messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
        messages.append({"role": "user", "content": question})
        return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)

Is-sejħa tal-klassifikazzjoni tispiċċa ftit: ftit għexieren ta’ tokens fuq l-aktar mudell irħis, mingħajr raġunar. Aġġusta l-limiti wara osservazzjoni, u qabbel il-kwalità u l-kost ta’ kull fergħa.

Aħjar prattiki għall-produzzjoni

Irreġistra l-użu skont il-fergħa. Għal kull risposta, aħżen il-mudell, il-livell, usage.prompt_tokens, usage.completion_tokens, u l-kost ikkalkulat hawn fuq. Mingħajr dawn in-numri, ma tistax tgħid jekk ir-raġunar jagħmilx sens.

Iffissa identifikaturi datati. Fil-produzzjoni, uża mistral-small-2603 minflok mistral-small-latest: alias jista’ jbiddel għal verżjoni ġdida mingħajr ma l-kodiċi tiegħek jinbidel. Iċċentralizza dawn l-identifikaturi f’konfigurazzjoni waħda.

MODELS = {
    "fast": ("mistral-small-2603", "none"),
    "reasoning": ("mistral-small-2603", "high"),
    "deep": ("mistral-large-4-0", "high"),
}

Ippjana fallback. Peress li Large 4 jinsab f’Public Preview, fallback għal Small 4 fil-modalità high jipproteġi s-servizz tiegħek jekk is-sejħa tfalli. L-iżbalji HTTP kollha tal-SDK jierdu minn MistralError:

from mistralai.client import errors

def query_with_fallback(client, messages):
    try:
        return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
    except errors.MistralError:
        return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")

Oqgħod attent għad-deprekazzjonijiet. Il-paġna tal-mudelli ta’ Mistral telista d-dati ta’ deprekazzjoni u rtirar. Medium 3.5 se jiġi rtirat fit-30 ta’ April 2027: jekk tużah, l-iskadenza diġà hija stabbilita.

Sommarju tal-kors

Ir-raġunar jagħti lill-mudell spazju biex jaħseb qabel ma jwieġeb; f’Mistral, tikkonfigura dan għal kull talba b’reasoning_effort, li l-valuri tiegħu jiddependu mill-mudell. Ir-rispons imbagħad jasal bħala frammenti—ħsieb imbagħad tweġiba—li trid tkun taf kif taqra, anke fil-modalità streaming, u terġa’ tgħaddihom kollha għal konversazzjonijiet b’diversi dawriet. L-aġenti u l-API tal-Konversazzjonijiet iġorru l-istess konfigurazzjoni f’completion_args. Magistral ġie rtirat: Small 4 u Large 4 jieħdu postu, filwaqt li Medium 3.5 jservi biss bħala pass tranżizzjonali. Fl-aħħar nett, ir-raġunar huwa ġustifikat fejn hemm mogħdijiet x’tesplora u żbalji x’tinqabad (matematika, kodiċi, deċiżjonijiet), u dejjem irid jitkejjel: kwalità, tokens, latency.

Punti Ewlenin

  • Żewġ kontrolli: il-mudell (Small 4, Large 4) u l-livell ta’ reasoning_effort
  • Small 4 f’none għal kompiti sempliċi, f’high għal dawk b’diversi passi; Large 4 għall-aktar każijiet diffiċli
  • Ikkalkula kull konfigurazzjoni minn usage u r-rati uffiċjali qabel ma tiskalaha
  • Router jirriżerva r-raġunar għal mistoqsijiet li jibbenefikaw minnu
  • Fil-produzzjoni: identifikaturi datati, reġistrazzjoni tal-użu, fallback minn Large 4 għal Small 4

Ittestja l-għarfien tiegħek

Ħames mistoqsijiet biex tivvalida l-essenzjali tal-kors.

1. Liema valuri ta' reasoning_effort jaċċetta Mistral Large 4, u liema wieħed jirrifjuta?

Tweġiba: low, medium, u high (id-dokumentazzjoni tirrakkomanda high bħala punt tat-tluq). Jirrifjuta none: il-livell li qabel kien jissejjaħ hekk fil-preview tiegħu issa jissejjaħ low.

2. Fejn jinsab it-test tal-ħsieb f'rispons b'raġunar?

Tweġiba: F’ThinkChunk (tip thinking) fil-lista message.content. Il-qasam thinking tiegħu huwa nnifsu lista ta’ oġġetti TextChunk, li minnhom taqra l-qasam text. It-tweġiba finali tinsab f’TextChunk fil-livell ogħla.

3. X'għandek terġa' tpoġġi fl-istorja ta' konversazzjoni b'diversi dawriet fil-Chat Completions?

Tweġiba: Il-messaġġ sħiħ tal-assistent, inklużi l-frammenti tal-ħsieb. Li tneħħi l-ħsieb iffranka tokens iżda jiddeterjora b’mod sinifikanti l-kwalità tad-dawriet sussegwenti.

4. Il-kodiċi tiegħek għadu jsejjaħ magistral-medium-latest: x'għandek tagħmel?

Tweġiba: Immigra immedjatament, peress li Magistral ġie rtirat fil-31 ta’ Lulju 2026. Immira lejn Small 4 jekk il-kwalità tkun biżżejjed, inkella Large 4 b’reasoning_effort="high"; Medium 3.5, is-sostitut iddeżinjat, huwa nnifsu deprekat sal-30 ta’ April 2027. Neħħi prompt_mode u t-template tal-ħsieb mill-prompt tas-sistema.

5. Kif tissettja reasoning_effort f'aġent ta' Mistral?

Tweġiba: Fil-qasam completion_args tal-aġent, pereżempju completion_args={"reasoning_effort": "high"}. Bl-API tal-Konversazzjonijiet, uża l-istess qasam f’kull start jew append.