L-għażla tal-livell ta' raġunar it-tajjeb
F'din il-paġna
Lezzjon miktuba mill-ġdid fit-2 ta’ Novembru 2026. Qabel kienet tqabbel ir-raġunar “aġġustabbli” ta’ Mistral Small mar-raġunar “nattiv” ta’ Magistral, iżda Magistral ġie rtirat fil-31 ta’ Lulju 2026. L-għażla issa tinsab bejn mudelli ġeneralisti u livelli ta’
reasoning_effort. Sorsi: Reasoning · Kards tal-mudell Small 4 u Large 4.
Żewġ kontrolli minflok linja ta’ mudelli
Li tagħżel mudell ta’ raġunar f’Mistral kien ifisser li tagħżel bejn żewġ linji distinti. Illum, ifisser li taġġusta żewġ kontrolli: il-mudell (Small 4 għall-biċċa l-kbira tal-kompiti, Large 4 għall-aktar każijiet diffiċli) u il-livell ta’ raġunar (none jew high fuq Small 4; low, medium, jew high fuq Large 4). Applikazzjoni waħda tista’, u spiss għandha, tuża kombinamenti multipli.
Il-matriċi tad-deċiżjoni
| Sitwazzjoni | Konfigurazzjoni tal-bidu | Għaliex |
|---|---|---|
| Mistoqsija fattwali, riformulazzjoni, estrazzjoni | Small 4, none | Xejn x’tiddelibera: r-raġunar iżid biss il-latency u t-tokens |
| Kalkolu b’diversi passi, debugging ta’ rutina, tqabbil sempliċi | Small 4, high | Ir-raġunar jikkoreġi l-iżbalji fil-katina b’kost modest |
| Sommarju jew riformulazzjoni fuq Large 4 | Large 4, low | Large 4 ma jaċċettax none; low huwa l-aktar livell ekonomiku tiegħu |
| Analiżi b’ħafna kriterji, pjan ta’ migrazzjoni, bug sottili | Large 4, medium imbagħad high | Ipprova l-livell intermedju l-ewwel; itla’ jekk il-kwalità titlob hekk |
| Deċiżjoni kritika (legali, finanzjarja, medika) | Large 4, high + verifika | Ir-raġunar inaqqas l-iżbalji iżda ma jeliminax: għadha meħtieġa pass sekondarju jew reviżjoni umana |
Din il-matriċi tipprovdi punti tat-tluq, mhux veritajiet assoluti: l-evalwazzjonijiet tiegħek stess jiddeċiedu. Ftakar ukoll li Large 4 jinsab f’Public Preview mit-2 ta’ Novembru 2026.
Ikkalkula qabel ma tiskala
Ir-rati elenkati (kull miljun token, irreġistrati fit-2 ta’ Novembru 2026) jħalluk tistma l-kost ta’ konfigurazzjoni mill-qasam usage fir-risposti:
RATES = { # USD per million tokens: (input, output)
"mistral-small-2603": (0.15, 0.60),
"mistral-large-4-0": (0.70, 2.10),
"mistral-medium-3-5": (1.50, 7.50), # deprecated, retirement on April 30, 2027
}
def cost(response, model):
"""Cost of a response, including reasoning (excluding cache discounts)."""
input_rate, output_rate = RATES[model]
u = response.usage
return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000
Iġbor dan il-kost għal kull tip ta’ talba fuq ftit jiem ta’ traffiku reali: dik iċ-ċifra tgħidlek jekk konfigurazzjoni ġeneralizzata high hijiex sostenibbli.
Arkitettura ta’ routing
F’applikazzjoni reali, il-biċċa l-kbira tat-talbiet huma sempliċi. Li tħallas għar-raġunar fuq dawn ma żżidx valur. Ir-router li ġej l-ewwel jistaqsi lil Small 4, mingħajr raġunar, biex jistma l-kumplessità tal-mistoqsija, imbagħad jirrotta l-mistoqsija għall-konfigurazzjoni xierqa:
import os
from mistralai.client import Mistral
class ReasoningRouter:
"""Routes each question to a model and a reasoning level."""
def __init__(self):
self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def complexity(self, question):
r = self.client.chat.complete(
model="mistral-small-2603",
messages=[{"role": "user", "content":
f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
reasoning_effort="none",
)
try:
return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
except ValueError:
return 5 # conservative value if the response isn't a number
def respond(self, question, system_prompt=None):
score = self.complexity(question)
if score <= 3:
model, level = "mistral-small-2603", "none"
elif score <= 7:
model, level = "mistral-small-2603", "high"
else:
model, level = "mistral-large-4-0", "high"
messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
messages.append({"role": "user", "content": question})
return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)
Is-sejħa tal-klassifikazzjoni tispiċċa ftit: ftit għexieren ta’ tokens fuq l-aktar mudell irħis, mingħajr raġunar. Aġġusta l-limiti wara osservazzjoni, u qabbel il-kwalità u l-kost ta’ kull fergħa.
Aħjar prattiki għall-produzzjoni
Irreġistra l-użu skont il-fergħa. Għal kull risposta, aħżen il-mudell, il-livell, usage.prompt_tokens, usage.completion_tokens, u l-kost ikkalkulat hawn fuq. Mingħajr dawn in-numri, ma tistax tgħid jekk ir-raġunar jagħmilx sens.
Iffissa identifikaturi datati. Fil-produzzjoni, uża mistral-small-2603 minflok mistral-small-latest: alias jista’ jbiddel għal verżjoni ġdida mingħajr ma l-kodiċi tiegħek jinbidel. Iċċentralizza dawn l-identifikaturi f’konfigurazzjoni waħda.
MODELS = {
"fast": ("mistral-small-2603", "none"),
"reasoning": ("mistral-small-2603", "high"),
"deep": ("mistral-large-4-0", "high"),
}
Ippjana fallback. Peress li Large 4 jinsab f’Public Preview, fallback għal Small 4 fil-modalità high jipproteġi s-servizz tiegħek jekk is-sejħa tfalli. L-iżbalji HTTP kollha tal-SDK jierdu minn MistralError:
from mistralai.client import errors
def query_with_fallback(client, messages):
try:
return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
except errors.MistralError:
return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")
Oqgħod attent għad-deprekazzjonijiet. Il-paġna tal-mudelli ta’ Mistral telista d-dati ta’ deprekazzjoni u rtirar. Medium 3.5 se jiġi rtirat fit-30 ta’ April 2027: jekk tużah, l-iskadenza diġà hija stabbilita.
Sommarju tal-kors
Ir-raġunar jagħti lill-mudell spazju biex jaħseb qabel ma jwieġeb; f’Mistral, tikkonfigura dan għal kull talba b’reasoning_effort, li l-valuri tiegħu jiddependu mill-mudell. Ir-rispons imbagħad jasal bħala frammenti—ħsieb imbagħad tweġiba—li trid tkun taf kif taqra, anke fil-modalità streaming, u terġa’ tgħaddihom kollha għal konversazzjonijiet b’diversi dawriet. L-aġenti u l-API tal-Konversazzjonijiet iġorru l-istess konfigurazzjoni f’completion_args. Magistral ġie rtirat: Small 4 u Large 4 jieħdu postu, filwaqt li Medium 3.5 jservi biss bħala pass tranżizzjonali. Fl-aħħar nett, ir-raġunar huwa ġustifikat fejn hemm mogħdijiet x’tesplora u żbalji x’tinqabad (matematika, kodiċi, deċiżjonijiet), u dejjem irid jitkejjel: kwalità, tokens, latency.
Punti Ewlenin
- Żewġ kontrolli: il-mudell (Small 4, Large 4) u l-livell ta’
reasoning_effort - Small 4 f’
nonegħal kompiti sempliċi, f’highgħal dawk b’diversi passi; Large 4 għall-aktar każijiet diffiċli - Ikkalkula kull konfigurazzjoni minn
usageu r-rati uffiċjali qabel ma tiskalaha - Router jirriżerva r-raġunar għal mistoqsijiet li jibbenefikaw minnu
- Fil-produzzjoni: identifikaturi datati, reġistrazzjoni tal-użu, fallback minn Large 4 għal Small 4
Ittestja l-għarfien tiegħek
Ħames mistoqsijiet biex tivvalida l-essenzjali tal-kors.
1. Liema valuri ta' reasoning_effort jaċċetta Mistral Large 4, u liema wieħed jirrifjuta?
Tweġiba: low, medium, u high (id-dokumentazzjoni tirrakkomanda high bħala punt tat-tluq). Jirrifjuta none: il-livell li qabel kien jissejjaħ hekk fil-preview tiegħu issa jissejjaħ low.
2. Fejn jinsab it-test tal-ħsieb f'rispons b'raġunar?
Tweġiba: F’ThinkChunk (tip thinking) fil-lista message.content. Il-qasam thinking tiegħu huwa nnifsu lista ta’ oġġetti TextChunk, li minnhom taqra l-qasam text. It-tweġiba finali tinsab f’TextChunk fil-livell ogħla.
3. X'għandek terġa' tpoġġi fl-istorja ta' konversazzjoni b'diversi dawriet fil-Chat Completions?
Tweġiba: Il-messaġġ sħiħ tal-assistent, inklużi l-frammenti tal-ħsieb. Li tneħħi l-ħsieb iffranka tokens iżda jiddeterjora b’mod sinifikanti l-kwalità tad-dawriet sussegwenti.
4. Il-kodiċi tiegħek għadu jsejjaħ magistral-medium-latest: x'għandek tagħmel?
Tweġiba: Immigra immedjatament, peress li Magistral ġie rtirat fil-31 ta’ Lulju 2026. Immira lejn Small 4 jekk il-kwalità tkun biżżejjed, inkella Large 4 b’reasoning_effort="high"; Medium 3.5, is-sostitut iddeżinjat, huwa nnifsu deprekat sal-30 ta’ April 2027. Neħħi prompt_mode u t-template tal-ħsieb mill-prompt tas-sistema.
5. Kif tissettja reasoning_effort f'aġent ta' Mistral?
Tweġiba: Fil-qasam completion_args tal-aġent, pereżempju completion_args={"reasoning_effort": "high"}. Bl-API tal-Konversazzjonijiet, uża l-istess qasam f’kull start jew append.