Salt la conținutul principal
Română— Alege o limbă
Meniu

Alegerea nivelului potrivit de raționament

Lecția 12 din 12 Actualizată 2 noiembrie 2026 Dezvoltator
Pe această pagină
  1. Două butoane de reglaj în loc de o gamă de modele
  2. Matricea de decizie
  3. Calculați înainte de a scala
  4. O arhitectură de rutare
  5. Cele mai bune practici pentru producție
  6. Rezumatul cursului
  7. Puncte cheie
  8. Testați-vă cunoștințele

Lecție rescrisă la 2 noiembrie 2026. Anterior, aceasta contrasta raționamentul „ajustabil“ al lui Mistral Small cu raționamentul „nativ“ al lui Magistral, însă Magistral a fost retras din serviciu la 31 iulie 2026. Alegerea se face acum între modelele generaliste și nivelurile reasoning_effort. Surse: Reasoning · Fișele tehnice pentru Small 4 și Large 4.

Două butoane de reglaj în loc de o gamă de modele

Alegerea unui model de raționament la Mistral însemna odinioară selectarea între două game distincte. Astăzi, înseamnă ajustarea a două butoane de reglaj: modelul (Small 4 pentru majoritatea sarcinilor, Large 4 pentru cazurile cele mai dificile) și nivelul de raționament (none sau high la Small 4; low, medium sau high la Large 4). O singură aplicație poate, și adesea ar trebui, să utilizeze multiple combinații.

Matricea de decizie

SituațieConfigurare inițialăDe ce
Întrebare factuală, reformulare, extragereSmall 4, noneNimic de deliberat: raționamentul ar adăuga doar latență și tokeni
Calcul în mai mulți pași, depanare de rutină, comparație simplăSmall 4, highRaționamentul corectează erorile de înlănțuire cu un cost modest
Rezumat sau reformulare pe Large 4Large 4, lowLarge 4 nu acceptă none; low este nivelul său cel mai economic
Analiză multicriterială, plan de migrare, bug subtilLarge 4, medium apoi highTestați mai întâi nivelul intermediar; creșteți nivelul dacă calitatea o impune
Decizie critică (juridică, financiară, medicală)Large 4, high + verificareRaționamentul reduce erorile, dar nu le elimină: o a doua trecere sau o revizuire umană rămân necesare

Această matrice oferă puncte de plecare, nu adevăruri absolute: propriile dumneavoastră evaluări decid. Rețineți, de asemenea, că Large 4 se află în Public Preview începând cu 2 noiembrie 2026.

Calculați înainte de a scala

Tarifele listate (per milion de tokeni, înregistrate la 2 noiembrie 2026) vă permit să estimați costul unei configurări din câmpul usage al răspunsurilor:

RATES = {  # USD per million tokens: (input, output)
    "mistral-small-2603": (0.15, 0.60),
    "mistral-large-4-0": (0.70, 2.10),
    "mistral-medium-3-5": (1.50, 7.50),   # deprecated, retirement on April 30, 2027
}

def cost(response, model):
    """Cost of a response, including reasoning (excluding cache discounts)."""
    input_rate, output_rate = RATES[model]
    u = response.usage
    return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000

Însumați acest cost pe tip de cerere pe parcursul a câtorva zile de trafic real: această cifră vă indică dacă o setare generalizată high este sustenabilă.

O arhitectură de rutare

Într-o aplicație reală, majoritatea cererilor sunt simple. Plata pentru raționament în aceste cazuri nu aduce nicio valoare. Routerul de mai jos interoghează mai întâi Small 4, fără raționament, pentru a estima complexitatea întrebării, apoi direcționează interogarea către configurarea adecvată:

import os
from mistralai.client import Mistral

class ReasoningRouter:
    """Routes each question to a model and a reasoning level."""

    def __init__(self):
        self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    def complexity(self, question):
        r = self.client.chat.complete(
            model="mistral-small-2603",
            messages=[{"role": "user", "content":
                f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
            reasoning_effort="none",
        )
        try:
            return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
        except ValueError:
            return 5  # conservative value if the response isn't a number

    def respond(self, question, system_prompt=None):
        score = self.complexity(question)
        if score <= 3:
            model, level = "mistral-small-2603", "none"
        elif score <= 7:
            model, level = "mistral-small-2603", "high"
        else:
            model, level = "mistral-large-4-0", "high"
        messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
        messages.append({"role": "user", "content": question})
        return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)

Apelul de clasificare costă puțin: câteva zeci de tokeni pe cel mai ieftin model, fără raționament. Ajustați pragurile după observație, comparând calitatea și costul fiecărei ramuri.

Cele mai bune practici pentru producție

Jurnalizați utilizarea pe ramuri. Pentru fiecare răspuns, stocați modelul, nivelul, usage.prompt_tokens, usage.completion_tokens și costul calculat mai sus. Fără aceste numere, nu puteți stabili dacă raționamentul merită investiția.

Fixați identificatorii datați. În producție, utilizați mistral-small-2603 în loc de mistral-small-latest: un alias poate comuta către o nouă versiune fără ca dumneavoastră să modificați codul. Centralizați acești identificatori într-o singură configurație.

MODELS = {
    "fast": ("mistral-small-2603", "none"),
    "reasoning": ("mistral-small-2603", "high"),
    "deep": ("mistral-large-4-0", "high"),
}

Planificați o soluție de rezervă (fallback). Deoarece Large 4 se află în Public Preview, un fallback către Small 4 în modul high vă protejează serviciul dacă apelul eșuează. Toate erorile HTTP SDK moștenesc de la MistralError:

from mistralai.client import errors

def query_with_fallback(client, messages):
    try:
        return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
    except errors.MistralError:
        return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")

Fiți atenți la deprecieri. Pagina modelelor Mistral listează datele de deprecieri și retragere. Medium 3.5 va fi retras la 30 aprilie 2027: dacă îl utilizați, termenul limită este deja stabilit.

Rezumatul cursului

Raționamentul oferă modelului un spațiu pentru a gândi înainte de a răspunde; la Mistral, configurați acest lucru per cerere cu reasoning_effort, ale cărui valori depind de model. Răspunsul sosește apoi sub formă de fragmente—gândire apoi răspuns—pe care trebuie să știți să le citiți, inclusiv în modul streaming, și să le redați integral pentru conversațiile multi-tur. Agenții și API-ul Conversations poartă aceeași setare în completion_args. Magistral este retras: Small 4 și Large 4 preiau ștafeta, iar Medium 3.5 servește doar ca pas de tranziție. În final, raționamentul este justificat acolo unde există căi de explorat și erori de prins (matematică, cod, decizii) și trebuie întotdeauna măsurat: calitate, tokeni, latență.

Puncte cheie

  • Două butoane de reglaj: modelul (Small 4, Large 4) și nivelul reasoning_effort
  • Small 4 în none pentru sarcini simple, în high pentru pași multipli; Large 4 pentru cazurile cele mai dificile
  • Calculați fiecare setare din usage și tarifele oficiale înainte de a o scala
  • Un router rezervă raționamentul pentru interogările care beneficiază de acesta
  • În producție: identificatori datați, jurnalizare a utilizării, fallback de la Large 4 la Small 4

Testați-vă cunoștințele

Cinci întrebări pentru a valida elementele esențiale ale cursului.

1. Ce valori reasoning_effort acceptă Mistral Large 4 și pe care o respinge?

Răspuns: low, medium și high (documentația recomandă high ca punct de plecare). Respinge none: nivelul numit anterior astfel în versiunea sa preview se numește acum low.

2. Unde se află textul de gândire într-un răspuns cu raționament?

Răspuns: Într-un ThinkChunk (tip thinking) din lista message.content. Câmpul său thinking este el însuși o listă de obiecte TextChunk, din care citiți câmpul text. Răspunsul final se află într-un TextChunk de nivel superior.

3. Ce trebuie să reintroduceți în istoricul unei conversații multi-tur în Chat Completions?

Răspuns: Mesajul complet al asistentului, inclusiv fragmentele de gândire. Eliminarea gândirii economisește tokeni, dar degradează semnificativ calitatea tururilor ulterioare.

4. Codul dumneavoastră apelează încă magistral-medium-latest: ce trebuie să faceți?

Răspuns: Migrați imediat, deoarece Magistral a fost retras la 31 iulie 2026. Vizați Small 4 dacă calitatea este suficientă, altfel Large 4 cu reasoning_effort="high"; Medium 3.5, înlocuitorul desemnat, este el însuși depreciați până la 30 aprilie 2027. Eliminați prompt_mode și șablonul de gândire din prompturile de sistem.

5. Cum setați reasoning_effort într-un agent Mistral?

Răspuns: În câmpul completion_args al agentului, de exemplu completion_args={"reasoning_effort": "high"}. Cu API-ul Conversations, utilizați același câmp la fiecare start sau append.