Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Izvēlēties pareizo spriešanas līmeni

Nodarbība 12 no 12 Atjaunota 2026. gada 2. novembris Programmētājs
Šajā lapā
  1. Divi regulatori modeļu rindas vietā
  2. Lēmumu matrica
  3. Aprēķini pirms mērogošanas
  4. Maršrutēšanas arhitektūra
  5. Labākā prakse ražošanas vidē
  6. Kursu kopsavilkums
  7. Galvenās atziņas
  8. Pārbaudi savas zināšanas

Nodarbība pārrakstīta 2026. gada 2. novembrī. Iepriekš tā salīdzināja Mistral Small “regulējamo” spriešanu ar Magistral “dabisko” spriešanu, taču Magistral tika izslēgts no ekspluatācijas 2026. gada 31. jūlijā. Izvēle tagad ir starp vispārējiem modeļiem un reasoning_effort līmeņiem. Avoti: Reasoning · Small 4 un Large 4 modeļu kartes.

Divi regulatori modeļu rindas vietā

Izvēlēties spriešanas modeli pie Mistral agrāk nozīmēja izvēlēties starp divām atšķirīgām modeļu rindām. Šodien tas nozīmē regulēt divus regulatorus: modeli (Small 4 lielākajai daļai uzdevumu, Large 4 vissarežģītākajiem gadījumiem) un spriešanas līmeni (none vai high pie Small 4; low, medium vai high pie Large 4). Viena lietotne var un bieži vien vajadzētu izmantot vairākas kombinācijas.

Lēmumu matrica

SituācijaSākotnējais iestatījumsKāpēc
Faktisks jautājums, pārfrazēšana, ekstrakcijaSmall 4, noneNav ko apsvērt: spriešana tikai palielinātu latentumu un tokenu skaitu
Daudzsoļu aprēķins, rutīnas atkļūdošana, vienkārša salīdzināšanaSmall 4, highSpriešana labo ķēdes kļūdas par mērenu cenu
Kopsavilkums vai pārfrazēšana, izmantojot Large 4Large 4, lowLarge 4 nepieņem none; low ir tā ekonomiskākais līmenis
Daudzkritēriju analīze, migrācijas plāns, smalka kļūdaLarge 4, medium, tad highVispirms pārbaudi starplīmeni; paaugstini to, ja kvalitāte to prasa
Kritisks lēmums (juridisks, finanšu, medicīnisks)Large 4, high + verifikācijaSpriešana samazina kļūdas, bet neizslēdz tās: otrā caurlaide vai cilvēka pārskats joprojām ir nepieciešams

Šī matrica sniedz sākumpunktus, nevis absolūtas patiesības: tavs paša novērtējums izšķir. Atceries arī, ka Large 4 kopš 2026. gada 2. novembra atrodas publiskā priekšskatījumā (Public Preview).

Aprēķini pirms mērogošanas

Norādītās likmes (par miljonu tokeniem, reģistrētas 2026. gada 2. novembrī) ļauj novērtēt iestatījuma izmaksas, izmantojot lauku usage atbildēs:

RATES = {  # USD par miljonu tokeniem: (ievade, izvade)
    "mistral-small-2603": (0.15, 0.60),
    "mistral-large-4-0": (0.70, 2.10),
    "mistral-medium-3-5": (1.50, 7.50),   # novecojis, izslēgšana no ekspluatācijas 2027. gada 30. aprīlī
}

def cost(response, model):
    """Atbildes izmaksas, ieskaitot spriešanu (izņemot kešatmiņas atlaides)."""
    input_rate, output_rate = RATES[model]
    u = response.usage
    return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000

Saskaiti šīs izmaksas par pieprasījuma veidu vairāku dienu reālas satiksmes laikā: šis skaitlis tev pateiks, vai vispārināts high iestatījums ir ilgtspējīgs.

Maršrutēšanas arhitektūra

Reālā lietotnē lielākā daļa pieprasījumu ir vienkārši. Spriešanas apmaksa par tiem nerada papildu vērtību. Tālāk redzamais maršrutētājs vispirms lūdz Small 4 bez spriešanas novērtēt jautājuma sarežģītību, pēc tam novirza vaicājumu atbilstošajam iestatījumam:

import os
from mistralai.client import Mistral

class ReasoningRouter:
    """Novirza katru jautājumu modelim un spriešanas līmenim."""

    def __init__(self):
        self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    def complexity(self, question):
        r = self.client.chat.complete(
            model="mistral-small-2603",
            messages=[{"role": "user", "content":
                f"Novērtē šī jautājuma sarežģītību no 0 līdz 10. Atbildi tikai ar skaitli: {question}"}],
            reasoning_effort="none",
        )
        try:
            return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
        except ValueError:
            return 5  # konservatīva vērtība, ja atbilde nav skaitlis

    def respond(self, question, system_prompt=None):
        score = self.complexity(question)
        if score <= 3:
            model, level = "mistral-small-2603", "none"
        elif score <= 7:
            model, level = "mistral-small-2603", "high"
        else:
            model, level = "mistral-large-4-0", "high"
        messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
        messages.append({"role": "user", "content": question})
        return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)

Klasifikācijas izsaukums maksā maz: dažas desmitas tokeni lētākajā modelī bez spriešanas. Pielāgo sliekšņus pēc novērošanas, salīdzinot katra zara kvalitāti un izmaksas.

Labākā prakse ražošanas vidē

Reģistrē lietojumu pa zariem. Katrai atbildei saglabā modeli, līmeni, usage.prompt_tokens, usage.completion_tokens un iepriekš aprēķinātās izmaksas. Bez šiem skaitļiem tu nevari noteikt, vai spriešana atmaksājas.

Fiksē datētus identifikatorus. Ražošanas vidē izmanto mistral-small-2603, nevis mistral-small-latest: alians var pāriet uz jaunu versiju, nemainot tavu kodu. Centralizē šos identifikatorus vienā konfigurācijā.

MODELS = {
    "fast": ("mistral-small-2603", "none"),
    "reasoning": ("mistral-small-2603", "high"),
    "deep": ("mistral-large-4-0", "high"),
}

Plāno rezerves variantu. Tā kā Large 4 atrodas publiskā priekšskatījumā, rezerves pāreja uz Small 4 režīmā high aizsargā tavu servisu, ja izsaukums neizdodas. Visas SDK HTTP kļūdas mantotas no MistralError:

from mistralai.client import errors

def query_with_fallback(client, messages):
    try:
        return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
    except errors.MistralError:
        return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")

Sekojiet līdzi novecošanai. Mistral modeļu lapā ir norādīti novecošanas un izslēgšanas no ekspluatācijas datumi. Medium 3.5 tiks izslēgts no ekspluatācijas 2027. gada 30. aprīlī: ja to izmanto, termiņš jau ir noteikts.

Kursu kopsavilkums

Spriešana dod modelim vietu padomāt pirms atbildēšanas; pie Mistral tu to konfigurē katram pieprasījumam ar reasoning_effort, kura vērtības ir atkarīgas no modeļa. Atbilde tad nonāk fragmentos — domāšana, tad atbilde —, kas tev jāprot lasīt, tostarp straumēšanas režīmā, un pilnībā atkārtot daudzsoļu sarunām. Aģenti un Conversations API nes to pašu iestatījumu laukā completion_args. Magistral ir izslēgts: Small 4 un Large 4 pārņem vadību, bet Medium 3.5 kalpo tikai kā pārejas posms. Visbeidzot, spriešana ir attaisnojama tur, kur ir ceļi, ko izpētīt, un kļūdas, ko uztvert (matemātika, kods, lēmumi), un tā vienmēr ir jāmēra: kvalitāte, tokeni, latentums.

Galvenās atziņas

  • Divi regulatori: modelis (Small 4, Large 4) un reasoning_effort līmenis
  • Small 4 režīmā none vienkāršiem uzdevumiem, režīmā high daudzsoļu uzdevumiem; Large 4 vissarežģītākajiem gadījumiem
  • Aprēķini katru iestatījumu no usage un oficiālajām likmēm pirms mērogošanas
  • Maršrutētājs rezervē spriešanu vaicājumiem, kuriem tas nāk par labu
  • Ražošanas vidē: datēti identifikatori, lietojuma žurnāli, rezerves pāreja no Large 4 uz Small 4

Pārbaudi savas zināšanas

Pieci jautājumi, lai validētu kursa būtību.

1. Kādas reasoning_effort vērtības pieņem Mistral Large 4 un kuru tas noraida?

Atbilde: low, medium un high (dokumentācija iesaka high kā sākumpunktu). Tas noraida none: līmenis, ko tā priekšskatījumā agrāk dēvēja par none, tagad ir pārdēvēts par low.

2. Kur atrodas domāšanas teksts atbildē ar spriešanu?

Atbilde: ThinkChunk (tips thinking) sarakstā message.content. Tā lauks thinking pats par sevi ir TextChunk objektu saraksts, no kura tu lasi lauku text. Galīgā atbilde atrodas augšējā līmeņa TextChunk.

3. Kas jāievieto atpakaļ daudzsoļu sarunas vēsturē Chat Completions?

Atbilde: Pilns asistenta ziņojums, ieskaitot domāšanas fragmentus. Domāšanas noņemšana ietaupa tokenus, bet būtiski pasliktina turpmāko soļu kvalitāti.

4. Tavs kods joprojām izsauc magistral-medium-latest: kas jādara?

Atbilde: Migrē nekavējoties, jo Magistral tika izslēgts no ekspluatācijas 2026. gada 31. jūlijā. Mērķē uz Small 4, ja kvalitāte ir pietiekama, pretējā gadījumā uz Large 4 ar reasoning_effort="high"; Medium 3.5, kas ir noteiktais aizstājējs, pats ir novecojis līdz 2027. gada 30. aprīlim. Noņem prompt_mode un domāšanas veidni no sistēmas uzvednēm.

5. Kā iestatīt reasoning_effort Mistral aģentā?

Atbilde: Aģenta laukā completion_args, piemēram, completion_args={"reasoning_effort": "high"}. Izmantojot Conversations API, izmanto to pašu lauku katrā start vai append.