Επιλογή του κατάλληλου επιπέδου συλλογισμού
Σε αυτήν τη σελίδα
Μάθημα αναθεωρημένο στις 2 Νοεμβρίου 2026. Προηγουμένως αντιπαρέβαλλε τον «ρυθμιζόμενο» συλλογισμό του Mistral Small με τον «εγγενή» συλλογισμό του Magistral, αλλά το Magistral αποσύρθηκε στις 31 Ιουλίου 2026. Η επιλογή πλέον βρίσκεται μεταξύ των γενικής χρήσης μοντέλων και των επιπέδων
reasoning_effort. Πηγές: Reasoning · Small 4 και Large 4 δελτία μοντέλων.
Δύο ρυθμιστικά αντί για μια γκάμα μοντέλων
Η επιλογή ενός μοντέλου συλλογισμού στη Mistral σήμαινε παλαιότερα την επιλογή μεταξύ δύο διακριτών σειρών. Σήμερα, σημαίνει τη ρύθμιση δύο διακοπτών: του μοντέλου (Small 4 για τις περισσότερες εργασίες, Large 4 για τις πιο δύσκολες περιπτώσεις) και του επιπέδου συλλογισμού (none ή high στο Small 4· low, medium ή high στο Large 4). Μια ενιαία εφαρμογή μπορεί, και συχνά πρέπει, να χρησιμοποιεί πολλαπλούς συνδυασμούς.
Ο πίνακας αποφάσεων
| Κατάσταση | Αρχική ρύθμιση | Γιατί |
|---|---|---|
| Ερώτηση γεγονότων, διατύπωση εκ νέου, εξαγωγή | Small 4, none | Δεν υπάρχει ανάγκη για συλλογισμό: θα προσέθετε μόνο καθυστέρηση και tokens |
| Υπολογισμός πολλών βημάτων, routine debugging, απλή σύγκριση | Small 4, high | Ο συλλογισμός διορθώνει σφάλματα αλυσιδωτής εκτέλεσης με μέτριο κόστος |
| Σύνοψη ή διατύπωση εκ νέου στο Large 4 | Large 4, low | Το Large 4 δεν δέχεται none· το low είναι το πιο οικονομικό του επίπεδο |
| Ανάλυση πολλών κριτηρίων, σχέδιο μετάβασης, δυσδιάκριτο σφάλμα | Large 4, medium και μετά high | Δοκιμάστε πρώτα το ενδιάμεσο επίπεδο· αυξήστε το αν η ποιότητα το απαιτεί |
| Κρίσιμη απόφαση (νομική, οικονομική, ιατρική) | Large 4, high + επαλήθευση | Ο συλλογισμός μειώνει τα σφάλματα αλλά δεν τα εξαλείφει: απαιτείται δεύτερος έλεγχος ή ανθρώπινη εποπτεία |
Αυτός ο πίνακας παρέχει σημεία εκκίνησης, όχι απόλυτες αλήθειες: οι δικές σας αξιολογήσεις καθορίζουν την τελική επιλογή. Θυμηθείτε επίσης ότι το Large 4 βρίσκεται σε Δημόσια Προεπισκόπηση από τις 2 Νοεμβρίου 2026.
Υπολογίστε πριν κλιμακώσετε
Οι αναφερόμενες τιμές (ανά εκατομμύριο tokens, καταγεγραμμένες στις 2 Νοεμβρίου 2026) σας επιτρέπουν να εκτιμήσετε το κόστος μιας ρύθμισης από το πεδίο usage στις αποκρίσεις:
RATES = { # USD per million tokens: (input, output)
"mistral-small-2603": (0.15, 0.60),
"mistral-large-4-0": (0.70, 2.10),
"mistral-medium-3-5": (1.50, 7.50), # deprecated, retirement on April 30, 2027
}
def cost(response, model):
"""Cost of a response, including reasoning (excluding cache discounts)."""
input_rate, output_rate = RATES[model]
u = response.usage
return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000
Αθροίστε αυτό το κόστος ανά τύπο αιτήματος για μερικές ημέρες πραγματικής κίνησης: αυτός ο αριθμός σας λέει εάν μια γενικευμένη ρύθμιση high είναι βιώσιμη.
Μια αρχιτεκτονική δρομολόγησης
Σε μια πραγματική εφαρμογή, τα περισσότερα αιτήματα είναι απλά. Η πληρωμή για συλλογισμό σε αυτά δεν προσφέρει αξία. Ο παρακάτω δρομολογητής ζητά πρώτα από το Small 4, χωρίς συλλογισμό, να εκτιμήσει την πολυπλοκότητα της ερώτησης και στη συνέχεια δρομολογεί το ερώτημα στην κατάλληλη ρύθμιση:
import os
from mistralai.client import Mistral
class ReasoningRouter:
"""Routes each question to a model and a reasoning level."""
def __init__(self):
self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def complexity(self, question):
r = self.client.chat.complete(
model="mistral-small-2603",
messages=[{"role": "user", "content":
f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
reasoning_effort="none",
)
try:
return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
except ValueError:
return 5 # conservative value if the response isn't a number
def respond(self, question, system_prompt=None):
score = self.complexity(question)
if score <= 3:
model, level = "mistral-small-2603", "none"
elif score <= 7:
model, level = "mistral-small-2603", "high"
else:
model, level = "mistral-large-4-0", "high"
messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
messages.append({"role": "user", "content": question})
return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)
Η κλήση ταξινόμησης κοστίζει ελάχιστα: μερικές δεκάδες tokens στο φθηνότερο μοντέλο, χωρίς συλλογισμό. Προσαρμόστε τα κατώφλια μετά από παρατήρηση, συγκρίνοντας την ποιότητα και το κόστος κάθε κλάδου.
Βέλτιστες πρακτικές για παραγωγή
Καταγράψτε τη χρήση ανά κλάδο. Για κάθε απόκριση, αποθηκεύστε το μοντέλο, το επίπεδο, τα usage.prompt_tokens, τα usage.completion_tokens και το υπολογισμένο κόστος παραπάνω. Χωρίς αυτούς τους αριθμούς, δεν μπορείτε να πείτε αν ο συλλογισμός αποδίδει.
Καθορίστε αναγνωριστικά με ημερομηνία. Στην παραγωγή, χρησιμοποιήστε το mistral-small-2603 αντί για το mistral-small-latest: ένα ψευδώνυμο μπορεί να αλλάξει σε μια νέα έκδοση χωρίς να αλλάξει ο κώδικάς σας. Κεντροποιήστε αυτά τα αναγνωριστικά σε μια ενιαία διαμόρφωση.
MODELS = {
"fast": ("mistral-small-2603", "none"),
"reasoning": ("mistral-small-2603", "high"),
"deep": ("mistral-large-4-0", "high"),
}
Σχεδιάστε μια εφεδρική λύση. Επειδή το Large 4 βρίσκεται σε Δημόσια Προεπισκόπηση, μια εφεδρική λύση προς το Small 4 σε λειτουργία high προστατεύει την υπηρεσία σας εάν η κλήση αποτύχει. Όλα τα σφάλματα HTTP του SDK κληρονομούν από το MistralError:
from mistralai.client import errors
def query_with_fallback(client, messages):
try:
return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
except errors.MistralError:
return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")
Παρακολουθήστε τις αποσύρσεις. Η σελίδα μοντέλων της Mistral αναφέρει ημερομηνίες απόσυρσης και παύσης λειτουργίας. Το Medium 3.5 θα αποσυρθεί στις 30 Απριλίου 2027: εάν το χρησιμοποιείτε, η προθεσμία έχει ήδη οριστεί.
Σύνοψη μαθήματος
Ο συλλογισμός παρέχει στο μοντέλο χώρο για να σκεφτεί πριν απαντήσει· στη Mistral, το διαμορφώνετε αυτό ανά αίτημα με το reasoning_effort, του οποίου οι τιμές εξαρτώνται από το μοντέλο. Η απόκριση φτάνει τότε ως θραύσματα—σκέψη και μετά απάντηση—τα οποία πρέπει να ξέρετε πώς να διαβάζετε, συμπεριλαμβανομένης της λειτουργίας streaming, και να αναπαράγετε πλήρως για συνομιλίες πολλών γύρων. Οι πράκτορες και το API Conversations μεταφέρουν την ίδια ρύθμιση στο completion_args. Το Magistral έχει αποσυρθεί: τα Small 4 και Large 4 αναλαμβάνουν, με το Medium 3.5 να serves μόνο ως μεταβατικό βήμα. Τέλος, ο συλλογισμός δικαιολογείται εκεί όπου υπάρχουν διαδρομές προς εξερεύνηση και σφάλματα προς εντοπισμό (μαθηματικά, κώδικας, αποφάσεις) και πρέπει πάντα να μετριέται: ποιότητα, tokens, καθυστέρηση.
Βασικά σημεία
- Δύο ρυθμιστικά: το μοντέλο (Small 4, Large 4) και το επίπεδο
reasoning_effort - Small 4 σε
noneγια απλές εργασίες, σεhighγια πολλαπλά βήματα· Large 4 για τις πιο δύσκολες περιπτώσεις - Υπολογίστε κάθε ρύθμιση από το
usageκαι τις επίσημες τιμές πριν την κλιμάκωση - Ένας δρομολογητής δεσμεύει τον συλλογισμό για ερωτήματα που ωφελούνται από αυτόν
- Στην παραγωγή: αναγνωριστικά με ημερομηνία, καταγραφή χρήσης, εφεδρική λύση από Large 4 σε Small 4
Ελέγξτε τις γνώσεις σας
Πέντε ερωτήσεις για την επικύρωση των βασικών σημείων του μαθήματος.
1. Ποιες τιμές reasoning_effort δέχεται το Mistral Large 4 και ποια απορρίπτει;
Απάντηση: low, medium και high (η τεκμηρίωση συνιστά το high ως σημείο εκκίνησης). Απορρίπτει το none: το επίπεδο που ονομαζόταν έτσι στην προεπισκόπησή του ονομάζεται πλέον low.
2. Πού βρίσκεται το κείμενο σκέψης σε μια απόκριση με συλλογισμό;
Απάντηση: Σε ένα ThinkChunk (τύπος thinking) μέσα στη λίστα message.content. Το πεδίο thinking του είναι ίδιο μια λίστα αντικειμένων TextChunk, από τα οποία διαβάζετε το πεδίο text. Η τελική απάντηση βρίσκεται σε ένα TextChunk ανώτατου επιπέδου.
3. Τι πρέπει να επαναφέρετε στο ιστορικό μιας συνομιλίας πολλών γύρων στις Chat Completions;
Απάντηση: Το πλήρες μήνυμα του βοηθού, συμπεριλαμβανομένων των θραυσμάτων σκέψης. Η αφαίρεση της σκέψης εξοικονομεί tokens αλλά υποβαθμίζει σημαντικά την ποιότητα των επόμενων γύρων.
4. Ο κώδικάς σας καλεί ακόμα το magistral-medium-latest: τι πρέπει να κάνετε;
Απάντηση: Μεταβείτε άμεσα, καθώς το Magistral αποσύρθηκε στις 31 Ιουλίου 2026. Στοχεύστε στο Small 4 εάν η ποιότητα αρκεί, διαφορετικά στο Large 4 με reasoning_effort="high"· το Medium 3.5, η καθορισμένη αντικατάσταση, είναι ίδιο αποσυρμένο έως τις 30 Απριλίου 2027. Αφαιρέστε το prompt_mode και το πρότυπο σκέψης από τα συστηματικά prompts.
5. Πώς ορίζετε το reasoning_effort σε έναν πράκτορα Mistral;
Απάντηση: Στο πεδίο completion_args του πράκτορα, για παράδειγμα completion_args={"reasoning_effort": "high"}. Με το API Conversations, χρησιμοποιήστε το ίδιο πεδίο σε κάθε start ή append.