Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Φιλοξενία του Devstral τοπικά

Μάθημα 13 / 14 Ενημερώθηκε 2 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Γιατί να φιλοξενήσετε το Devstral τοπικά;
  2. Προτεινόμενα μοντέλα
  3. Απαιτήσεις υλικού
  4. Ανάπτυξη με vLLM
  5. Χρήση του τοπικού διακομιστή
  6. Εναλλακτικά πλαίσια
  7. Σύνδεση του Vibe με τον τοπικό διακομιστή
  8. Βασικά σημεία

Μάθημα ενημερώθηκε στις 2 Νοεμβρίου 2026 με βάση τη σελίδα Using offline models στην τεκμηρίωση του Vibe: Το Devstral έχει αφαιρεθεί από το API, αλλά το Devstral Small 2 παραμένει, μαζί με το Mistral Small 4, ως ένα από τα δύο προτεινόμενα ανοιχτά μοντέλα για τοπική χρήση. Οι εκτιμήσεις κόστους χωρίς πηγή έχουν αφαιρεθεί και η σύνδεση του Vibe με έναν τοπικό διακομιστή ακολουθεί πλέον την επίσημη σύνταξη config.toml. Πηγή: Using offline models.

Γιατί να φιλοξενήσετε το Devstral τοπικά;

Το Devstral Small 2 κυκλοφορεί με ανοιχτά βάρη υπό την άδεια Apache 2.0 (το Devstral 2, ο μεγάλος του αδερφός με 123 δισεκατομμύρια παραμέτρους, χρησιμοποιεί μια τροποποιημένη άδεια MIT). Παρόλο που αφαιρέθηκε από το Mistral API στις 31 Μαρτίου 2026, δεν έχει εξαφανιστεί: μπορείτε να το αναπτύξετε στους δικούς σας διακομιστές χωρίς να στείλετε ούτε μία γραμμή κώδικα σε εξωτερικό API, και η τεκμηρίωση του Vibe συνεχίζει να το προτείνει για αυτόν τον σκοπό.

Οι λόγοι συχνά επικαλύπτονται. Η ιδιωτικότητα έρχεται πρώτη: ο κώδικάς σας δεν εγκαταλείπει ποτέ τις υποδομές σας, τερματίζοντας οποιονδήποτε διάλογο σχετικά με τους όρους χρήσης ενός παρόχου. Ακολουθεί η καθυστέρηση (latency), καθώς κανένα ταξίδι δικτύου προς το Mistral API δεν παρεμβάλλεται μεταξύ των πληκτρολογήσεών σας και της πρότασης. Η δομή κόστους αλλάζει: πληρώνετε μια σταθερή τιμή για μια GPU αντί για χρέωση βάσει χρήσης, γεγονός που γίνεται συμφέρον μόλις μια ολόκληρη ομάδα κάνει ερωτήματα στο μοντέλο όλη την ημέρα. Τέλος, υπάρχει η συμμόρφωση, η οποία απαιτείται από ορισμένους κανονισμούς και τομείς όπως οι τράπεζες ή η άμυνα, καθώς και η διαθεσιμότητα, αφού καμία υπηρεσία τρίτων δεν μπορεί να διακόψει την εργασία σας.

Προτεινόμενα μοντέλα

Η τεκμηρίωση του Vibe προτείνει δύο ανοιχτά μοντέλα για τοπική χρήση:

  • Devstral Small 2 (mistralai/Devstral-Small-2-24B-Instruct-2512 στο Hugging Face): 24 δισεκατομμύρια παράμετροι, πυκνή αρχιτεκτονική, εκπαιδευμένο για πρακτορικές εργασίες και κωδικοποίηση, με το ελαφρύτερο αποτύπωμα υλικού.
  • Mistral Small 4: 119 δισεκατομμύρια παράμετροι σε αρχιτεκτονική μείγματος ειδικών (mixture-of-experts), με 6,5 δισεκατομμύρια ενεργές, ένα υβριδικό μοντέλο συλλογισμού και κωδικοποίησης με πλαίσιο 256.000 token, υπό την άδεια Apache 2.0.

Απαιτήσεις υλικού

Για αξιοπρεπή απόδοση σε μεγάλα πλαίσια, η τεκμηρίωση προτείνει μια ανάπτυξη FP8 με πλαίσιο περίπου 128.000 token:

ΔιαμόρφωσηΥλικόΑκρίβειαΠλαίσιο
ΠροτεινόμενηGPU H100 ή A100FP8~128.000 token
Σταθμός εργασίας ανάπτυξηςRTX 4090 ή οποιαδήποτε GPU 24 GB VRAM4-bit~32.000 token
Χωρίς GPUΕκφόρτωση CPU, με αρκετή RAM—— σημαντικά πιο αργή

Αυτοί οι αριθμοί ισχύουν για το Devstral Small 2. Το Mistral Small 4 απαιτεί πολύ περισσότερη μνήμη βίντεο για τη φόρτωση των βαρών του: υπολογίστε τουλάχιστον μία H100 80 GB σε FP8, και περισσότερη για μεγάλα πλαίσια. Στη συνέχεια, προσαρμόστε την ακρίβεια και το μήκος του πλαισίου στο υλικό σας.

Ανάπτυξη με vLLM

Το vLLM είναι το πλαίσιο συμπερασματολογίας (inference framework) που προτείνεται από την τεκμηρίωση του Vibe για την εξυπηρέτηση του Devstral. Η εγκατάσταση απαιτεί μόνο μία εντολή.

pip install vllm

Ο διακομιστής ξεκινά στη συνέχεια με μία μόνο γραμμή, με τις δύο επιλογές που καθιστούν το μοντέλο usable σε λειτουργία πράκτορα.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Τρεις παραλλαγές καλύπτουν τις περισσότερες πραγματικές καταστάσεις: διαχωρισμός του μοντέλου σε πολλαπλές GPU, μείωση της ακρίβειας όταν η VRAM είναι περιορισμένη, ή περικοπή του πλαισίου για τον ίδιο λόγο.

# Πολλαπλές GPU (αν έχετε 2+ GPU)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

# Μειωμένη ακρίβεια (για GPU με λιγότερη VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# Μειωμένο πλαίσιο (για εξοικονόμηση VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 32768 \
  --port 8080

Ακολουθεί τι ελέγχει η κάθε σημαία:

  • --tool-call-parser mistral — ενεργοποιεί την ανάλυση κλήσεων εργαλείων σε μορφή Mistral
  • --enable-auto-tool-choice — επιτρέπει στο μοντέλο να αποφασίζει πότε θα καλέσει ένα εργαλείο
  • --tensor-parallel-size — διαχωρίζει το μοντέλο σε πολλαπλές GPU
  • --dtype — ελέγχει την ακρίβεια (float16, bfloat16, float32)
  • --max-model-len — περιορίζει το μέγεθος του πλαισίου για εξοικονόμηση VRAM

Οι δύο πρώτες αξίζουν ιδιαίτερη προσοχή: η παράλειψή τους σας δίνει έναν διακομιστή που λειτουργεί άψογα για συνομιλία, αλλά αποτυγχάνει σιωπηλά μόλις ένας πράκτορας προσπαθήσει να καλέσει ένα εργαλείο. Αυτή είναι η πιο κοινή αιτία για την οποία μια τοπική ανάπτυξη κρίνεται «απογοητευτική».

Χρήση του τοπικού διακομιστή

Μόλις τρέξει το vLLM, η θύρα 8080 εκθέτει ένα API συμβατό με το OpenAI. Το Mistral SDK συνδέεται σε αυτό απλώς αλλάζοντας τη διεύθυνση URL του διακομιστή· το κλειδί δεν χρειάζεται πλέον.

from mistralai.client import Mistral

# Σημείωση προς τον τοπικό διακομιστή
client = Mistral(
    api_key="dummy",  # Δεν χρειάζεται κλειδί τοπικά
    server_url="http://localhost:8080",
)

response = client.chat.complete(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Ανάλυσε αυτόν τον κώδικα και πρότεινε βελτιώσεις."}
    ],
)

Το OpenAI SDK λειτουργεί εξίσου καλά, επιτρέποντάς σας να μεταφέρετε υπάρχοντα κώδικα στο τοπικό Devstral χωρίς να τον ξαναγράψετε.

from openai import OpenAI

client = OpenAI(
    api_key="dummy",
    base_url="http://localhost:8080/v1",
)

response = client.chat.completions.create(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Εξήγησε αυτόν τον κώδικα."}
    ],
)

Εναλλακτικά πλαίσια

Το vLLM δεν είναι ο μοναδικός δρόμος: το Devstral λειτουργεί με οποιοδήποτε πλαίσιο συμπερασματολογίας που εκθέτει ένα API συμβατό με το OpenAI. Η τεκμηρίωση του Vibe αναφέρει το llama.cpp, κατάλληλο για ρυθμίσεις χαμηλής VRAM χάρη στα κβαντισμένα μοντέλα GGUF, το LM Studio, το οποίο προσφέρει γραφικό περιβάλλον χωρίς γραμμή εντολών, και το Ollama. Ελέγξτε το ακριβές όνομα του μοντέλου και την κβάντιση σε κάθε εργαλείο πριν συγκρίνετε τα αποτελέσματα.

Σύνδεση του Vibe με τον τοπικό διακομιστή

Το Vibe δεν περιλαμβάνει ένα τοπικό μοντέλο: μόλις ο διακομιστής σας τρέξει, δηλώνετε έναν πάροχο και μια προεπιλογή μοντέλου στο config.toml. Για έναν διακομιστή συμβατό με OpenAI στη θύρα 8080:

active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Τρεις προφυλάξεις από την τεκμηρίωση: κρατήστε το active_model πάνω από τον πρώτο πίνακα [[...]], διαφορετικά το TOML θα το συνδέσει με αυτόν τον πίνακα· ορίστε το max_context_length στην προεπιλογή για να υποδείξετε το πλαίσιο του διακομιστή σας· και επαληθεύστε ότι ο διακομιστής επιστρέφει τη χρήση token στις ροές αποκρίσεων (stream_options.include_usage). Το Vibe παρέχει επίσης έναν προκαθορισμένο πάροχο, τον llamacpp, ο οποίος δείχνει στο http://127.0.0.1:8080/v1 χωρίς κλειδί: σε αυτή την περίπτωση, απλώς γράψτε provider = "llamacpp" στην προεπιλογή. Η εντολή /model εναλλάσσει τότε μεταξύ του τοπικού μοντέλου και των φιλοξενούμενων μοντέλων.

Για πλήρως offline λειτουργία, απενεργοποιήστε επίσης την τηλεμετρία και τους ελέγχους ενημέρωσης:

enable_telemetry = false
enable_update_checks = false

Με αυτές τις ρυθμίσεις και έναν τοπικό πάροχο, το CLI δεν έρχεται πλέον σε επαφή με το mistral.ai. Οι δεξιότητες, οι διακομιστές MCP και οι συνδετήρες που φτάνουν σε εξωτερικά συστήματα πρέπει να απενεργοποιηθούν ξεχωριστά.

Βασικά σημεία

  • Το Devstral έχει αφαιρεθεί από το API, αλλά το Devstral Small 2 (24B, Apache 2.0) παραμένει προτεινόμενο για τοπική χρήση, μαζί με το Mistral Small 4
  • Το vLLM είναι το προτεινόμενο πλαίσιο· τα --tool-call-parser mistral και --enable-auto-tool-choice είναι απαραίτητα για έναν πράκτορα
  • H100 ή A100 σε FP8 με πλαίσιο ~128k· μια GPU 24 GB σε 4-bit με πλαίσιο ~32k
  • Ο διακομιστής εκθέτει ένα API συμβατό με OpenAI, usable με το Mistral SDK ή το OpenAI SDK
  • Το Vibe συνδέεται με τον διακομιστή μέσω μιας προεπιλογής στο config.toml (ή του παρόχου llamacpp)· απενεργοποιήστε την τηλεμετρία και τις ενημερώσεις για offline χρήση