Ανάπτυξη του Devstral Τοπικά με vLLM
Σε αυτήν τη σελίδα
Μάθημα ενημερώθηκε στις 2 Νοεμβρίου 2026 βάσει της σελίδας Using offline models στην τεκμηρίωση του Vibe. Το Devstral έχει αφαιρεθεί από το Mistral API, αλλά τα βάρη του παραμένουν διαθέσιμα: τα Devstral Small 2 και Mistral Small 4 είναι τα δύο προτεινόμενα ανοιχτά μοντέλα για τοπική χρήση. Το Vibe δεν περιλαμβάνει ενσωματωμένο τοπικό μοντέλο: το συνδέετε με έναν διακομιστή συμβατό με OpenAI μέσω μιας προεπιλογής στο
config.tomlκαι στη συνέχεια εναλλάσσεστε χρησιμοποιώντας την εντολή/model. Πηγή: Using offline models.
Προετοιμασία της Ανάπτυξης
Η τοπική ανάπτυξη του Devstral σημαίνει την εκτέλεση ενός διακομιστή συμπερασμάτων (inference server) στον υπολογιστή σας, ο οποίος εκθέτει ένα API συμβατό με το OpenAI. Στη συνέχεια, το Vibe συνδέεται σε αυτόν ακριβώς όπως θα συνέδεε με το cloud της Mistral. Αυτή η συμβατότητα διεπαφής καθιστά την εναλλαγή αόρατη· τα εργαλεία σας δεν έχουν κανέναν λόγο να γνωρίζουν από πού προέρχονται οι απαντήσεις. Το προτεινόμενο πλαίσιο για αυτόν τον ρόλο είναι το vLLM, μια μηχανή συμπερασμάτων υψηλής απόδοσης που αναπτύχθηκε από την κοινότητα ανοιχτού κώδικα.
Τι Επιτρέπει το Υλικό σας
Πριν εγκαταστήσετε οτιδήποτε, ελέγξτε την κάρτα γραφικών (GPU) σας. Αυτή καθορίζει την ακρίβεια που μπορείτε να χρησιμοποιήσετε και, κατά συνέπεια, το μέγεθος του παραθύρου συμφραζομένων (context window) που θα έχετε στη διάθεσή σας.
| Διαμόρφωση | GPU | VRAM | Ακρίβεια | Συμφραζόμενα |
|---|---|---|---|---|
| Προτεινόμενη | NVIDIA H100 / A100 | 80 GB | FP8 | ~128K tokens |
| Εναλλακτική | RTX 4090 / RTX 6000 | 24–48 GB | 4-bit (quantized) | ~32K tokens |
| Μόνο CPU | Χωρίς GPU | 64+ GB RAM | - | Αργό (δεν συνιστάται) |
Σημαντική σημείωση: Η διαμόρφωση μόνο με CPU είναι λειτουργική αλλά εξαιρετικά αργή για ένα μοντέλο 24B. Είναι κατάλληλη μόνο για δοκιμές, όχι για καθημερινή χρήση. Με άλλα λόγια, σας επιτρέπει να επαληθεύσετε ότι η αλυσίδα λειτουργεί, αλλά όχι ότι μπορείτε να εργαστείτε πρακτικά με αυτήν.
Εγκατάσταση του vLLM
Η απαίτηση λογισμικού είναι ελάχιστη: Python 3.10 ή νεότερη έκδοση, ακολουθούμενη από μια εντολή pip install.
# Απαιτείται Python 3.10+
python3 --version
# Εγκατάσταση vLLM
pip install vllm
Στη συνέχεια, επαληθεύστε ότι οι οδηγοί (drivers) της NVIDIA και το CUDA είναι εγκατεστημένα και λειτουργικά. Αυτή η εντολή αποτελεί την καλύτερη δοκιμή end-to-end: αν εμφανίσει την GPU σας και μια έκδοση CUDA, το επίπεδο χαμηλής στάθμης είναι υγιές και τυχόν μετέπειτα σφάλματα θα προέρχονται από αλλού.
nvidia-smi
# Πρέπει να εμφανίζει την GPU σας και την έκδοση CUDA
Εκκίνηση του Διακομιστή
Η εντολή εκκίνησης αποτελείται από τέσσερα ορίσματα, δύο εκ των οποίων είναι απαραίτητα για τη λειτουργία με το Vibe.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Ας αναλύσουμε τις σημαίες (flags):
mistralai/Devstral-Small-2-24B-Instruct-2512: Το μοντέλο Hugging Face προς φόρτωση--tool-call-parser mistral: Ενεργοποιεί την ανάλυση κλήσεων εργαλείων σε μορφή Mistral--enable-auto-tool-choice: Επιτρέπει στο μοντέλο να επιλέγει αυτόματα τα εργαλεία του--port 8080: Η θύρα ακρόασης του διακομιστή
Οι δύο σημαίες που σχετίζονται με τα εργαλεία αξίζουν προσοχής. Χωρίς αυτές, ο διακομιστής θα απαντούσε στις ερωτήσεις σας, αλλά το μοντέλο δεν θα μπορούσε πλέον να διαβάσει ένα αρχείο ή να εκτελέσει μια εντολή. Το Vibe θα μετατρεπόταν σε έναν απλό chatbot, κάτι που δεν είναι ο στόχος.
Προσαρμογή της Εντολής στο Μηχάνημά σας
Αν διαθέτετε πολλαπλές GPU, ο παραλληλισμός τανυστών (tensor parallelism) κατανέμει το μοντέλο σε όλες τις κάρτες. Η συνδυασμένη VRAM επιτρέπει τότε ένα ευρύτερο παράθυρο συμφραζομένων.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
Σε μια πιο modest διαμόρφωση, πρέπει να μειώσετε την ακρίβεια. Μια H100 ή A100 διαχειρίζεται FP8· μια RTX 4090 θα χρησιμοποιήσει κβάντιση 4-bit με AWQ, με κόστος μια ελαφριά απώλεια ποιότητας που αντισταθμίζεται πλήρως από το γεγονός ότι το μοντέλο χωράει τελικά στη μνήμη.
# FP8 σε H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# 4-bit σε RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--quantization awq \
--port 8080
Ο τελευταίος μοχλός όταν η VRAM παραμένει ανεπαρκής είναι η μείωση του μέγιστου μήκους συμφραζομένων. Η cache προσοχής (attention cache) καταναλώνει μνήμη ανάλογα με τα συμφραζόμενα, και η μείωση στα 16.384 tokens συχνά ελευθερώνει ό,τι έλειπε για την εκκίνηση.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 16384 \
--port 8080
Σύνδεση του Vibe και Επαλήθευση
Ο διακομιστής τρέχει· τώρα πρέπει να πείτε στο Vibe να τον χρησιμοποιήσει. Το Vibe δεν περιλαμβάνει ενσωματωμένο τοπικό μοντέλο: δηλώστε έναν πάροχο και μια προεπιλογή μοντέλου στο config.toml.
# ~/.vibe/config.toml
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Κρατήστε το active_model πάνω από τον πρώτο πίνακα [[...]], διαφορετικά το TOML θα το προσ_ATTACH_σει σε αυτόν τον πίνακα. Ορίστε το max_context_length στην προεπιλογή για να υποδείξετε τα συμφραζόμενα του διακομιστή σας, το οποίο πρέπει επίσης να επιστρέφει τη χρήση σε tokens στις ροές απαντήσεων (stream_options.include_usage). Πιο σύντομη εκδοχή: Το Vibe παρέχει έναν προκαθορισμένο πάροχο, τον llamacpp, ο οποίος δείχνει στο http://127.0.0.1:8080/v1 χωρίς κλειδί· σε αυτή την περίπτωση, γράψτε provider = "llamacpp" στην προεπιλογή, χωρίς μπλοκ [[providers]]. Σε μια συνεδρία, η εντολή /model εναλλάσσει μεταξύ του τοπικού μοντέλου και των φιλοξενούμενων μοντέλων.
Δοκιμάστε την αλυσίδα σε δύο επίπεδα: πρώτα το raw API, το οποίο επιβεβαιώνει ότι το μοντέλο έχει φορτωθεί, και στη συνέχεια ένα πραγματικό αίτημα στο Vibe για να επικυρώσετε ότι οι κλήσεις εργαλείων λειτουργούν.
# Δοκιμή άμεσου API
curl http://localhost:8080/v1/models
# Δοκιμή στο Vibe (ο πράκτορας ask ζητά επιβεβαίωση πριν από κάθε εργαλείο)
vibe --agent ask
> List files in the current directory
Για καθημερινή χρήση, η χειροκίνητη επανεκκίνηση της εντολής γίνεται γρήγορα κουραστική. Μια υπηρεσία systemd εκκινεί τον διακομιστή κατά την εκκίνηση του συστήματος και τον επανεκκινεί σε περίπτωση κατάρρευσης.
# Δημιουργία υπηρεσίας systemd
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target
[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl enable --now vllm-devstral
Τα Τρία Προβλήματα που Θα Συναντήσετε
Ένα σφάλμα CUDA out of memory σημαίνει ότι το μοντέλο δεν χωράει: μειώστε το --max-model-len ή μεταβείτε σε κβάντιση 4-bit. Η βραδύτητα κατά την πολύ πρώτη εκκίνηση είναι φυσιολογική και δεν αποτελεί σύμπτωμα· η αρχική εκκίνηση κατεβάζει και φορτώνει το μοντέλο, περίπου 14 GB, και οι επόμενες εκκινήσεις επωφελούνται από την cache. Τέλος, αν το Vibe δεν μπορεί να βρει τον τοπικό διακομιστή, απλώς ελέγξτε ότι η θύρα 8080 ακούει πριν προχωρήσετε σε άλλους ελέγχους.
curl http://localhost:8080/health
Βασικά σημεία
- Το vLLM είναι το προτεινόμενο πλαίσιο για την εξυπηρέτηση του Devstral τοπικά
- Οι σημαίες
--tool-call-parser mistralκαι--enable-auto-tool-choiceείναι υποχρεωτικές - Μια H100/A100 προσφέρει FP8 και 128K συμφραζόμενα· μια RTX 4090 προσφέρει 4-bit και 32K
- Μειώστε το
--max-model-lenαν η VRAM είναι ανεπαρκής - Συνδέστε το Vibe μέσω ενός παρόχου και μιας προεπιλογής μοντέλου στο
config.toml(ή του προκαθορισμένου παρόχουllamacpp) και στη συνέχεια χρησιμοποιήστε το/model - Εκτελέστε το vLLM ως υπηρεσία systemd για καθημερινή χρήση