Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Ανάπτυξη του Devstral Τοπικά με vLLM

Μάθημα 13 / 14 Ενημερώθηκε 2 Νοεμβρίου 2026 Προχωρημένος
Σε αυτήν τη σελίδα
  1. Προετοιμασία της Ανάπτυξης
  2. Τι Επιτρέπει το Υλικό σας
  3. Εγκατάσταση του vLLM
  4. Εκκίνηση του Διακομιστή
  5. Προσαρμογή της Εντολής στο Μηχάνημά σας
  6. Σύνδεση του Vibe και Επαλήθευση
  7. Τα Τρία Προβλήματα που Θα Συναντήσετε
  8. Βασικά σημεία

Μάθημα ενημερώθηκε στις 2 Νοεμβρίου 2026 βάσει της σελίδας Using offline models στην τεκμηρίωση του Vibe. Το Devstral έχει αφαιρεθεί από το Mistral API, αλλά τα βάρη του παραμένουν διαθέσιμα: τα Devstral Small 2 και Mistral Small 4 είναι τα δύο προτεινόμενα ανοιχτά μοντέλα για τοπική χρήση. Το Vibe δεν περιλαμβάνει ενσωματωμένο τοπικό μοντέλο: το συνδέετε με έναν διακομιστή συμβατό με OpenAI μέσω μιας προεπιλογής στο config.toml και στη συνέχεια εναλλάσσεστε χρησιμοποιώντας την εντολή /model. Πηγή: Using offline models.

Προετοιμασία της Ανάπτυξης

Η τοπική ανάπτυξη του Devstral σημαίνει την εκτέλεση ενός διακομιστή συμπερασμάτων (inference server) στον υπολογιστή σας, ο οποίος εκθέτει ένα API συμβατό με το OpenAI. Στη συνέχεια, το Vibe συνδέεται σε αυτόν ακριβώς όπως θα συνέδεε με το cloud της Mistral. Αυτή η συμβατότητα διεπαφής καθιστά την εναλλαγή αόρατη· τα εργαλεία σας δεν έχουν κανέναν λόγο να γνωρίζουν από πού προέρχονται οι απαντήσεις. Το προτεινόμενο πλαίσιο για αυτόν τον ρόλο είναι το vLLM, μια μηχανή συμπερασμάτων υψηλής απόδοσης που αναπτύχθηκε από την κοινότητα ανοιχτού κώδικα.

Τι Επιτρέπει το Υλικό σας

Πριν εγκαταστήσετε οτιδήποτε, ελέγξτε την κάρτα γραφικών (GPU) σας. Αυτή καθορίζει την ακρίβεια που μπορείτε να χρησιμοποιήσετε και, κατά συνέπεια, το μέγεθος του παραθύρου συμφραζομένων (context window) που θα έχετε στη διάθεσή σας.

Διαμόρφωση GPU VRAM Ακρίβεια Συμφραζόμενα
Προτεινόμενη NVIDIA H100 / A100 80 GB FP8 ~128K tokens
Εναλλακτική RTX 4090 / RTX 6000 24–48 GB 4-bit (quantized) ~32K tokens
Μόνο CPU Χωρίς GPU 64+ GB RAM - Αργό (δεν συνιστάται)

Σημαντική σημείωση: Η διαμόρφωση μόνο με CPU είναι λειτουργική αλλά εξαιρετικά αργή για ένα μοντέλο 24B. Είναι κατάλληλη μόνο για δοκιμές, όχι για καθημερινή χρήση. Με άλλα λόγια, σας επιτρέπει να επαληθεύσετε ότι η αλυσίδα λειτουργεί, αλλά όχι ότι μπορείτε να εργαστείτε πρακτικά με αυτήν.

Εγκατάσταση του vLLM

Η απαίτηση λογισμικού είναι ελάχιστη: Python 3.10 ή νεότερη έκδοση, ακολουθούμενη από μια εντολή pip install.

# Απαιτείται Python 3.10+
python3 --version

# Εγκατάσταση vLLM
pip install vllm

Στη συνέχεια, επαληθεύστε ότι οι οδηγοί (drivers) της NVIDIA και το CUDA είναι εγκατεστημένα και λειτουργικά. Αυτή η εντολή αποτελεί την καλύτερη δοκιμή end-to-end: αν εμφανίσει την GPU σας και μια έκδοση CUDA, το επίπεδο χαμηλής στάθμης είναι υγιές και τυχόν μετέπειτα σφάλματα θα προέρχονται από αλλού.

nvidia-smi
# Πρέπει να εμφανίζει την GPU σας και την έκδοση CUDA

Εκκίνηση του Διακομιστή

Η εντολή εκκίνησης αποτελείται από τέσσερα ορίσματα, δύο εκ των οποίων είναι απαραίτητα για τη λειτουργία με το Vibe.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Ας αναλύσουμε τις σημαίες (flags):

  • mistralai/Devstral-Small-2-24B-Instruct-2512: Το μοντέλο Hugging Face προς φόρτωση
  • --tool-call-parser mistral: Ενεργοποιεί την ανάλυση κλήσεων εργαλείων σε μορφή Mistral
  • --enable-auto-tool-choice: Επιτρέπει στο μοντέλο να επιλέγει αυτόματα τα εργαλεία του
  • --port 8080: Η θύρα ακρόασης του διακομιστή

Οι δύο σημαίες που σχετίζονται με τα εργαλεία αξίζουν προσοχής. Χωρίς αυτές, ο διακομιστής θα απαντούσε στις ερωτήσεις σας, αλλά το μοντέλο δεν θα μπορούσε πλέον να διαβάσει ένα αρχείο ή να εκτελέσει μια εντολή. Το Vibe θα μετατρεπόταν σε έναν απλό chatbot, κάτι που δεν είναι ο στόχος.

Προσαρμογή της Εντολής στο Μηχάνημά σας

Αν διαθέτετε πολλαπλές GPU, ο παραλληλισμός τανυστών (tensor parallelism) κατανέμει το μοντέλο σε όλες τις κάρτες. Η συνδυασμένη VRAM επιτρέπει τότε ένα ευρύτερο παράθυρο συμφραζομένων.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

Σε μια πιο modest διαμόρφωση, πρέπει να μειώσετε την ακρίβεια. Μια H100 ή A100 διαχειρίζεται FP8· μια RTX 4090 θα χρησιμοποιήσει κβάντιση 4-bit με AWQ, με κόστος μια ελαφριά απώλεια ποιότητας που αντισταθμίζεται πλήρως από το γεγονός ότι το μοντέλο χωράει τελικά στη μνήμη.

# FP8 σε H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# 4-bit σε RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --quantization awq \
  --port 8080

Ο τελευταίος μοχλός όταν η VRAM παραμένει ανεπαρκής είναι η μείωση του μέγιστου μήκους συμφραζομένων. Η cache προσοχής (attention cache) καταναλώνει μνήμη ανάλογα με τα συμφραζόμενα, και η μείωση στα 16.384 tokens συχνά ελευθερώνει ό,τι έλειπε για την εκκίνηση.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 16384 \
  --port 8080

Σύνδεση του Vibe και Επαλήθευση

Ο διακομιστής τρέχει· τώρα πρέπει να πείτε στο Vibe να τον χρησιμοποιήσει. Το Vibe δεν περιλαμβάνει ενσωματωμένο τοπικό μοντέλο: δηλώστε έναν πάροχο και μια προεπιλογή μοντέλου στο config.toml.

# ~/.vibe/config.toml
active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Κρατήστε το active_model πάνω από τον πρώτο πίνακα [[...]], διαφορετικά το TOML θα το προσ_ATTACH_σει σε αυτόν τον πίνακα. Ορίστε το max_context_length στην προεπιλογή για να υποδείξετε τα συμφραζόμενα του διακομιστή σας, το οποίο πρέπει επίσης να επιστρέφει τη χρήση σε tokens στις ροές απαντήσεων (stream_options.include_usage). Πιο σύντομη εκδοχή: Το Vibe παρέχει έναν προκαθορισμένο πάροχο, τον llamacpp, ο οποίος δείχνει στο http://127.0.0.1:8080/v1 χωρίς κλειδί· σε αυτή την περίπτωση, γράψτε provider = "llamacpp" στην προεπιλογή, χωρίς μπλοκ [[providers]]. Σε μια συνεδρία, η εντολή /model εναλλάσσει μεταξύ του τοπικού μοντέλου και των φιλοξενούμενων μοντέλων.

Δοκιμάστε την αλυσίδα σε δύο επίπεδα: πρώτα το raw API, το οποίο επιβεβαιώνει ότι το μοντέλο έχει φορτωθεί, και στη συνέχεια ένα πραγματικό αίτημα στο Vibe για να επικυρώσετε ότι οι κλήσεις εργαλείων λειτουργούν.

# Δοκιμή άμεσου API
curl http://localhost:8080/v1/models

# Δοκιμή στο Vibe (ο πράκτορας ask ζητά επιβεβαίωση πριν από κάθε εργαλείο)
vibe --agent ask
> List files in the current directory

Για καθημερινή χρήση, η χειροκίνητη επανεκκίνηση της εντολής γίνεται γρήγορα κουραστική. Μια υπηρεσία systemd εκκινεί τον διακομιστή κατά την εκκίνηση του συστήματος και τον επανεκκινεί σε περίπτωση κατάρρευσης.

# Δημιουργία υπηρεσίας systemd
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target

[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl enable --now vllm-devstral

Τα Τρία Προβλήματα που Θα Συναντήσετε

Ένα σφάλμα CUDA out of memory σημαίνει ότι το μοντέλο δεν χωράει: μειώστε το --max-model-len ή μεταβείτε σε κβάντιση 4-bit. Η βραδύτητα κατά την πολύ πρώτη εκκίνηση είναι φυσιολογική και δεν αποτελεί σύμπτωμα· η αρχική εκκίνηση κατεβάζει και φορτώνει το μοντέλο, περίπου 14 GB, και οι επόμενες εκκινήσεις επωφελούνται από την cache. Τέλος, αν το Vibe δεν μπορεί να βρει τον τοπικό διακομιστή, απλώς ελέγξτε ότι η θύρα 8080 ακούει πριν προχωρήσετε σε άλλους ελέγχους.

curl http://localhost:8080/health

Βασικά σημεία

  • Το vLLM είναι το προτεινόμενο πλαίσιο για την εξυπηρέτηση του Devstral τοπικά
  • Οι σημαίες --tool-call-parser mistral και --enable-auto-tool-choice είναι υποχρεωτικές
  • Μια H100/A100 προσφέρει FP8 και 128K συμφραζόμενα· μια RTX 4090 προσφέρει 4-bit και 32K
  • Μειώστε το --max-model-len αν η VRAM είναι ανεπαρκής
  • Συνδέστε το Vibe μέσω ενός παρόχου και μιας προεπιλογής μοντέλου στο config.toml (ή του προκαθορισμένου παρόχου llamacpp) και στη συνέχεια χρησιμοποιήστε το /model
  • Εκτελέστε το vLLM ως υπηρεσία systemd για καθημερινή χρήση