Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Πολυτροπική Αρχιτεκτονική των Μοντέλων Mistral

Μάθημα 2 / 12 Ενημερώθηκε 29 Ιουλίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Πώς επεξεργάζεται ένα μοντέλο κείμενο και εικόνες;
  2. Ο Οπτικός Κωδικοποιητής (Vision Encoder)
  3. Σύντηξη Κειμένου-Εικόνας στο LLM
  4. Επίπτωση στην Καταμέτρηση Token
  5. Όρια Μεγέθους και Ανάλυσης
  6. Απλοποιημένη Αρχιτεκτονική
  7. Βασικά σημεία

Πώς επεξεργάζεται ένα μοντέλο κείμενο και εικόνες;

Όταν στέλνετε μια εικόνα σε ένα μοντέλο Mistral, αυτή δεν την «βλέπει» όπως ένας άνθρωπος. Η επεξεργασία βασίζεται σε μια αρχιτεκτονική δύο σταδίων: πρώτον, ένας οπτικός κωδικοποιητής (visual encoder) μετατρέπει την εικόνα σε μια ακολουθία αριθμητικών token· στη συνέχεια, το γλωσσικό μοντέλο επεξεργάζεται αυτά τα οπτικά token μαζί με τα token κειμένου από το prompt σας.

Αυτό το μάθημα μπορεί να φαίνεται θεωρητικό, αλλά στην πραγματικότητα αποτελεί το πιο συμφέρον τμήμα του μαθήματος από άποψη κόστους. Η κατανόηση αυτού του μηχανισμού εξηγεί γιατί μια εικόνα 4K δεν αποδίδει καλύτερα αποτελέσματα από μια εικόνα 1080p, γιατί ο μηνιαίος λογαριασμός σας εκτοξεύεται ταχύτερα με πέντε εικόνες παρά με πέντε παραγράφους και γιατί το μικροσκοπικό κείμενο σε ένα στιγμιότυπο οθόνης συχνά μεταγράφεται εσφαλμένα.

Ο Οπτικός Κωδικοποιητής (Vision Encoder)

Ο οπτικός κωδικοποιητής είναι ένα εξειδικευμένο νευρωνικό δίκτυο—συνήθως ένας Μετασχηματιστής Όρασης (Vision Transformer ή ViT)—που τεμαχίζει την εικόνα σε μικρά τετράγωνα τμήματα (patches), για παράδειγμα 14×14 εικονοστοιχεία, και τα μετατρέπει σε αριθμητικές ενσωματώσεις (embeddings). Η διαδικασία αποτελείται από πέντε βήματα:

  1. Αλλαγή μεγέθους: η εικόνα κλιμακώνεται σε μια τυπική ανάλυση (π.χ. 384×384 ή 768×768 εικονοστοιχεία)
  2. Εξαγωγή τμημάτων: η εικόνα με το νέο μέγεθος διαιρείται σε κανονικά τμήματα
  3. Προβολή: κάθε τμήμα μετατρέπεται σε ένα αριθμητικό διάνυσμα (embedding)
  4. Κωδικοποίηση θέσης: προστίθενται πληροφορίες θέσης για κάθε τμήμα
  5. Προσοχή: ο οπτικός μετασχηματιστής επεξεργάζεται την πλήρη ακολουθία

Το αποτέλεσμα είναι μια ακολουθία οπτικών token, πλήρως συγκρίσιμη με τα token κειμένου, με τη διαφορά ότι αντιπροσωπεύουν περιοχές της εικόνας και όχι θραύσματα λέξεων. Το πρώτο βήμα αξίζει την προσοχή σας: εξηγεί γιατί μια σάρωση τιμολογίου πλάτους 4.000 εικονοστοιχείων μειώνεται σε μερικές εκατοντάδες εικονοστοιχεία πριν καν ξεκινήσει η ανάλυση. Οι χαρακτήρες σε μικρογραφίες, που βρίσκονται ήδη στο όριο της αναγνωσιμότητας, καταλήγουν να γίνουν μερικά θολά εικονοστοιχεία.

Σύντηξη Κειμένου-Εικόνας στο LLM

Μόλις παραχθούν τα οπτικά token, εισάγονται στην ακολουθία εισόδου του γλωσσικού μοντέλου μαζί με τα token κειμένου. Το μοντέλο επεξεργάζεται τα πάντα ομοιόμορφα χάρη στον μηχανισμό διασταυρούμενης προσοχής (cross-attention).

[text tokens: "Describe this image"] + [visual tokens: patch1, patch2, ..., patchN]
                                    ↓
                          Language Model (LLM)
                                    ↓
                    [output tokens: "This image shows..."]

Έτσι, το μοντέλο μπορεί να «διαβάσει» ταυτόχρονα την εικόνα και το κείμενο, επιτρέποντάς του να απαντήσει σε συγκεκριμένες ερωτήσεις σχετικά με το οπτικό περιεχόμενο. Αυτό εξηγεί επίσης γιατί μια ερώτηση που τίθεται πριν από την εικόνα και μια που τίθεται μετά δεν αποδίδουν ακριβώς το ίδιο αποτέλεσμα: όλα βρίσκονται στην ίδια ακολουθία και η σειρά έχει σημασία.

Επίπτωση στην Καταμέτρηση Token

Κάθε εικόνα καταναλώνει έναν συγκεκριμένο αριθμό token, ανάλογα με την ανάλυσή της μετά την αλλαγή μεγέθους. Αυτό είναι το βασικό συμπέρασμα για την εκτίμηση του κόστους σας. Μια τυπική εικόνα, περίπου 768×768, καταναλώνει μεταξύ 800 και 1.500 token—ισοδύναμο με μία ή δύο σελίδες κειμένου. Οι μεγαλύτερες εικόνες αλλάζουν μέγεθος πριν από την επεξεργασία: η αποστολή μιας εικόνας 4K δεν κοστίζει περισσότερο από μια εικόνα 1080p, αλλά δεν σας προσφέρει κανένα όφελος. Σε αυτό το σύνολο, προσθέστε τα token από το prompt σας και την παραγόμενη απάντηση.

# Example: estimate the cost of a vision call
tokens_image = 1000  # average estimate
tokens_prompt = 50   # "Describe this image in detail"
tokens_response = 200  # estimated response

total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Estimated total tokens: {total_tokens}")
# → Estimated total tokens: 1250

Εκτελέστε αυτόν τον υπολογισμό για τον δικό σας όγκο δεδομένων πριν προχωρήσετε σε βιομηχανική κλίμακα: χίλιες εικόνες την ημέρα αντιπροσωπεύουν τουλάχιστον ένα εκατομμύριο token εισόδου, μετατοπίζοντας τη συζήτηση από το πρωτότυπο στον προϋπολογισμό.

Όρια Μεγέθους και Ανάλυσης

Το Mistral δέχεται μορφές JPEG, PNG, GIF (μόνο το πρώτο καρέ) και WebP, με μέγιστο μέγεθος περίπου 20 MB ανά εικόνα. Πολλές εικόνες μπορούν να συνυπάρχουν σε ένα μόνο μήνυμα, θέμα που θα καλύψουμε στο Μάθημα 6. Ο πιο αντιδιαισθητικός περιορισμός παραμένει η εσωτερική αλλαγή μεγέθους: η πολύ υψηλή ανάλυση δεν βελτιώνει τα αποτελέσματα· απλώς επιμηκύνει τον χρόνο μεταφοράς.

Η πρακτική συνέπεια είναι ότι πρέπει να αλλάζετε εσείς το μέγεθος των εικόνων εκ των προτέρων, αντί να αφήνετε το API να το κάνει μετά από μια περιττά βαριά μεταφόρτωση:

from PIL import Image

def prepare_image(path, max_size=1024):
    """Resizes an image before sending to optimize latency."""
    img = Image.open(path)
    img.thumbnail((max_size, max_size))
    img.save(path, quality=85)
    return path

Εισάγετε αυτή τη συνάρτηση ακριβώς πριν την κωδικοποίηση Base64 ή τη φιλοξενία URL. Σε μια παρτίδα φωτογραφιών smartphone 4 MB, μειώνει τον όγκο των μεταφερόμενων δεδομένων κατά έναν σημαντικό συντελεστή χωρίς σημαντική απώλεια ποιότητας για την ανάλυση.

Απλοποιημένη Αρχιτεκτονική

Συνολικά, η διαδρομή ενός αιτήματος ανάγεται σε πέντε βήματα: στέλνετε ένα μήνυμα που περιέχει κείμενο και μία ή περισσότερες εικόνες· το API αλλάζει το μέγεθος κάθε εικόνας και την στέλνει στον οπτικό κωδικοποιητή· τα προκύπτοντα οπτικά token συγχωνεύονται με τα token κειμένου· το μοντέλο παράγει μια απάντηση σε φυσική γλώσσα· εσείς την λαμβάνετε ακριβώς όπως σε μια τυπική κλήση κειμένου. Τίποτα δεν αλλάζει στον κώδικά σας στο πλευρό του API—το Mistral χειρίζεται όλη την πολυπλοκότητα—αλλά αυτό δεν σημαίνει ότι μπορείτε να αγνοήσετε το κόστος που συνεπάγεται για εσάς.

Βασικά σημεία

  • Οι εικόνες μετατρέπονται σε οπτικά token από έναν κωδικοποιητή Vision Transformer
  • Το LLM επεξεργάζεται αυτά τα οπτικά token ακριβώς όπως τα token κειμένου
  • Μια τυπική εικόνα καταναλώνει περίπου 800 έως 1.500 token
  • Οι εικόνες αλλάζουν μέγεθος εσωτερικά—δεν χρειάζεται να στέλνετε πολύ υψηλή ανάλυση
  • Η αλλαγή μεγέθους των εικόνων στην πλευρά του πελάτη μειώνει τον λανθάνοντα χρόνο χωρίς απώλεια ποιότητας