Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Επόμενα βήματα: Document AI, Function Calling και Πολυτροπικές Ροές Εργασίας

Μάθημα 12 / 12 Ενημερώθηκε 3 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Πέρα από το Vision API
  2. Mistral Document AI (OCR 4)
  3. Vision + Function Calling
  4. Πολυτροπικές Ροές Εργασίας (Multimodal Pipelines)
  5. Σύνοψη Μαθήματος
  6. Επόμενα Βήματα
  7. Βασικά σημεία
  8. Δοκιμάστε τις Γνώσεις σας

Ενημερώθηκε στις 3 Νοεμβρίου 2026 με βάση τη σελίδα Document QnA της Mistral και το SDK mistralai 3.7.0: το παράδειγμα κάνει ερώτημα σε ένα έγγραφο χρησιμοποιώντας ένα μοντέλο συνομιλίας (mistral-small-latest), όχι το μοντέλο OCR, και το document_image_limit δεν είναι παράμετρος για το chat.complete (η κλήση θα απέτυχε)· τα όρια σελίδων ορίζονται στο client.ocr.process. Πηγή: Document QnA.

Πέρα από το Vision API

Έχετε πλέον κατακτήσει τα θεμέλια του Mistral Vision API: αποστολή εικόνων μέσω URL και Base64, ανάλυση γραφημάτων, εκτέλεση OCR, εξαγωγή δομημένων δεδομένων και σύγκριση εικόνων. Αυτό το υπόβαθρο έχει ένα φυσικό όριο—μέχρι τώρα, το μοντέλο κοιτούσε πάντα μια εικόνα και επέστρεφε κείμενο, χωρίς ποτέ να αναλαμβάνει δράση. Αυτό το τελικό μάθημα ξεπερνά αυτό το όριο σε τρία στάδια: την εξειδικευμένη υπηρεσία για έγγραφα, το function calling που μετατρέπει την ανάλυση σε δράση και τις ροές εργασίας (pipelines) που τα συνδυάζουν.

Mistral Document AI (OCR 4)

Για προηγμένες ανάγκες OCR, η Mistral προσφέρει το Document AI, μια υπηρεσία εξειδικευμένη στην επεξεργασία εγγράφων. Ενώ το Vision API διαχειρίζεται μεμονωμένες εικόνες, το Document AI συλλογίζεται σε κλίμακα εγγράφου: διαχειρίζεται PDF πολλών σελίδων και αναλύει αρχεία μεγάλου μήκους σε μία μόνο διέλευση. Διαχειρίζεται πολύπλοκες διατάξεις—στήλες, κεφαλίδες και υποσέλιδα, ένθετους πίνακες—και διατηρεί τη δομή, με την έξοδο να διατηρεί την ιεραρχία του εγγράφου (τίτλοι, παράγραφοι, λίστες). Τέλος, η ακρίβεια του OCR είναι βελτιστοποιημένη τόσο για τυπωμένο όσο και για χειρόγραφο κείμενο.

Παράδειγμα Κλήσης Document AI

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Ανάλυση PDF με Document AI
response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Extract the full content of this document while preserving the structure."
                },
                {
                    "type": "document_url",
                    "document_url": "https://example.com/annual-report.pdf"
                }
            ]
        }
    ]
)

print(response.choices[0].message.content)

Η διαφορά από ό,τι έχετε γράψει μέχρι τώρα έγκειται στον τύπο του στοιχείου: document_url αντί για image_url, το οποίο διαβάζεται από ένα τυπικό μοντέλο συνομιλίας (mistral-small-latest στην τεκμηρίωση της Mistral). Το έγγραφο δεν πρέπει να υπερβαίνει τα 50 MB και να περιέχει το πολύ 1.000 σελίδες. Για να επεξεργαστείτε μόνο ένα μέρος μιας ετήσιας έκθεσης 300 σελίδων, χρησιμοποιήστε αντί αυτό το endpoint OCR (client.ocr.process), όπου οι παράμετροι pages και image_limit οριοθετούν την εργασία.

Πότε να χρησιμοποιήσετε Document AI έναντι Vision API

ΑνάγκηVision APIDocument AI
Φωτογραφία τιμολογίουΕπαρκέςΥπερβολικό
PDF 50 σελίδωνΔεν υποστηρίζεταιΙδανικό
Πολύπλοκος ένθετος πίνακαςΚατά προσέγγισηΑκριβές
Στιγμιότυπο οθόνης διεπαφήςΙδανικόΜη κατάλληλο
Χειρόγραφο έγγραφοΒασικόΒελτιστοποιημένο

Θυμηθείτε τον κανόνα: χρησιμοποιήστε το Vision API για ό,τι γεννήθηκε ως εικόνα και το Document AI για ό,τι γεννήθηκε ως έγγραφο.

Vision + Function Calling

Μέχρι τώρα, ο κώδικάς σας λάμβανε μια απάντηση και αποφάσιζε τι να κάνει με αυτήν. Το function calling αντιστρέφει αυτή τη σχέση: παρέχετε στο μοντέλο μια λίστα διαθέσιμων ενεργειών και εκείνο επιλέγει ποια θα καλέσει με βάση την εικόνα. Αυτό είναι το κλειδί για τη δημιουργία αυτόνομων οπτικών πρακτόρων.

Ο κύκλος αποτελείται από τέσσερα βήματα:

  1. Στέλνετε μια εικόνα + ορισμούς συναρτήσεων
  2. Το μοντέλο αναλύει την εικόνα και αποφασίζει ποια συνάρτηση να καλέσει
  3. Εσείς εκτελείτε τη συνάρτηση και επιστρέφετε το αποτέλεσμα
  4. Το μοντέλο διατυπώνει μια τελική απάντηση

Παράδειγμα: Πράκτορας Επεξεργασίας Τιμολογίων

Σκεφτείτε ένα λογιστήριο που λαμβάνει τιμολόγια μέσω ταχυδρομείου. Δύο αποτελέσματα είναι δυνατά: το τιμολόγιο είναι έγκυρο και πρέπει να καταχωρηθεί, ή παρουσιάζει ανωμαλία και πρέπει να επισημανθεί. Ορίζουμε λοιπόν δύο εργαλεία, με τις παραμέτρους και τα απαιτούμενα πεδία τους.

import json

# Ορισμός διαθέσιμων εργαλείων
outils = [
    {
        "type": "function",
        "function": {
            "name": "enregistrer_facture",
            "description": "Enregistre une facture dans le système comptable",
            "parameters": {
                "type": "object",
                "properties": {
                    "emetteur": {"type": "string", "description": "Nom de l'émetteur"},
                    "numero": {"type": "string", "description": "Numéro de facture"},
                    "date": {"type": "string", "description": "Date d'émission (YYYY-MM-DD)"},
                    "montant_ttc": {"type": "number", "description": "Montant TTC en euros"},
                    "tva": {"type": "number", "description": "Montant de la TVA"}
                },
                "required": ["emetteur", "numero", "date", "montant_ttc"]
            }
        }
    },
    {
        "type": "function",
        "function": {
            "name": "signaler_anomalie",
            "description": "Signale une anomalie sur une facture (doublons, montants incohérents)",
            "parameters": {
                "type": "object",
                "properties": {
                    "type_anomalie": {"type": "string"},
                    "description": {"type": "string"}
                },
                "required": ["type_anomalie", "description"]
            }
        }
    }
]

# Αποστολή της εικόνας με τα εργαλεία
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Vous êtes un assistant comptable. Analysez les factures et utilisez les outils appropriés."
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Traitez cette facture."},
                {"type": "image_url", "image_url": encoder_image("factures/facture-2024-0042.jpg")}
            ]
        }
    ],
    tools=outils,
    tool_choice="auto"
)

# Διαχείριση της κλήσης συνάρτησης
if response.choices[0].message.tool_calls:
    appel = response.choices[0].message.tool_calls[0]
    nom_fonction = appel.function.name
    arguments = json.loads(appel.function.arguments)
    print(f"Fonction appelée : {nom_fonction}")
    print(f"Arguments : {json.dumps(arguments, indent=2, ensure_ascii=False)}")

Διαμορφώστε το πεδίο description για κάθε συνάρτηση με προσοχή: το μοντέλο βασίζει την επιλογή του σε αυτό, όχι στο όνομα. Μια ασαφής περιγραφή παράγει έναν πράκτορα που καλεί τη λάθος συνάρτηση.

Πολυτροπικές Ροές Εργασίας (Multimodal Pipelines)

Μια πολυτροπική ροή εργασίας αλυσοδένει πολλαπλά βήματα επεξεργασίας συνδυάζοντας όραση, κείμενο και εργαλεία. Η αξία της είναι τόσο οικονομική όσο και οργανωτική: κάθε βήμα απασχολεί αυστηρά το απαραίτητο μοντέλο.

Παράδειγμα: Ροή Επεξεργασίας Αλληλογραφίας

Η εισερχόμενη αλληλογραφία μιας ΜΜΕ αναμειγνύει τιμολόγια, προσφορές, συμβάσεις και διαφημίσεις. Η ταξινόμησή τους κοστίζει λίγο· η λεπτομερής ανάλυσή τους κοστίζει περισσότερο. Η ροή εργασίας ξεκινά λοιπόν με μια ταξινόμηση χρησιμοποιώντας ένα ελαφρύ μοντέλο και χρησιμοποιεί το Large μόνο στα έγγραφα που το δικαιολογούν.

def mail_pipeline(image_path):
    """Pipeline complet : classification -> extraction -> action."""

    # Étape 1 : Classification (modèle léger)
    classification = client.chat.complete(
        model="mistral-small-latest",
        response_format={"type": "json_object"},
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": 'Classifiez ce document : {"type": "facture|devis|contrat|courrier|autre", "urgence": "haute|moyenne|basse"}'},
                {"type": "image_url", "image_url": encoder_image(image_path)}
            ]
        }]
    )
    info = json.loads(classification.choices[0].message.content)
    print(f"Type : {info['type']} | Urgence : {info['urgence']}")

    # Étape 2 : Extraction détaillée (modèle puissant, seulement si nécessaire)
    if info["type"] == "facture":
        extraction = client.chat.complete(
            model="mistral-large-latest",
            response_format={"type": "json_object"},
            messages=[{
                "role": "user",
                "content": [
                    {"type": "text", "text": "Extrayez toutes les données de cette facture en JSON : emetteur, numero, date, lignes, total_ht, tva, total_ttc."},
                    {"type": "image_url", "image_url": encoder_image(image_path)}
                ]
            }]
        )
        data = json.loads(extraction.choices[0].message.content)
        return {"classification": info, "données": data}

    # Étape 3 : Résumé pour les autres types
    summary = client.chat.complete(
        model="mistral-small-latest",
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": "Résumez le contenu de ce document en 3 phrases maximum."},
                {"type": "image_url", "image_url": encoder_image(image_path)}
            ]
        }]
    )
    return {"classification": info, "summary": summary.choices[0].message.content}

# Traiter un lot de courrier
from pathlib import Path

for file in sorted(Path("courrier/").glob("*.jpg")):
    print(f"\n--- {file.name} ---")
    result = mail_pipeline(file)
    print(json.dumps(result, indent=2, ensure_ascii=False))

Σε μια παρτίδα όπου ένα στα πέντε αντικείμενα είναι τιμολόγιο, τέσσερα στα πέντε έγγραφα δεν βλέπουν ποτέ το ακριβό μοντέλο, για ίδια τελική ποιότητα.

Σύνοψη Μαθήματος

Σε αυτά τα 12 μαθήματα, μεταβήκατε από τον μηχανισμό στην εφαρμογή. Αρχικά κατανοήσατε την πολυτροπική αρχιτεκτονική και το τι συμβαίνει πραγματικά όταν μια εικόνα εισέρχεται στο μοντέλο, στη συνέχεια μάθατε να επιλέγετε την παραλλαγή που ταιριάζει στο φόρτο εργασίας σας—Large, Small ή Ministral. Στη συνέχεια, μάθατε να στέλνετε εικόνες μέσω URL και Base64, μεμονωμένα ή σε παρτίδες. Με βάση αυτό, αντιμετωπίσατε τις χρήσεις που αποτελούν τον όγκο της πραγματικής εργασίας: ανάλυση γραφημάτων, ανάγνωση κειμένου μέσω OCR, εξαγωγή δομημένων δεδομένων, σύγκριση εικόνων για έλεγχο ποιότητας και παρακολούθηση της εξέλιξης. Τέλος, μάθατε να βελτιστοποιείτε τις κλήσεις σας για κόστος, λανθάνουσα χρόνο και αξιοπιστία, και να ενσωματώνετε την όραση σε μεγαλύτερες ροές εργασίας χάρη στο function calling.

Επόμενα Βήματα

Τέσσερις κατευθύνσεις επεκτείνουν φυσικά αυτή την πορεία. Πρώτον, το Document AI, του οποίου το OCR 4 διαχειρίζεται έγγραφα που το Vision API δεν μπορεί να υποστηρίξει. Στη συνέχεια, οι πράκτορες, συνδυάζοντας όραση και function calling για τη δημιουργία συστημάτων που αποφασίζουν και δρουν. Έπειτα, η προσαρμογή (fine-tuning), εάν οι εικόνες σας έχουν ιδιαιτερότητες που κανένα γενικευμένο μοντέλο δεν γνωρίζει—ένας κατάλογος βιομηχανικών εξαρτημάτων, μια εσωτερική φόρμα. Τέλος, το Batch API, σχεδιασμένο για την επεξεργασία χιλιάδων εικόνων με μειωμένο κόστος όταν ο χρόνος απόκρισης δεν είναι κρίσιμος. Μακροπρόθεσμα, οι προηγμένες πολυτροπικές δυνατότητες θα ανοίξουν τον δρόμο για βίντεο και ήχο όταν γίνουν διαθέσιμα.

Βασικά σημεία

  • Το Document AI (OCR 4) είναι το φυσικό συμπλήρωμα του Vision API για πολύπλοκα έγγραφα και PDF
  • Το Function calling μετατρέπει την όραση σε έναν αυτόνομο πράκτορα ικανό να δρα στα εξαγόμενα δεδομένα
  • Μια πολυτροπική ροή εργασίας συνδυάζει την ταξινόμηση (Small) και την εξαγωγή (Large) για βελτιστοποίηση ποιότητας και κόστους
  • Το Mistral Vision API είναι ένα θεμελιώδες δομικό στοιχείο για τη δημιουργία σύγχρονων εφαρμογών ΤΝ

Δοκιμάστε τις Γνώσεις σας

Όραση μέσω API: πέντε ερωτήσεις για να εδραιώσετε τη ροή εργασίας.

1. Πώς στέλνετε μια εικόνα στο Mistral API;

Απάντηση: Μέσω URL ή κωδικοποιημένο σε Base64, σε ένα μήνυμα με μικτό περιεχόμενο κειμένου + εικόνας—και πολλαπλές εικόνες μπορούν να ταξιδέψουν στο ίδιο μήνυμα για σύγκριση.

2. Τι επιτρέπει η όραση πέρα από την περιγραφή;

Απάντηση: Ανάλυση γραφημάτων, OCR (μεταγραφή κειμένου από εικόνες) και εξαγωγή δομημένων δεδομένων—η εικόνα γίνεται πηγή δεδομένων, όχι απλή εικονογράφηση.

3. Πώς κάνετε αξιόπιστη τη δομημένη εξαγωγή από μια εικόνα;

Απάντηση: Καθορίστε με ακρίβεια το αναμενόμενο σχήμα (πεδία, μορφή), ζητήστε πληρότητα ή παραδοχή απουσίας και επαληθεύστε τις κρίσιμες τιμές—η όραση προτρέπεται όπως το κείμενο.

4. Ποια όρια πρέπει να έχετε κατά νου;

Απάντηση: Η ποιότητα της εικόνας καθορίζει τα πάντα (ανάλυση, ευκρίνεια)· το πολύ μικρό κείμενο και οι πολύπλοκες διατάξεις κουράζουν το μοντέλο—βελτιστοποιήστε την είσοδο πριν κατηγορήσετε την έξοδο.

5. Ποια είναι τα φυσικά επόμενα βήματα μετά από αυτό το μάθημα;

Απάντηση: Το Document AI για πλήρη έγγραφα, το function calling για σύνδεση της εξαγωγής με τα συστήματά σας και οι πολυτροπικές ροές εργασίας που τα συνδυάζουν όλα.

URL ή Base64, ακριβείς προτροπές, προσεκτικές είσοδοι: η ροή εργασίας όρασης είναι έτοιμη—τα επόμενα βήματα την ενσωματώνουν στις εφαρμογές σας.