Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Εξαγωγή Δομημένων Δεδομένων από Εικόνες

Μάθημα 9 / 12 Ενημερώθηκε 2 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Μετατροπή Εικόνων σε Δεδομένα Έτοιμα για Επεξεργασία
  2. Η Λειτουργία JSON του API
  3. Εξαγωγή Πίνακα από Εικόνα
  4. Φόρμες και Διοικητικά Έγγραφα
  5. Εξαγωγή Δεδομένων από Ετικέτες Προϊόντων
  6. Αγωγός Εξαγωγής με Επικύρωση
  7. Μετατροπή σε CSV ή DataFrame
  8. Βασικά σημεία

Μετατροπή Εικόνων σε Δεδομένα Έτοιμα για Επεξεργασία

Το προηγούμενο μάθημα εστίασε στη μεταγραφή κειμένου· αυτό το μάθημα πάει ένα βήμα παραπέρα παράγοντας δομημένα δεδομένα. Η εξαγωγή δομημένων δεδομένων σημαίνει τον μετασχηματισμό του οπτικού περιεχομένου μιας εικόνας—ένος πίνακα, μιας φόρμας, μιας επαγγελματικής κάρτας ή μιας ετικέτας—σε JSON, CSV ή οποιαδήποτε άλλη μορφή που ο κώδικάς σας μπορεί να χειριστεί άμεσα, χωρίς χειροκίνητη επαλήθευση.

Το διακύβευμα είναι μεγαλύτερο. Μια κατά προσέγγιση μεταγραφή μπορεί ακόμα να βοηθήσει έναν ανθρώπινο αναγνώστη, αλλά η απώλεια ενός μόνο κλειδιού σε μια απόκριση JSON θα προκαλέσει κατάρρευση στο πρόγραμμα που την καταναλώνει. Αυτό το μάθημα καλύπτει τις δύο εγγυήσεις που πρέπει να υλοποιήσετε: τη λειτουργία JSON του API για συντακτική εγκυρότητα και την επικύρωση σχήματος για τη συμμόρφωση με τους επιχειρηματικούς κανόνες.

Η Λειτουργία JSON του API

Το Mistral προσφέρει την παράμετρο response_format που αναγκάζει το μοντέλο να επιστρέφει έγκυρο JSON. Χωρίς αυτήν, θα χάσετε χρόνο καθαρίζοντας αποκρίσεις τυλιγμένες σε μπλοκ Markdown ή προηγούμενες από ευγενικές εισαγωγικές προτάσεις.

from mistralai.client import Mistral
import os
import json

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": "Always return a valid JSON object with the data extracted from the image."
        },
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Extract the following data from this business card as JSON: name, title, company, email, phone, address."
                },
                {"type": "image_url", "image_url": data_uri_carte}
            ]
        }
    ]
)

# The result is directly parsable
donnees = json.loads(response.choices[0].message.content)
print(json.dumps(donnees, indent=2, ensure_ascii=False))

Η κλήση json.loads εκτελείται χωρίς ειδικές προφυλάξεις: το response_format={"type": "json_object"} εγγυάται συντακτικά έγκυρη έξοδο JSON. Ωστόσο, δεν εγγυάται ποια κλειδιά θα υπάρχουν. Γι’ αυτόν τον λόγο, πρέπει να περιγράψετε την αναμενόμενη μορφή μέσα στο ίδιο το prompt, όπως φαίνεται στα παρακάτω παραδείγματα.

Εξαγωγή Πίνακα από Εικόνα

Οι φωτογραφημένοι πίνακες ή τα στιγμιότυπα οθόνης αποτελούν συχνή περίπτωση χρήσης και εδώ είναι που ένα ρητό σχήμα αποδίδει τα μέγιστα. Χωρίς σαφείς οδηγίες, το μοντέλο θα επινοήσει τη δική του δομή, η οποία μπορεί να διαφέρει σε κάθε κλήση.

prompt_tableau = """Extract the content of this table as JSON.
Expected format:
{
  "columns": ["Column1", "Column2", ...],
  "rows": [
    {"Column1": "value", "Column2": "value"},
    ...
  ]
}
Read all visible rows. If a cell is empty, use null."""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_tableau},
                {"type": "image_url", "image_url": encoder_image("captures/tableau-excel.png")}
            ]
        }
    ]
)

donnees = json.loads(response.choices[0].message.content)
print(f"Columns: {donnees['columns']}")
print(f"Number of rows: {len(donnees['rows'])}")

Η οδηγία σχετικά με τα κενά κελιά είναι κρίσιμη. Χωρίς αυτήν, το μοντέλο μπορεί να μετατοπίσει τιμές για να γεμίσει τα κενά, παραμορφώνοντας τον πίνακα. Η εμφάνιση του αριθμού των γραμμών παρέχει έναν άμεσο έλεγχο ορθότητας: αν η εικόνα δείχνει δώδεκα γραμμές αλλά το σενάριο αναφέρει οκτώ, η εξαγωγή είναι ελλιπής.

Φόρμες και Διοικητικά Έγγραφα

Οι συμπληρωμένες φόρμες εισάγουν δύο προκλήσεις: τον χειρόγραφο χαρακτήρα και τα κουτιά επιλογής (checkboxes), τα οποία δεν έχουν τιμή κειμένου. Το σχήμα σας πρέπει επομένως να περιλαμβάνει αφιερωμένα πεδία για αυτά.

prompt_formulaire = """Analyze this filled form and extract all fields and their values.
Expected JSON format:
{
  "form_type": "...",
  "fields": {
    "field_name": "entered_value",
    ...
  },
  "checked_boxes": ["field1", "field2"],
  "signature_present": true/false
}
If a field is empty or illegible, use null."""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": "You are a precise form extractor. Return structured JSON."
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_formulaire},
                {"type": "image_url", "image_url": encoder_image("formulaires/cerfa-12345.jpg")}
            ]
        }
    ]
)

Εξαγωγή Δεδομένων από Ετικέτες Προϊόντων

Οι ετικέτες τροφίμων ακολουθούν μια τυπική δομή: έναν πίνακα διατροφικών στοιχείων ανά 100 γρ., μια λίστα συστατικών και αλλεργιογόνα. Μπορείτε να ορίσετε το σχήμα μέχρι και το όνομα της μονάδας μέτρησης, αποφεύγοντας έτσι τις μελλοντικές υποθέσεις για το αν το «12» αναφερόταν σε γραμμάρια ή σε κιλοθερμίδες.

prompt_etiquette = """Extract the nutritional information from this label.
JSON format:
{
  "product_name": "...",
  "net_weight": "...",
  "nutrition_per_100g": {
    "energy_kcal": ...,
    "fat_g": ...,
    "saturated_fat_g": ...,
    "carbohydrates_g": ...,
    "sugars_g": ...,
    "protein_g": ...,
    "salt_g": ...
  },
  "ingredients": "...",
  "allergens": ["..."]
}"""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_etiquette},
                {"type": "image_url", "image_url": encoder_image("produits/etiquette.jpg")}
            ]
        }
    ]
)

produit = json.loads(response.choices[0].message.content)

Αγωγός Εξαγωγής με Επικύρωση

Σε περιβάλλον παραγωγής, οι συντακτικές εγγυήσεις δεν αρκούν. Το μοντέλο μπορεί να επιστρέψει τέλεια έγκυρο JSON όπου λείπει το email, ή όπου το phone περιέχει έναν ακέραιο αντί για συμβολοσειρά. Το Pydantic μετατρέπει αυτές τις περιπτώσεις σε ρητές εξαιρέσεις στο στάδιο της εξαγωγής, αντί να εμφανιστούν τρία βήματα πιο κάτω στον αγωγό σας.

from pydantic import BaseModel, Field
from typing import Optional
import json

class BusinessCard(BaseModel):
    last_name: str
    first_name: str
    title: Optional[str] = None
    company: Optional[str] = None
    email: Optional[str] = None
    phone: Optional[str] = None
    address: Optional[str] = None
    website: Optional[str] = None

def extract_business_card(image_path):
    """Extract and validate business card data."""
    response = client.chat.complete(
        model="mistral-large-latest",
        response_format={"type": "json_object"},
        messages=[
            {
                "role": "system",
                "content": "Extract data from this business card. Fields: last_name, first_name, title, company, email, phone, address, website. Return JSON."
            },
            {
                "role": "user",
                "content": [
                    {"type": "text", "text": "Extract information from this business card."},
                    {"type": "image_url", "image_url": encoder_image(image_path)}
                ]
            }
        ]
    )

    # Parse and validate with Pydantic
    raw_data = json.loads(response.choices[0].message.content)
    card = BusinessCard(**raw_data)
    return card

# Usage
card = extract_business_card("cartes/contact-dupont.jpg")
print(f"Contact: {card.first_name} {card.last_name} - {card.email}")

Σημειώστε τη διάκριση μεταξύ last_name: str και title: Optional[str] = None. Μια κάρτα χωρίς όνομα αποτελεί αποτυχημένη εξαγωγή· μια κάρτα χωρίς τίτλο εργασίας είναι μια φυσιολογική περίπτωση. Εσείς ορίζετε αυτό το όριο και το Pydantic το επιβάλλει.

Μετατροπή σε CSV ή DataFrame

Το τελικό βήμα είναι η τροφοδότηση του αγωγού επεξεργασίας δεδομένων σας. Το JSON που παρήχθη παραπάνω μετατρέπεται άμεσα:

import pandas as pd

# From an extracted table
donnees = json.loads(response.choices[0].message.content)

# Create a pandas DataFrame
df = pd.DataFrame(donnees["rows"])
print(df.to_string())

# Export to CSV
df.to_csv("export/tableau_extrait.csv", index=False, encoding="utf-8")

Το όρισμα encoding="utf-8" κατά την εξαγωγή είναι υποχρεωτικό όποτε τα δεδομένα σας περιέχουν τονισμένους χαρακτήρες ή σύμβολα νομισμάτων.

Βασικά σημεία

  • Η παράμετρος response_format={"type": "json_object"} εγγυάται έγκυρη έξοδο JSON
  • Παρέχετε πάντα ένα αναμενόμενο σχήμα JSON στο prompt σας για να καθοδηγήσετε την εξαγωγή
  • Χρησιμοποιήστε το Pydantic για να επικυρώσετε τα εξαγόμενα δεδομένα σε περιβάλλον παραγωγής
  • Οι πίνακες, οι φόρμες, οι ετικέτες και οι επαγγελματικές κάρτες αποτελούν ιδανικούς στόχους
  • Συνδυάστε την εξαγωγή με το pandas για άμεση ενσωμάτωση στις ροές εργασίας δεδομένων σας