Αναγνώριση Κειμένου και Μεταγραφή σε Εικόνες
Σε αυτήν τη σελίδα
Ανάγνωση Κειμένου σε Εικόνες
Η OCR (Οπτική Αναγνώριση Χαρακτήρων) αποτελεί μία από τις πιο συχνές περιπτώσεις χρήσης του Vision API. Με τα πολυτροπικά μοντέλα της Mistral, μπορείτε να εξάγετε κείμενο από φωτογραφίες, στιγμιότυπα οθόνης, σαρωμένα έγγραφα, τιμολόγια ή αποδείξεις, χωρίς την ανάγκη εγκατάστασης εξειδικευμένης βιβλιοθήκης OCR—ούτε Tesseract, ούτε γλωσσικά μοντέλα, ούτε pipeline προεπεξεργασίας.
Το πλεονέκτημα δεν περιορίζεται στη μείωση των εξαρτήσεων. Η κλασική OCR επιστρέφει χαρακτήρες· ένα πολυτροπικό μοντέλο κατανοεί αυτό που διαβάζει και μπορεί, στην ίδια κλήση, να διακρίνει έναν αριθμό τιμολογίου από έναν αριθμό παραγγελίας αγοράς. Αυτό το μάθημα καλύπτει κοινές περιπτώσεις χρήσης και τεχνικές που βελτιώνουν απτά την ακρίβεια.
Απλή OCR: Ανάγνωση Ορατού Κειμένου
Η πιο άμεση προσέγγιση ανάγεται σε ένα μόνο prompt, αρκεί να είναι σαφές:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Transcribe exactly all visible text in this image. Do not comment, do not summarize--return only the text as it appears."},
{"type": "image_url", "image_url": "https://exemple.com/document-scanne.jpg"}
]
}
]
)
print(response.choices[0].message.content)
Η λέξη-κλειδί είναι «ακριβώς». Χωρίς αυτή την οδηγία, το μοντέλο τείνει να παραφράζει ή να συνοψίζει το περιεχόμενο, καθώς αυτό κάνει αυθόρμητα ένας χρήσιμος βοηθός: εδώ ζητάτε το αντίθετο μιας υπηρεσίας, μια κατά λέξη απόδοση.
Εξαγωγή Κειμένου από Τιμολόγιο
Τα τιμολόγια περιέχουν δομημένες πληροφορίες—εκδότης, παραλήπτης, ποσά, ημερομηνίες—τις οποίες το μοντέλο μπορεί να αναγνωρίσει βάσει του ρόλου τους και όχι μόνο της θέσης τους. Αυτό ακριβώς είναι το πλεονέκτημα έναντι της OCR σταθερών ζωνών, η οποία αστοχεί μόλις ο προμηθευτής αλλάξει τη διάταξη:
prompt_facture = """Analyze this invoice and extract the following information:
- Issuer (name, address, SIRET if visible)
- Recipient (name, address)
- Invoice number
- Issue date
- Due date
- Billing lines (description, quantity, unit price, total)
- Subtotal excluding tax
- VAT (rate and amount)
- Total including tax
Return the result as structured JSON."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a certified accountant. Extract billing data with precision. Return only valid JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": prompt_facture},
{"type": "image_url", "image_url": data_uri_facture}
]
}
]
)
Μεταγραφή Στιγμιότυπων Οθόνης
Μια άλλη συχνή ανάγκη είναι η ανάκτηση περιεχομένου από μια διεπαφή ή τερματικό που κοινοποιείται ως στιγμιότυπο οθόνης, συνήθως σε ένα αίτημα υποστήριξης. Εδώ, η μορφοποίηση αποτελεί μέρος των πληροφοριών: μια καταγραφή τερματικού με λανθασμένη εσοχή καθίσταται άχρηστη.
import base64
def encoder_image(chemin):
with open(chemin, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/png;base64,{b64}"
# Transcribe a terminal screenshot
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Transcribe the terminal output visible in this screenshot. Preserve formatting and indentation."
},
{"type": "image_url", "image_url": encoder_image("captures/terminal.png")}
]
}
]
)
Ανάγνωση Αποδείξεων και Δελτίων Ταμείου
Οι θερμικές αποδείξεις αποτελούν τη δυσκολότερη περίπτωση: αχνή εκτύπωση, τσαλακωμένο χαρτί, ξεθωριασμένο μελάνι. Η καθοριστική τεχνική είναι να επιτρέψετε ρητά στο μοντέλο να δηλώσει αδυναμία σε ένα στοιχείο· διαφορετικά, θα συμπληρώσει τα κενά με πιθανές τιμές.
prompt_recu = """Read this cash register ticket and extract:
1. Store name
2. Date and time
3. List of items (name, price)
4. Subtotal
5. Payment method
6. Total amount
If an item is illegible, indicate [illegible].
Return the result as JSON."""
response = client.chat.complete(
model="mistral-large-latest", # Large for best reading
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_recu},
{"type": "image_url", "image_url": encoder_image("recu-supermarche.jpg")}
]
}
]
)
Ένα [illegible] στο αποτέλεσμα είναι απείρως καλύτερο από ένα επινοημένο ποσό: το πρώτο ενεργοποιεί ανθρώπινο έλεγχο, ενώ το δεύτερο περνά απαρατήρητο μέχρι τον λογιστικό συμψηφισμό. Για αυτά τα υποβαθμισμένα έγγραφα, χρησιμοποιήστε το Mistral Large 3—η διαφορά στην ακρίβεια σε σχέση με το Small είναι σημαντική σε θολό ή μερικώς αναγνώσιμο κείμενο.
Επεξεργασία Εγγράφων σε Παρτίδες
Η κλιμάκωση ακολουθεί το μοτίβο που έχουμε ήδη δει: μια συνάρτηση μονάδας με παραμέτρους το μοντέλο και στη συνέχεια ένας βρόχος πάνω στον φάκελο.
import json
from pathlib import Path
def ocr_document(chemin_image, modele="mistral-small-latest"):
"""Performs OCR on a document and returns the text."""
response = client.chat.complete(
model=modele,
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Transcribe the entire text of this document. Preserve formatting (headings, paragraphs, lists)."
},
{"type": "image_url", "image_url": encoder_image(chemin_image)}
]
}
]
)
return response.choices[0].message.content
# Process a folder
dossier = Path("documents_scannes/")
resultats = {}
for fichier in sorted(dossier.glob("*.jpg")):
print(f"OCR of {fichier.name}...")
resultats[fichier.name] = ocr_document(fichier)
# Save
with open("transcriptions.json", "w", encoding="utf-8") as f:
json.dump(resultats, f, ensure_ascii=False, indent=2)
print(f"{len(resultats)} documents transcribed.")
Η παράμετρος modele στη δήλωση της συνάρτησης δεν είναι διακοσμητική: σας επιτρέπει να επανεκτελέσετε μόνο τα αμφίβολα έγγραφα με το Large χωρίς να ξαναγράψετε τη συνάρτηση.
Βελτίωση της Ακρίβειας OCR
Δύο μοχλοί δρουν πριν από το μοντέλο. Ο πρώτος είναι η προεπεξεργασία εικόνας: μια γκρίζα σάρωση χαμηλής αντίθεσης γίνεται αναγνώσιμη μετά τη μετατροπή σε κλίμακα του γκρι, την ενίσχυση της αντίθεσης και την οξύνωση.
from PIL import Image, ImageEnhance, ImageFilter
def pretraiter_pour_ocr(chemin):
"""Improves an image for OCR: contrast, sharpness, grayscale."""
img = Image.open(chemin)
# Convert to grayscale
img = img.convert("L")
# Increase contrast
enhancer = ImageEnhance.Contrast(img)
img = enhancer.enhance(2.0)
# Increase sharpness
img = img.filter(ImageFilter.SHARPEN)
return img
Ο συντελεστής 2.0 λειτουργεί για μια ξεθωριασμένη σάρωση· αν υπερβεί ένα όριο, δημιουργεί τεχνουργήματα που επιδεινώνουν την ανάγνωση. Δοκιμάστε σε τρία αντιπροσωπευτικά έγγραφα πριν παγιώσετε την τιμή.
Ο δεύτερος μοχλός είναι η εξειδίκευση του prompt ανά τύπο εγγράφου. Μια φόρμα απαιτεί «Διαβάστε κάθε πεδίο και την αντίστοιχη τιμή του», μια επιστολή «Μεταγράψτε το σώμα της επιστολής διατηρώντας τις παραγράφους», ένας πίνακας «Εξάγετε τα δεδομένα του πίνακα σε μορφή markdown». Τρεις διατυπώσεις, τρεις δομές εξόδου: ταξινομήστε τα έγγραφά σας πριν τα μεταγράψετε και η ποιότητα θα ανέβει επίπεδο.
Vision API έναντι Document AI
Για προηγμένη OCR και ανάλυση εγγράφων, η Mistral προσφέρει επίσης το Document AI (OCR 4), μια εξειδικευμένη υπηρεσία. Ο παρακάτω πίνακας περιγράφει τα όρια μεταξύ των δύο.
| Κριτήριο | Vision API | Document AI (OCR 4) |
|---|---|---|
| Απλή OCR | Επαρκές | Υπερβολικό |
| Σύνθετα έγγραφα | Περιορισμένο | Βελτιστοποιημένο |
| Ένθετοι πίνακες | Κατά προσέγγιση | Ακριβές |
| Πολυσέλιδα PDF | Δεν υποστηρίζεται | Υποστηρίζεται |
| Σύνθετη διάταξη | Βασική | Προηγμένη |
Η καθοριστική γραμμή είναι τα πολυσέλιδα PDF: το Vision API επεξεργάζεται εικόνες, όχι σελιδοποιημένα έγγραφα. Μόλις η πηγή σας είναι ένα PDF αρκετών δεκάδων σελίδων, το ερώτημα δεν τίθεται καν. Θα καλύψουμε το Document AI στο Μάθημα 12 (Επόμενα Βήματα).
Βασικά σημεία
- Το Vision API εκτελεί επαρκή OCR για απλές περιπτώσεις (τιμολόγια, στιγμιότυπα οθόνης, αποδείξεις)
- Χρησιμοποιήστε τη λέξη «ακριβώς» στο prompt σας για να αποφύγετε την παραφράση
- Το Mistral Large 3 είναι σημαντικά καλύτερο από το Small για έγγραφα κακής ποιότητας
- Η προεπεξεργασία εικόνας (αντίθεση, κλίμακα του γκρι) βελτιώνει τα αποτελέσματα
- Για προηγμένη OCR και πολυσέλιδα PDF, εξετάστε το Document AI (OCR 4) της Mistral