OCR og teksttransskription i billeder
På denne side
Læsning af tekst i billeder
OCR (Optical Character Recognition) er en af de mest almindelige anvendelser for Vision API. Med Mistrals multimodale modeller kan du udtrække tekst fra fotos, skærmbilleder, scannede dokumenter, fakturaer eller kvitteringer uden at skulle installere et dedikeret OCR-bibliotek – ingen Tesseract, ingen sprogmodeller, ingen forbehandlingspipeline.
Fordelen er ikke blot at slippe for en afhængighed. Klassisk OCR returnerer tegn; en multimodal model forstår det, den læser, og kan i samme kald skelne mellem et fakturanummer og et ordrenummer. Denne lektion dækker almindelige anvendelser og teknikker, der konkret forbedrer nøjagtigheden.
Simpel OCR: Læsning af synlig tekst
Den mest direkte tilgang boils ned til en enkelt prompt, forudsat at den er entydig:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Transcribe exactly all visible text in this image. Do not comment, do not summarize--return only the text as it appears."},
{"type": "image_url", "image_url": "https://exemple.com/document-scanne.jpg"}
]
}
]
)
print(response.choices[0].message.content)
Nøgleordet er „exactly”. Uden denne instruktion har modellen tendens til at parafrasere eller opsummere indholdet, fordi det er det, en hjælpsom assistent gør spontant: her beder du om det modsatte af en service, nemlig en bogstavelig gengivelse.
Udtrækning af tekst fra en faktura
Fakturaer indeholder strukturerede oplysninger – udsteder, modtager, beløb, datoer – som modellen kan identificere ud fra deres rolle, ikke blot deres position. Dette er netop fordelen frem for fast-zone OCR, som bryder sammen, så snart leverandøren ændrer layoutet:
prompt_facture = """Analyze this invoice and extract the following information:
- Issuer (name, address, SIRET if visible)
- Recipient (name, address)
- Invoice number
- Issue date
- Due date
- Billing lines (description, quantity, unit price, total)
- Subtotal excluding tax
- VAT (rate and amount)
- Total including tax
Return the result as structured JSON."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a certified accountant. Extract billing data with precision. Return only valid JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": prompt_facture},
{"type": "image_url", "image_url": data_uri_facture}
]
}
]
)
Transskription af skærmbilleder
Et andet hyppigt behov er at hente indhold fra en grænseflade eller terminal delt som et skærmbillede, typisk i en support-sag. Her er formatering en del af informationen: en terminal-log med forkert indrykning bliver ubrugelig.
import base64
def encoder_image(chemin):
with open(chemin, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/png;base64,{b64}"
# Transcribe a terminal screenshot
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Transcribe the terminal output visible in this screenshot. Preserve formatting and indentation."
},
{"type": "image_url", "image_url": encoder_image("captures/terminal.png")}
]
}
]
)
Læsning af kvitteringer og kasseboner
Termiske kvitteringer er det sværeste tilfælde: svag udskrift, krøllet papir, falmet blæk. Den afgørende teknik er eksplicit at tillade modellen at erklære sig ude af stand til at læse et element; ellers vil den udfylde huller med plausible værdier.
prompt_recu = """Read this cash register ticket and extract:
1. Store name
2. Date and time
3. List of items (name, price)
4. Subtotal
5. Payment method
6. Total amount
If an item is illegible, indicate [illegible].
Return the result as JSON."""
response = client.chat.complete(
model="mistral-large-latest", # Large for best reading
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_recu},
{"type": "image_url", "image_url": encoder_image("recu-supermarche.jpg")}
]
}
]
)
En [illegible] i resultatet er uendeligt meget bedre end et opdigtet beløb: den første udløser menneskelig verifikation, mens den sidste går ubemærket hen indtil regnskabsafstemningen. Til disse nedbrudte dokumenter bør du bruge Mistral Large 3 – forskellen i nøjagtighed i forhold til Small er betydelig ved sløret eller delvist læselig tekst.
Batch-dokumentbehandling
Op skalering følger mønsteret, vi allerede har set: en enhedsfunktion parametriseret efter modellen, efterfulgt af en løkke over mappen.
import json
from pathlib import Path
def ocr_document(chemin_image, modele="mistral-small-latest"):
"""Performs OCR on a document and returns the text."""
response = client.chat.complete(
model=modele,
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Transcribe the entire text of this document. Preserve formatting (headings, paragraphs, lists)."
},
{"type": "image_url", "image_url": encoder_image(chemin_image)}
]
}
]
)
return response.choices[0].message.content
# Process a folder
dossier = Path("documents_scannes/")
resultats = {}
for fichier in sorted(dossier.glob("*.jpg")):
print(f"OCR of {fichier.name}...")
resultats[fichier.name] = ocr_document(fichier)
# Save
with open("transcriptions.json", "w", encoding="utf-8") as f:
json.dump(resultats, f, ensure_ascii=False, indent=2)
print(f"{len(resultats)} documents transcribed.")
Parameteren modele i signaturen er ikke kosmetisk: den giver dig mulighed for kun at genkøre tvivlsomme dokumenter med Large uden at skulle omskrive funktionen.
Forbedring af OCR-nøjagtighed
To løftestænger virker upstream af modellen. Den første er billedforbehandling: et gråt scan med lav kontrast bliver læseligt efter konvertering til gråtoner, kontrastforøgelse og skærpning.
from PIL import Image, ImageEnhance, ImageFilter
def pretraiter_pour_ocr(chemin):
"""Improves an image for OCR: contrast, sharpness, grayscale."""
img = Image.open(chemin)
# Convert to grayscale
img = img.convert("L")
# Increase contrast
enhancer = ImageEnhance.Contrast(img)
img = enhancer.enhance(2.0)
# Increase sharpness
img = img.filter(ImageFilter.SHARPEN)
return img
Faktoren 2,0 virker til et falmet scan; skubbes den for højt op, skaber den artefakter, der forringer læsningen. Test på tre repræsentative dokumenter, før du låser værdien fast.
Den anden løftestang er promptspecialisering efter dokumenttype. En formular kræver „Læs hvert felt og dets tilsvarende værdi”, et brev kræver „Transskriber brevets brødtekst med bevarelse af afsnit”, en tabel kræver „Udtræk tabeldata i markdown-format”. Tre formuleringer, tre outputstrukturer: klassificér dine dokumenter, før du transskriberer dem, så hopper kvaliteten et hak.
Vision API vs. Document AI
Til avanceret OCR og dokumentparsing tilbyder Mistral også Document AI (OCR 4), en specialiseret tjeneste. Følgende tabel skitserer grænsen mellem de to.
| Kriterium | Vision API | Document AI (OCR 4) |
|---|---|---|
| Simpel OCR | Tilstrækkelig | Overkvalificeret |
| Komplekse dokumenter | Begrænset | Optimeret |
| Næstede tabeller | Omtrentlig | Præcis |
| Fler-sidede PDF’er | Ikke understøttet | Understøttet |
| Komplekst layout | Basal | Avanceret |
Den afgørende linje er fler-sidede PDF’er: Vision API behandler billeder, ikke paginerede dokumenter. Så snart din kilde er en PDF på flere dusin sider, er spørgsmålet ikke længere relevant. Vi dækker Document AI i lektion 12 (Næste skridt).
Vigtige pointer
- Vision API udfører tilstrækkelig OCR til simple tilfælde (fakturaer, skærmbilleder, kvitteringer)
- Brug ordet „exactly” i din prompt for at undgå parafrasering
- Mistral Large 3 er betydeligt bedre end Small til dokumenter af dårlig kvalitet
- Billedforbehandling (kontrast, gråtoner) forbedrer resultaterne
- Overvej Mistrals Document AI (OCR 4) til avanceret OCR og fler-sidede PDF’er