OCR ja teksti transkriptsioon piltidel
Sellel lehel
Teksti lugemine piltidel
OCR (optiline märgituvastus) on Vision API üks levinumaid kasutusjuhtumeid. Mistrali multimodaalsete mudelitega saad ekstraheerida teksti fotodelt, ekraanitõmmistelt, skannitud dokumentidelt, arvetelt või kviitungitelt, ilma et peaksid installima spetsiaalset OCR-teeki – ei Tesseracti, ei keelemudeleid, ei eeltöötlusvoogu.
Eelis ei seisne mitte ainult sõltuvuste vähendamises. Klassikaline OCR tagastab tähemärgid; multimodaalne mudel mõistab loetut ja suudab sama päringu käigus eristada arve numbrit tellimuse numbrist. Selles õppetükis käsitleme levinud kasutusjuhtumeid ja tehnikaid, mis parandavad täpsust konkreetselt.
Lihtne OCR: nähtava teksti lugemine
Kõige otsesem lähenemine taandub ühele promptile, tingimusel et see on ühemõtteline:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Transcribe exactly all visible text in this image. Do not comment, do not summarize--return only the text as it appears."},
{"type": "image_url", "image_url": "https://exemple.com/document-scanne.jpg"}
]
}
]
)
print(response.choices[0].message.content)
Märksõna on „täpselt“. Ilma selle juhendita kipub mudel sisu ümber sõnastama või kokku võtma, sest nii käitub abivalmis assistent spontaanselt: siin palud sa aga vastupidist – sõnasõnalist edastamist.
Teksti ekstraheerimine arvelt
Arved sisaldavad struktureeritud teavet – väljastaja, saaja, summad, kuupäevad –, mille mudel suudab tuvastada nende rolli, mitte ainult asukoha järgi. See ongi eelis fikseeritud tsoonidega OCR-i ees, mis lakkab töötamast, kui tarnija muudab paigutust:
prompt_facture = """Analyze this invoice and extract the following information:
- Issuer (name, address, SIRET if visible)
- Recipient (name, address)
- Invoice number
- Issue date
- Due date
- Billing lines (description, quantity, unit price, total)
- Subtotal excluding tax
- VAT (rate and amount)
- Total including tax
Return the result as structured JSON."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a certified accountant. Extract billing data with precision. Return only valid JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": prompt_facture},
{"type": "image_url", "image_url": data_uri_facture}
]
}
]
)
Ekraanitõmmiste transkriptsioon
Teine sage vajadus on sisu hankimine liideselt või terminalist, mis on jagatud ekraanitõmmisena, tavaliselt tugipiletis. Siin on vorming osa informatsioonist: taandatud terminali jäljend muutub kasutuks.
import base64
def encoder_image(chemin):
with open(chemin, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/png;base64,{b64}"
# Transcribe a terminal screenshot
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Transcribe the terminal output visible in this screenshot. Preserve formatting and indentation."
},
{"type": "image_url", "image_url": encoder_image("captures/terminal.png")}
]
}
]
)
Kviitungite ja kassatšekkide lugemine
Termokviitungid on kõige keerulisem juhtum: hõre trükk, kortsus paber, tuhmuv tint. Otsustav tehnika on lubada mudelil sõnaselgelt tunnistada läbikukkumist mõne üksuse puhul; vastasel juhul täidab ta lüngad usutavate väärtustega.
prompt_recu = """Read this cash register ticket and extract:
1. Store name
2. Date and time
3. List of items (name, price)
4. Subtotal
5. Payment method
6. Total amount
If an item is illegible, indicate [illegible].
Return the result as JSON."""
response = client.chat.complete(
model="mistral-large-latest", # Large for best reading
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_recu},
{"type": "image_url", "image_url": encoder_image("recu-supermarche.jpg")}
]
}
]
)
Tulemuses olev [illegible] on lõpmatult parem kui väljamõeldud summa: esimene käivitab inimkontrolli, teine jääb märkamatuks kuni raamatupidamise kooskõlastamiseni. Nende halvenenud dokumentide puhul kasuta Mistral Large 3 – täpsuse erinevus Smalliga võrreldes on hägusel või osaliselt loetaval tekstil märkimisväärne.
Dokumentide hulgatöötlus
Mastaabi suurendamine järgib juba nähtud mustrit: ühikufunktsioon, mis on parameetriseeritud mudeliga, seejärel tsükkel üle kausta.
import json
from pathlib import Path
def ocr_document(chemin_image, modele="mistral-small-latest"):
"""Performs OCR on a document and returns the text."""
response = client.chat.complete(
model=modele,
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Transcribe the entire text of this document. Preserve formatting (headings, paragraphs, lists)."
},
{"type": "image_url", "image_url": encoder_image(chemin_image)}
]
}
]
)
return response.choices[0].message.content
# Process a folder
dossier = Path("documents_scannes/")
resultats = {}
for fichier in sorted(dossier.glob("*.jpg")):
print(f"OCR of {fichier.name}...")
resultats[fichier.name] = ocr_document(fichier)
# Save
with open("transcriptions.json", "w", encoding="utf-8") as f:
json.dump(resultats, f, ensure_ascii=False, indent=2)
print(f"{len(resultats)} documents transcribed.")
Parameeter modele funktsiooni signatuuris pole kosmeetiline: see võimaldab sul käivitada ainult kahtlased dokumendid uuesti Large’iga, ilma funktsiooni ümber kirjutamata.
OCR-i täpsuse parandamine
Kaks hooba toimivad enne mudelit. Esimene on pildi eeltöötlus: hall, madala kontrastsusega skann muutub loetavaks pärast teisendamist halltooni, kontrasti suurendamist ja teravamaks muutmist.
from PIL import Image, ImageEnhance, ImageFilter
def pretraiter_pour_ocr(chemin):
"""Improves an image for OCR: contrast, sharpness, grayscale."""
img = Image.open(chemin)
# Convert to grayscale
img = img.convert("L")
# Increase contrast
enhancer = ImageEnhance.Contrast(img)
img = enhancer.enhance(2.0)
# Increase sharpness
img = img.filter(ImageFilter.SHARPEN)
return img
Tegur 2,0 toimib tuhmunud skanni puhul; liiga kõrgele viies tekivad artefaktid, mis halvendavad lugemist. Testi kolmel esinduslikul dokumendil enne väärtuse lukustamist.
Teine hoob on prompti spetsialiseerimine dokumendi tüübi järgi. Vorm nõuab „Loe iga väli ja sellele vastav väärtus“, kiri „Transkribeeri kirja sisu, säilitades lõigud“, tabel „Ekstraheeri tabeli andmed markdown-vormingus“. Kolm formulatsiooni, kolm väljundstruktuuri: klassifitseeri oma dokumendid enne nende transkribeerimist ja kvaliteet hüppab astme võrra.
Vision API vs Document AI
Täiustatud OCR-i ja dokumentide parsimise jaoks pakub Mistral ka Document AI (OCR 4), spetsialiseeritud teenust. Järgnev tabel kirjeldab piiri nende kahe vahel.
| Kriterium | Vision API | Document AI (OCR 4) |
|---|---|---|
| Lihtne OCR | Piisav | Ülekvalifitseeritud |
| Komplekssed dokumendid | Piiratud | Optimeeritud |
| Pesastatud tabelid | Ligikaudne | Täpne |
| Mitmeleheküljelised PDF-id | Ei toeta | Toetatud |
| Kompleksne paigutus | Põhiline | Täiustatud |
Otsustav joon on mitmeleheküljelised PDF-id: Vision API töötleb pilte, mitte leheküljelisi dokumente. Niipea kui sinu allikas on mitmekümne leheküljega PDF, ei teki küsimustki. Käsitleme Document AI-d 12. õppetükis (Järgmised sammud).
Peamised punktid
- Vision API teeb lihtsate juhtumite jaoks (arved, ekraanitõmmised, kviitungid) piisavat OCR-i
- Kasuta oma promptis sõna „täpselt“, et vältida ümbersõnastamist
- Mistral Large 3 on halva kvaliteediga dokumentide puhul oluliselt parem kui Small
- Pildi eeltöötlus (kontrast, halltoon) parandab tulemusi
- Täiustatud OCR-i ja mitmeleheküljeliste PDF-ide jaoks kaalu Mistrali Document AI (OCR 4) kasutamist