OCR-i täpsuse optimeerimine
Sellel lehel
Uuendus 2. november 2026 — OCR. OCR 4.0 (
mistral-ocr-4-0) suleti 30. septembril 2026. Kasuta OCR 4.1 (mistral-ocr-4-1), mis on olnud üldkasutatav alates 31. augustist sama hinnaga, või aliastmistral-ocr-latest, mis on sellele viidanud alates 16. juulist. OCR 4.1 lisab usaldusväärsuse skoorid ploki tasandil. Lisand 3. november 2026: Kohalik PDF edastatakse base64-kodeeringus kujul{"type": "document_url", "document_url": "data:application/pdf;base64,…"}; vanemates näidetes esinenud tüüpdocument_base64ei eksisteeri ei dokumentatsioonis egamistralaiSDK-s ning need näited oleksid nurjunud. Allikad: OCR Processor · Document QnA.
Sisendi kvaliteet määrab väljundi kvaliteedi
Mistrali meeskond väljendas seda oma Document AI veebiseminaril otsekoheselt: „prahi sisse, prahti välja“. Ükskõik kui võimas mudel ka poleks, ei suuda ta taastada infot, mida skannimine ei tabanud. Kui ekstraheerimisprojekt ei toimi ootuspäraselt, peitub põhjus peaaegu alugi API-st eespool – pleekinud koopia, uuesti skannitud faks või halvasti valgustatud laos nurga all tehtud foto. See tund käsitleb hoobasid, mis tegelikult täpsust mõjutavad.
Lahutusvõime ja eeltöötlus
Esimene hoob on skannimise lahutusvõime. Sihtmärgid sõltuvad dokumendi sisust:
- Trükitud dokumendid: minimaalselt 200 DPI, soovitatav 300 DPI
- Käsikiri: minimaalselt 300 DPI
- Komplekssed tabelid: soovitatav 300 DPI
- Ajaloolised dokumendid: 400 DPI või kõrgem
Nendest väärtustest madalamal tasemel kaovad peened jooned ja ükski tarkvaraline töötlus ei suuda neid tagasi tuua. Kõrgemale minek suurendab peamiselt faili suurust. Kui kontrollid skannimise ahelat, säästab skanneri õige seadistamine sulle palju rohkem vaeva kui ükski kodeerimistrikk.
Kui dokument saabub juba digitaliseerituna, saab pildi eeltöötlusega mõndagi head teha. Allpool olev funktsioon aheldab neli klassikalist operatsiooni – halltoonidesse teisendamine, kontrasti suurendamine, teravustamine ja binariseerimine – enne pildi tagastamist base64-kodeeringus, valmis OCR-i väljakutseks:
from PIL import Image, ImageEnhance, ImageFilter
import io
import base64
def pre_process_image(image_path: str) -> str:
"""Eeltöötleb pildi OCR-i ekstraheerimise parandamiseks."""
img = Image.open(image_path)
# 1. Teisenda halltoonidesse
img = img.convert("L")
# 2. Suurenda kontrasti
enhancer = ImageEnhance.Contrast(img)
img = enhancer.enhance(1.5)
# 3. Suurenda teravust
img = img.filter(ImageFilter.SHARPEN)
# 4. Binariseerimine (lävestamine)
img = img.point(lambda x: 0 if x < 128 else 255, "1")
# Teisenda base64-ks
buffer = io.BytesIO()
img.save(buffer, format="PNG")
return base64.b64encode(buffer.getvalue()).decode("utf-8")
Testi seda töötlust proovile enne, kui rakendad seda tervele partiile. Eriti binariseerimine on julm: juba teraval dokumendil ei lisa see midagi ja pliiatsiga kirjutatud dokumendil võib see teksti täielikult kustutada.
Orientatsioon on teine korrektsioon, mida ei tohiks unustada. Skannid saabuvad sageli pööratuna 90 või 180 kraadi võrra ja orientatsiooniinfo on tavaliselt salvestatud pildi EXIF-metaandmetesse:
from PIL import Image
def correct_orientation(image_path: str) -> Image.Image:
"""Korrigeerib skannitud pildi orientatsiooni EXIF-metaandmete põhjal."""
img = Image.open(image_path)
# Kasuta orientatsiooni korrigeerimiseks EXIF-andmeid
try:
exif = img._getexif()
if exif:
orientation = exif.get(274) # EXIF orientatsiooni silt
rotations = {3: 180, 6: 270, 8: 90}
if orientation in rotations:
img = img.rotate(rotations[orientation], expand=True)
except (AttributeError, KeyError):
pass
return img
Lai try-plokk on siin õigustatud: paljudel piltidel puuduvad EXIF-andmed ja orientatsiooniandmete puudumine ei tohiks partiitöötlust katkestada.
Konfiguratsiooni kohandamine dokumendi tüübiga
Levinud trükitud dokumentide – arvete, lepingute, aruannete – puhul taandub optimaalne konfiguratsioon tabelite ekstraheerimise otsesele nõudmisele, selle asemel et tugineda vaikeseadetele:
# Optimaalne konfiguratsioon trükitud dokumentide jaoks
ocr_response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": f"data:application/pdf;base64,{document_base64}"
},
table_format="markdown" # Selge tabelite ekstraheerimine
)
Käsikiri nõuab rohkem ettevalmistust. Skanni minimaalselt 300 DPI juures, suurenda tindi ja paberi vahelist kontrasti, kuid jäta eelmise skripti agressiivne binariseerimine vahele: see kustutab peened pastapliiatsi tõmbed ja kaotad rohkem infot, kui võidad. Mudel ise tuleb käsikirjaga hästi toime, sealhulgas mitmekeelse tekstiga, mis eelmiste OCR-i põlvkondade puhul ei olnud iseenesestmõistetav.
Siis on veel tugevalt kahjustatud skannid – arhiivid, kortsus dokumendid, koopiate koopiad. Stratookia muutub: alusta müra vähendamisest mediaanfiltriga enne kontrasti tõstmist ja seejärel suurenda heledust, kui kogu pilt jääb liiga tumedaks.
from PIL import Image, ImageFilter, ImageEnhance
def improve_scan(path: str) -> Image.Image:
"""Parandab halva kvaliteediga skanni."""
img = Image.open(path)
# Müra vähendamine
img = img.filter(ImageFilter.MedianFilter(size=3))
# Suurenda kontrasti
enhancer = ImageEnhance.Contrast(img)
img = enhancer.enhance(2.0)
# Suurenda heledust, kui liiga tume
enhancer = ImageEnhance.Brightness(img)
img = enhancer.enhance(1.2)
return img
Järjekord loeb: kontrasti suurendamine enne müra eemaldamist tugevdab lihtsalt laike sama palju kui tähti.
Mahtude töötlemine
Kui failide arv ületab paari, on vaja partiitöötlust iga faili veakäitlusega. Väga suurte mahtude jaoks pakub Mistral Batch Inference teenust; järgnev skript näitab PDF-ide kausta põhilist loogikat, kus iga tõrge logitakse tulemustesse, selle asemel et tsüklit katkestada:
import os
import json
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def process_folder(folder: str) -> dict:
"""Töötleb kõik PDF-id kaustas."""
results = {}
path = Path(folder)
for file in path.glob("*.pdf"):
print(f"Processing {file.name}...")
with open(file, "rb") as f:
import base64
doc_b64 = base64.b64encode(f.read()).decode("utf-8")
try:
response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": f"data:application/pdf;base64,{doc_b64}"
},
table_format="markdown"
)
results[file.name] = {
"pages": len(response.pages),
"content": "\n\n".join(
p.markdown for p in response.pages
)
}
except Exception as e:
results[file.name] = {"error": str(e)}
return results
See tulemuste sõnastik annab sulle töötlemise lõpus täpse loendi failidest, mida uuesti proovida. Mitmesajast dokumendist koosneva partii puhul on see erinevus kolme faili uuesti käivitamise ja nullist alustamise vahel.
Kontrolli enne kasutamist
Tehniliselt õnnestunud ekstraheerimine võib praktikas ebaõnnestuda: loetamatu skanni puhul tagastatakse tühi leht või müralisel pildil tulvab prahitähti. Mõni lihtne heuristika piisab automaatse hoiatuse käivitamiseks.
def verify_quality(markdown: str) -> dict:
"""Kontrollib OCR-i ekstraheerimise kvaliteeti."""
indicators = {
"length": len(markdown),
"words": len(markdown.split()),
"empty_lines_ratio": markdown.count("\n\n") / max(len(markdown), 1),
"special_chars_ratio": sum(
1 for c in markdown if not c.isalnum() and c not in " \n\t.,;:!?-"
) / max(len(markdown), 1),
}
# Hoiatused
if indicators["words"] < 10:
indicators["alert"] = "Ekstraheeritud väga vähe teksti"
elif indicators["special_chars_ratio"] > 0.3:
indicators["alert"] = "Erimärkide kõrge osakaal"
return indicators
Kaks lävendit on soovituslikud ja need tuleb kohandada sinu korpusele: kümme sõna lepingu lehel annab märku probleemist, kuid mitte saatelehel, mis sisaldab vaid viisteist sõna.
Operatiivne kokkuvõte
Pea meeles ahelat selle loogilises järjekorras. Skanni iga mitte-triviaalse dokumendi puhul minimaalselt 300 DPI juures ja suurenda kontrasti enne saatmist, kui dokument on pleekinud. Korrigeeri skannide pöördenurka. Eelista alati algset PDF-i skannile, kui see on saadaval: selle kvaliteet on struktuurselt parem. Määra alati selgelt table_format="markdown" või "html", kui tegemist on tabelitega. Töötle suurte mahtude puhul partiides ja paralleliseeri väljakutseid. Ja valideeri süstemaatiliselt ekstraheerimise kvaliteeti enne, kui söödad seda oma infosüsteemi – halvad andmed maksavad rohkem kui puuduvad andmed.
Peamised punktid
- Lähtedokumendi kvaliteet on täpsuse peamine tegur
- Pildi eeltöötlus (kontrast, teravus, binariseerimine) parandab tulemusi
- Kohanda oma lähenemist dokumendi tüübile (trükitud, käsikiri, kahjustatud)
- Kasuta suurte mahtude puhul partiitöötlust
- Valideeri enne kasutamist alati ekstraheerimise kvaliteeti