Ottimizzazzjoni tal-Ppreċiżjoni tal-OCR
F'din il-paġna
Aġġornament 2 ta’ Novembru, 2026 — OCR. L-OCR 4.0 (
mistral-ocr-4-0) ġie rtirat fit-30 ta’ Settembru, 2026. Uża l-OCR 4.1 (mistral-ocr-4-1), li ilu disponibbli ġeneralment mill-31 ta’ Awwissu bl-istess prezz, jew l-aliasmistral-ocr-latest, li jipponta lejh mis-16 ta’ Lulju. L-OCR 4.1 iżid punteġġi ta’ kunfidenza fil-livell tal-blokki. Addendum 3 ta’ Novembru, 2026: PDF lokali jiġi trażmess f’base64 bħala{"type": "document_url", "document_url": "data:application/pdf;base64,…"}; it-tipdocument_base64minn eżempji aktar qodma jeżisti la fid-dokumentazzjoni u lanqas fl-SDKmistralai, u dawk l-eżempji kienu jfallu. Sorsi: OCR Processor · Document QnA.
Il-Kwalità tal-Input Tiddetermina l-Kwalità tal-Output
It-tim ta’ Mistral kien ċar ħafna waqt is-seminar web tagħhom dwar Document AI: huwa “skart ‘il ġewwa, skart ‘il barra”. Kemm jekk il-mudell ikun qawwi kemm jista’ jkun, ma jistax jirkupra informazzjoni li l-iskennjar naqas milli jaqbad. Meta proġett ta’ estrazzjoni ma jkunx qed jaħdem sew, il-ħati kważi dejjem ikun qabel l-API—fotokopja sbiex, fax skennjat mill-ġdid, jew ritratt meħud b’angolu f’maħżen bi dawl fqir. Din il-lezzjoni tkopri l-levieri li effettivament jaffettwaw il-preċiżjoni.
Riżoluzzjoni u Pre-ipproċessar
L-ewwel lieva hija r-riżoluzzjoni tal-iskennjar. Il-miri jiddependu fuq x’fih id-dokument:
- Dokumenti stampati: minimu ta’ 200 DPI, rakkomandat 300 DPI
- Kitba bl-idejn: minimu ta’ 300 DPI
- Tabelli kumplessi: rakkomandat 300 DPI
- Dokumenti storiċi: 400 DPI jew ogħla
Taħt dawn il-valuri, il-linji fini jisparixxu, u l-ebda pproċessar tas-softwer ma jista’ jerġa’ jġibhom lura. Li tmur ogħla biss iżid id-daqs tal-fajl. Jekk tikkontrolla l-katina tal-iskennjar, li tissettja l-iskanner b’mod korrett iffrankalek ħafna aktar problemi minn kwalunkwe trikka tal-kodiċi.
Meta d-dokument jasla diġà diġitalizzat, il-pre-ipproċessar tal-immaġni jista’ jirkupra xi ftit mit-territorju mitluf. Il-funzjoni hawn taħt tgħaqqad erba’ operazzjonijiet klassiċi—konverżjoni għall-griż, titjib tal-kuntrast, it-tneħħija tal-effett ċajper (sharpening), u binarizzazzjoni—qabel ma tirritorna l-immaġni kodifikata f’base64, lesta għas-sejħa tal-OCR:
from PIL import Image, ImageEnhance, ImageFilter
import io
import base64
def pre_process_image(image_path: str) -> str:
"""Pre-processes an image to improve OCR extraction."""
img = Image.open(image_path)
# 1. Convert to grayscale
img = img.convert("L")
# 2. Increase contrast
enhancer = ImageEnhance.Contrast(img)
img = enhancer.enhance(1.5)
# 3. Increase sharpness
img = img.filter(ImageFilter.SHARPEN)
# 4. Binarization (thresholding)
img = img.point(lambda x: 0 if x < 128 else 255, "1")
# Convert to base64
buffer = io.BytesIO()
img.save(buffer, format="PNG")
return base64.b64encode(buffer.getvalue()).decode("utf-8")
Ittestja dan l-ipproċessar fuq kampjun qabel ma tapplikah fuq lott sħiħ. Il-binarizzazzjoni, b’mod partikolari, hija brutali: fuq dokument diġà ċar, ma żżid xejn, u fuq dokument bil-lapes, tista’ tħassar it-test kompletament.
L-orjentazzjoni hija l-korrezzjoni l-oħra li m’għandekx tinjora. L-iskennjar spiss jaslu mdawra b’90 jew 180 grad, u l-informazzjoni tal-orjentazzjoni ġeneralment tinħażen fil-metadejta EXIF tal-immaġni:
from PIL import Image
def correct_orientation(image_path: str) -> Image.Image:
"""Corrects the orientation of a scanned image via EXIF metadata."""
img = Image.open(image_path)
# Use EXIF data to correct orientation
try:
exif = img._getexif()
if exif:
orientation = exif.get(274) # EXIF orientation tag
rotations = {3: 180, 6: 270, 8: 90}
if orientation in rotations:
img = img.rotate(rotations[orientation], expand=True)
except (AttributeError, KeyError):
pass
return img
Il-blokka wiesgħa try hija ġġustifikata hawn: ħafna immaġnijiet m’għandhomx dejta EXIF, u n-nuqqas ta’ dejta tal-orjentazzjoni m’għandux iwaqqaf l-ipproċessar bil-lott.
Adattament tal-Konfigurazzjoni għat-Tip ta’ Dokument
Għal dokumenti stampati komuni—fatturi, kuntratti, rapporti—il-konfigurazzjoni ottimali tinħassar f’talba espliċita għall-estrazzjoni tat-tabelli minflok ma tiddependi fuq is-settings default:
# Optimal configuration for printed documents
ocr_response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": f"data:application/pdf;base64,{document_base64}"
},
table_format="markdown" # Explicit table extraction
)
Il-kitba bl-idejn teħtieġ aktar kura ‘l quddiem. Skennja b’minimu ta’ 300 DPI, żid il-kuntrast bejn il-linka u l-karta, iżma aqbeż il-binarizzazzjoni aggressiva mill-iskript preċedenti: din tħassar strixxi fini tal-penna bil-ballpoint, u titlef aktar informazzjoni milli tikseb. Il-mudell innifsu jittratta l-kitba bl-idejn sew, inkluż test multilingwi, li ma kienx garantit ma’ ġenerazzjonijiet preċedenti tal-OCR.
Imbagħad hemm l-iskennjar severament iddegradat—arkivji, dokumenti mgħaffeġa, kopji ta’ kopji. L-istrateġija tinbidel: ibda billi tnaqqas l-istorbju b’filtru medjan qabel ma ssaħħaħ il-kuntrast, imbagħad żid id-dawl jekk kollox jibqa’ skur wisq.
from PIL import Image, ImageFilter, ImageEnhance
def improve_scan(path: str) -> Image.Image:
"""Improves a low-quality scan."""
img = Image.open(path)
# Noise reduction
img = img.filter(ImageFilter.MedianFilter(size=3))
# Increase contrast
enhancer = ImageEnhance.Contrast(img)
img = enhancer.enhance(2.0)
# Increase brightness if too dark
enhancer = ImageEnhance.Brightness(img)
img = enhancer.enhance(1.2)
return img
L-ordni hija importanti: li ssaħħaħ il-kuntrast qabel ma tneħħi l-istorbju biss isaħħaħ it-tebba’ daqs kemm isaħħaħ l-ittri.
Ipproċessar ta’ Volumi
Ladarba n-numru ta’ fajls jaqbeż ftita, għandek bżonn ipproċessar bil-lott b’ġestjoni tal-iżbalji għal kull fajl. Għal volumi kbar ħafna, Mistral joffri s-servizz ta’ Batch Inference; l-iskript li ġej juri l-loġika bażika għal folder ta’ PDFs, fejn kull falliment jiġi rreġistrat fir-riżultati minflok ma jkisser iċ-ċiklu:
import os
import json
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def process_folder(folder: str) -> dict:
"""Processes all PDFs in a folder."""
results = {}
path = Path(folder)
for file in path.glob("*.pdf"):
print(f"Processing {file.name}...")
with open(file, "rb") as f:
import base64
doc_b64 = base64.b64encode(f.read()).decode("utf-8")
try:
response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": f"data:application/pdf;base64,{doc_b64}"
},
table_format="markdown"
)
results[file.name] = {
"pages": len(response.pages),
"content": "\n\n".join(
p.markdown for p in response.pages
)
}
except Exception as e:
results[file.name] = {"error": str(e)}
return results
Dan id-dizzjunarju tar-riżultati jagħtiek, fi tmiem l-ipproċessar, il-lista eżatta tal-fajls li għandek terġa’ tipprova. Fuq lott ta’ diversi mijiet ta’ dokumenti, dik hija d-differenza bejn li terġa’ tgħaddi minn tliet fajls u li tibda mill-bidu mill-ġdid.
Ivverifika Qabel ma Sfrutta
Estrazzjoni li rnexxiet teknikament tista’ tkun falliet fil-prattika: paġna vojta rritornata għal skennjar li ma jinqarax, jew għargħar ta’ karattri mingħajr sens fuq immaġni storjuża. Ftit ewristiċi sempliċi biżżejjed biex jiġġeneraw allert awtomatiku.
def verify_quality(markdown: str) -> dict:
"""Verifies the quality of an OCR extraction."""
indicators = {
"length": len(markdown),
"words": len(markdown.split()),
"empty_lines_ratio": markdown.count("\n\n") / max(len(markdown), 1),
"special_chars_ratio": sum(
1 for c in markdown if not c.isalnum() and c not in " \n\t.,;:!?-"
) / max(len(markdown), 1),
}
# Alerts
if indicators["words"] < 10:
indicators["alert"] = "Very little text extracted"
elif indicators["special_chars_ratio"] > 0.3:
indicators["alert"] = "High ratio of special characters"
return indicators
Iż-żewġ limiti huma indikattivi u għandhom jiġu kkwalibrati skont il-korpus tiegħek: għaxar kelmiet għal paġna ta’ kuntratt jissignalaw problema, iżda mhux għal nota ta’ konsenja li fiha ħmistax biss.
Sommarju Operattiv
Ftakar fil-katina fl-ordni loġika tagħha. Skennja b’minimu ta’ 300 DPI għal kwalunkwe dokument mhux triviali, u żid il-kuntrast qabel ma tibgħat jekk id-dokument huwa sbiex. Ikkorreġi l-angolu tar-rotazzjoni tal-iskennjar. Dejjem ippreferi l-PDF nattiv fuq skennjar meta jkun disponibbli: il-kwalità tiegħu hija strutturalment superjuri. Speċifika b’mod espliċitu table_format="markdown" jew "html" kull meta jkunu involuti tabelli. Ipproċessa bil-lott u parallellizza s-sejħiet għal volumi kbar. U vvalida sistematikament il-kwalità tal-estrazzjoni qabel ma tidħilha fis-sistema tal-informazzjoni tiegħek—dejta ħażina tiswi aktar minn dejta nieqsa.
Punti Ewlenin
- Il-kwalità tad-dokument sors hija l-fattur primarju fil-preċiżjoni
- Il-pre-ipproċessar tal-immaġni (kuntrast, ċarezza, binarizzazzjoni) itejjeb ir-riżultati
- Adatta l-approċċ tiegħek għat-tip ta’ dokument (stampat, miktub bl-idejn, iddegradat)
- Uża l-ipproċessar bil-lott għal volumi kbar
- Dejjem ivvalida l-kwalità tal-estrazzjoni qabel l-użu