Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Ottimizzazzjoni tal-Ppreċiżjoni tal-OCR

Lezzjoni 8 / 16 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Il-Kwalità tal-Input Tiddetermina l-Kwalità tal-Output
  2. Riżoluzzjoni u Pre-ipproċessar
  3. Adattament tal-Konfigurazzjoni għat-Tip ta’ Dokument
  4. Ipproċessar ta’ Volumi
  5. Ivverifika Qabel ma Sfrutta
  6. Sommarju Operattiv
  7. Punti Ewlenin

Aġġornament 2 ta’ Novembru, 2026 — OCR. L-OCR 4.0 (mistral-ocr-4-0) ġie rtirat fit-30 ta’ Settembru, 2026. Uża l-OCR 4.1 (mistral-ocr-4-1), li ilu disponibbli ġeneralment mill-31 ta’ Awwissu bl-istess prezz, jew l-alias mistral-ocr-latest, li jipponta lejh mis-16 ta’ Lulju. L-OCR 4.1 iżid punteġġi ta’ kunfidenza fil-livell tal-blokki. Addendum 3 ta’ Novembru, 2026: PDF lokali jiġi trażmess f’base64 bħala {"type": "document_url", "document_url": "data:application/pdf;base64,…"}; it-tip document_base64 minn eżempji aktar qodma jeżisti la fid-dokumentazzjoni u lanqas fl-SDK mistralai, u dawk l-eżempji kienu jfallu. Sorsi: OCR Processor · Document QnA.

Il-Kwalità tal-Input Tiddetermina l-Kwalità tal-Output

It-tim ta’ Mistral kien ċar ħafna waqt is-seminar web tagħhom dwar Document AI: huwa “skart ‘il ġewwa, skart ‘il barra”. Kemm jekk il-mudell ikun qawwi kemm jista’ jkun, ma jistax jirkupra informazzjoni li l-iskennjar naqas milli jaqbad. Meta proġett ta’ estrazzjoni ma jkunx qed jaħdem sew, il-ħati kważi dejjem ikun qabel l-API—fotokopja sbiex, fax skennjat mill-ġdid, jew ritratt meħud b’angolu f’maħżen bi dawl fqir. Din il-lezzjoni tkopri l-levieri li effettivament jaffettwaw il-preċiżjoni.

Riżoluzzjoni u Pre-ipproċessar

L-ewwel lieva hija r-riżoluzzjoni tal-iskennjar. Il-miri jiddependu fuq x’fih id-dokument:

  • Dokumenti stampati: minimu ta’ 200 DPI, rakkomandat 300 DPI
  • Kitba bl-idejn: minimu ta’ 300 DPI
  • Tabelli kumplessi: rakkomandat 300 DPI
  • Dokumenti storiċi: 400 DPI jew ogħla

Taħt dawn il-valuri, il-linji fini jisparixxu, u l-ebda pproċessar tas-softwer ma jista’ jerġa’ jġibhom lura. Li tmur ogħla biss iżid id-daqs tal-fajl. Jekk tikkontrolla l-katina tal-iskennjar, li tissettja l-iskanner b’mod korrett iffrankalek ħafna aktar problemi minn kwalunkwe trikka tal-kodiċi.

Meta d-dokument jasla diġà diġitalizzat, il-pre-ipproċessar tal-immaġni jista’ jirkupra xi ftit mit-territorju mitluf. Il-funzjoni hawn taħt tgħaqqad erba’ operazzjonijiet klassiċi—konverżjoni għall-griż, titjib tal-kuntrast, it-tneħħija tal-effett ċajper (sharpening), u binarizzazzjoni—qabel ma tirritorna l-immaġni kodifikata f’base64, lesta għas-sejħa tal-OCR:

from PIL import Image, ImageEnhance, ImageFilter
import io
import base64

def pre_process_image(image_path: str) -> str:
    """Pre-processes an image to improve OCR extraction."""
    img = Image.open(image_path)

    # 1. Convert to grayscale
    img = img.convert("L")

    # 2. Increase contrast
    enhancer = ImageEnhance.Contrast(img)
    img = enhancer.enhance(1.5)

    # 3. Increase sharpness
    img = img.filter(ImageFilter.SHARPEN)

    # 4. Binarization (thresholding)
    img = img.point(lambda x: 0 if x < 128 else 255, "1")

    # Convert to base64
    buffer = io.BytesIO()
    img.save(buffer, format="PNG")
    return base64.b64encode(buffer.getvalue()).decode("utf-8")

Ittestja dan l-ipproċessar fuq kampjun qabel ma tapplikah fuq lott sħiħ. Il-binarizzazzjoni, b’mod partikolari, hija brutali: fuq dokument diġà ċar, ma żżid xejn, u fuq dokument bil-lapes, tista’ tħassar it-test kompletament.

L-orjentazzjoni hija l-korrezzjoni l-oħra li m’għandekx tinjora. L-iskennjar spiss jaslu mdawra b’90 jew 180 grad, u l-informazzjoni tal-orjentazzjoni ġeneralment tinħażen fil-metadejta EXIF tal-immaġni:

from PIL import Image

def correct_orientation(image_path: str) -> Image.Image:
    """Corrects the orientation of a scanned image via EXIF metadata."""
    img = Image.open(image_path)

    # Use EXIF data to correct orientation
    try:
        exif = img._getexif()
        if exif:
            orientation = exif.get(274)  # EXIF orientation tag
            rotations = {3: 180, 6: 270, 8: 90}
            if orientation in rotations:
                img = img.rotate(rotations[orientation], expand=True)
    except (AttributeError, KeyError):
        pass

    return img

Il-blokka wiesgħa try hija ġġustifikata hawn: ħafna immaġnijiet m’għandhomx dejta EXIF, u n-nuqqas ta’ dejta tal-orjentazzjoni m’għandux iwaqqaf l-ipproċessar bil-lott.

Adattament tal-Konfigurazzjoni għat-Tip ta’ Dokument

Għal dokumenti stampati komuni—fatturi, kuntratti, rapporti—il-konfigurazzjoni ottimali tinħassar f’talba espliċita għall-estrazzjoni tat-tabelli minflok ma tiddependi fuq is-settings default:

# Optimal configuration for printed documents
ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": f"data:application/pdf;base64,{document_base64}"
    },
    table_format="markdown"  # Explicit table extraction
)

Il-kitba bl-idejn teħtieġ aktar kura ‘l quddiem. Skennja b’minimu ta’ 300 DPI, żid il-kuntrast bejn il-linka u l-karta, iżma aqbeż il-binarizzazzjoni aggressiva mill-iskript preċedenti: din tħassar strixxi fini tal-penna bil-ballpoint, u titlef aktar informazzjoni milli tikseb. Il-mudell innifsu jittratta l-kitba bl-idejn sew, inkluż test multilingwi, li ma kienx garantit ma’ ġenerazzjonijiet preċedenti tal-OCR.

Imbagħad hemm l-iskennjar severament iddegradat—arkivji, dokumenti mgħaffeġa, kopji ta’ kopji. L-istrateġija tinbidel: ibda billi tnaqqas l-istorbju b’filtru medjan qabel ma ssaħħaħ il-kuntrast, imbagħad żid id-dawl jekk kollox jibqa’ skur wisq.

from PIL import Image, ImageFilter, ImageEnhance

def improve_scan(path: str) -> Image.Image:
    """Improves a low-quality scan."""
    img = Image.open(path)

    # Noise reduction
    img = img.filter(ImageFilter.MedianFilter(size=3))

    # Increase contrast
    enhancer = ImageEnhance.Contrast(img)
    img = enhancer.enhance(2.0)

    # Increase brightness if too dark
    enhancer = ImageEnhance.Brightness(img)
    img = enhancer.enhance(1.2)

    return img

L-ordni hija importanti: li ssaħħaħ il-kuntrast qabel ma tneħħi l-istorbju biss isaħħaħ it-tebba’ daqs kemm isaħħaħ l-ittri.

Ipproċessar ta’ Volumi

Ladarba n-numru ta’ fajls jaqbeż ftita, għandek bżonn ipproċessar bil-lott b’ġestjoni tal-iżbalji għal kull fajl. Għal volumi kbar ħafna, Mistral joffri s-servizz ta’ Batch Inference; l-iskript li ġej juri l-loġika bażika għal folder ta’ PDFs, fejn kull falliment jiġi rreġistrat fir-riżultati minflok ma jkisser iċ-ċiklu:

import os
import json
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def process_folder(folder: str) -> dict:
    """Processes all PDFs in a folder."""
    results = {}
    path = Path(folder)

    for file in path.glob("*.pdf"):
        print(f"Processing {file.name}...")

        with open(file, "rb") as f:
            import base64
            doc_b64 = base64.b64encode(f.read()).decode("utf-8")

        try:
            response = client.ocr.process(
                model="mistral-ocr-latest",
                document={
                    "type": "document_url",
                    "document_url": f"data:application/pdf;base64,{doc_b64}"
                },
                table_format="markdown"
            )

            results[file.name] = {
                "pages": len(response.pages),
                "content": "\n\n".join(
                    p.markdown for p in response.pages
                )
            }
        except Exception as e:
            results[file.name] = {"error": str(e)}

    return results

Dan id-dizzjunarju tar-riżultati jagħtiek, fi tmiem l-ipproċessar, il-lista eżatta tal-fajls li għandek terġa’ tipprova. Fuq lott ta’ diversi mijiet ta’ dokumenti, dik hija d-differenza bejn li terġa’ tgħaddi minn tliet fajls u li tibda mill-bidu mill-ġdid.

Ivverifika Qabel ma Sfrutta

Estrazzjoni li rnexxiet teknikament tista’ tkun falliet fil-prattika: paġna vojta rritornata għal skennjar li ma jinqarax, jew għargħar ta’ karattri mingħajr sens fuq immaġni storjuża. Ftit ewristiċi sempliċi biżżejjed biex jiġġeneraw allert awtomatiku.

def verify_quality(markdown: str) -> dict:
    """Verifies the quality of an OCR extraction."""
    indicators = {
        "length": len(markdown),
        "words": len(markdown.split()),
        "empty_lines_ratio": markdown.count("\n\n") / max(len(markdown), 1),
        "special_chars_ratio": sum(
            1 for c in markdown if not c.isalnum() and c not in " \n\t.,;:!?-"
        ) / max(len(markdown), 1),
    }

    # Alerts
    if indicators["words"] < 10:
        indicators["alert"] = "Very little text extracted"
    elif indicators["special_chars_ratio"] > 0.3:
        indicators["alert"] = "High ratio of special characters"

    return indicators

Iż-żewġ limiti huma indikattivi u għandhom jiġu kkwalibrati skont il-korpus tiegħek: għaxar kelmiet għal paġna ta’ kuntratt jissignalaw problema, iżda mhux għal nota ta’ konsenja li fiha ħmistax biss.

Sommarju Operattiv

Ftakar fil-katina fl-ordni loġika tagħha. Skennja b’minimu ta’ 300 DPI għal kwalunkwe dokument mhux triviali, u żid il-kuntrast qabel ma tibgħat jekk id-dokument huwa sbiex. Ikkorreġi l-angolu tar-rotazzjoni tal-iskennjar. Dejjem ippreferi l-PDF nattiv fuq skennjar meta jkun disponibbli: il-kwalità tiegħu hija strutturalment superjuri. Speċifika b’mod espliċitu table_format="markdown" jew "html" kull meta jkunu involuti tabelli. Ipproċessa bil-lott u parallellizza s-sejħiet għal volumi kbar. U vvalida sistematikament il-kwalità tal-estrazzjoni qabel ma tidħilha fis-sistema tal-informazzjoni tiegħek—dejta ħażina tiswi aktar minn dejta nieqsa.

Punti Ewlenin

  • Il-kwalità tad-dokument sors hija l-fattur primarju fil-preċiżjoni
  • Il-pre-ipproċessar tal-immaġni (kuntrast, ċarezza, binarizzazzjoni) itejjeb ir-riżultati
  • Adatta l-approċċ tiegħek għat-tip ta’ dokument (stampat, miktub bl-idejn, iddegradat)
  • Uża l-ipproċessar bil-lott għal volumi kbar
  • Dejjem ivvalida l-kwalità tal-estrazzjoni qabel l-użu