Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

OCR u Traskrizzjoni tat-Test fl-Immaġnijiet

Lezzjoni 8 / 12 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Qari tat-Test fl-Immaġnijiet
  2. OCR Sempliċi: Qari tat-Test Viżibbli
  3. Estrazzjoni tat-Test minn Fattura
  4. Traskrizzjoni ta’ Screenshots
  5. Qari ta’ Riċevuti u Tikketts tal-Kassa
  6. Ipproċessar ta’ Dokumenti f’Lotti
  7. Titjib tal-Preċiżjoni tal-OCR
  8. API tal-Viżjoni vs Document AI
  9. Punti Ewlenin

Qari tat-Test fl-Immaġnijiet

L-OCR (Rikonoxximent Ottiku tal-Karattri) huwa wieħed mill-aktar każijiet ta’ użu komuni għall-API tal-Viżjoni. Bil-mudelli multimodali ta’ Mistral, tista’ testratta test minn ritratti, screenshots, dokumenti skannjati, fatturi, jew riċevuti mingħajr ma tinstalla librerija OCR dedikata—l-ebda Tesseract, l-ebda mudell lingwistiku, l-ebda pipeline ta’ preproċessar.

Il-vantaġġ mhuwiex biss li tnaqqas id-dipendenza. L-OCR klassiku jirritorna karattri; mudell multimodali jifhem x’qara u jista’, fl-istess sejħa, jiddistingwi numru ta’ fattura minn numru ta’ ordni ta’ xiri. Din il-lezzjoni tkopri każijiet ta’ użu komuni u tekniki li jtejbu konkretament il-preċiżjoni.

OCR Sempliċi: Qari tat-Test Viżibbli

L-aktar approċċ dirett jinvolvi prompt wieħed, sakemm ikun ċar:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Transcribe exactly all visible text in this image. Do not comment, do not summarize--return only the text as it appears."},
                {"type": "image_url", "image_url": "https://exemple.com/document-scanne.jpg"}
            ]
        }
    ]
)

print(response.choices[0].message.content)

Il-kelma ewlenija hija “eżattament”. Mingħajr din l-istruzzjoni, il-mudell għandu t-tendenza li jipparafrasa jew jissintetizza l-kontenut għax dan huwa dak li jagħmel assistent utli spontanjament: hawnhekk qed titlob l-oppost ta’ servizz, jiġifieri restituzzjoni litterali.

Estrazzjoni tat-Test minn Fattura

Il-fatturi fihom informazzjoni strutturata—min iħallas, min jirċievi, ammonti, dati—li l-mudell jista’ jidentifika skont ir-rwol tagħhom, mhux biss il-pożizzjoni. Dan huwa preċiżament il-vantaġġ fuq l-OCR b’żoni fissi, li jfalli malli l-fornitur ibiddel il-layout:

prompt_facture = """Analyze this invoice and extract the following information:
- Issuer (name, address, SIRET if visible)
- Recipient (name, address)
- Invoice number
- Issue date
- Due date
- Billing lines (description, quantity, unit price, total)
- Subtotal excluding tax
- VAT (rate and amount)
- Total including tax

Return the result as structured JSON."""

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You are a certified accountant. Extract billing data with precision. Return only valid JSON."
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_facture},
                {"type": "image_url", "image_url": data_uri_facture}
            ]
        }
    ]
)

Traskrizzjoni ta’ Screenshots

Ħtieġa frekwenti oħra hija li tirrikupra kontenut minn interfaċċa jew terminal maqsum bħala screenshot, tipikament f’tikketta ta’ appoġġ. Hawnhekk, il-formatting huwa parti mill-informazzjoni: traċċa tat-terminal mingħajr indentazzjoni ssir inutilizzabbli.

import base64

def encoder_image(chemin):
    with open(chemin, "rb") as f:
        b64 = base64.standard_b64encode(f.read()).decode("utf-8")
    return f"data:image/png;base64,{b64}"

# Transcribe a terminal screenshot
response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Transcribe the terminal output visible in this screenshot. Preserve formatting and indentation."
                },
                {"type": "image_url", "image_url": encoder_image("captures/terminal.png")}
            ]
        }
    ]
)

Qari ta’ Riċevuti u Tikketts tal-Kassa

Ir-riċevuti termali huma l-aktar każ diffiċli: stampar ħafif, karta mgħaffeġa, linka li qed titlif. It-teknika deċiżiva hija li tespliċitament tippermetti lill-mudell jiddikjara li ma jistax jaqra oġġett; inkella, jimla l-vojt b’valuri plawżibbli.

prompt_recu = """Read this cash register ticket and extract:
1. Store name
2. Date and time
3. List of items (name, price)
4. Subtotal
5. Payment method
6. Total amount

If an item is illegible, indicate [illegible].
Return the result as JSON."""

response = client.chat.complete(
    model="mistral-large-latest",  # Large for best reading
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_recu},
                {"type": "image_url", "image_url": encoder_image("recu-supermarche.jpg")}
            ]
        }
    ]
)

[illegible] fir-riżultat huwa infinitament aħjar minn ammont inventat: l-ewwel iwassal għal verifika umana, it-tieni jgħaddi mingħajr ma jiġi nnutat sakemm issir ir-rikonċiljazzjoni kontabilistika. Għal dawn id-dokumenti degradati, uża Mistral Large 3—id-differenza fil-preċiżjoni ma’ Small hija sinifikanti fuq test imċajpar jew parzjalment leġibbli.

Ipproċessar ta’ Dokumenti f’Lotti

L-iskalar isegwi l-mudell li diġà rajna: funzjoni unitarja parametrizzata mill-mudell, imbagħad loop fuq il-folder.

import json
from pathlib import Path

def ocr_document(chemin_image, modele="mistral-small-latest"):
    """Performs OCR on a document and returns the text."""
    response = client.chat.complete(
        model=modele,
        messages=[
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": "Transcribe the entire text of this document. Preserve formatting (headings, paragraphs, lists)."
                    },
                    {"type": "image_url", "image_url": encoder_image(chemin_image)}
                ]
            }
        ]
    )
    return response.choices[0].message.content

# Process a folder
dossier = Path("documents_scannes/")
resultats = {}

for fichier in sorted(dossier.glob("*.jpg")):
    print(f"OCR of {fichier.name}...")
    resultats[fichier.name] = ocr_document(fichier)

# Save
with open("transcriptions.json", "w", encoding="utf-8") as f:
    json.dump(resultats, f, ensure_ascii=False, indent=2)

print(f"{len(resultats)} documents transcribed.")

Il-parametru modele fil-firma mhuwiex kosmetiku: jippermettilek terġa’ tgħaddi biss id-dokumenti dubjużi b’Large mingħajr ma tikteb mill-ġdid il-funzjoni.

Titjib tal-Preċiżjoni tal-OCR

Żewġ lievi jaġixxu qabel il-mudell. L-ewwel huwa l-preproċessar tal-immaġni: skann griż u b’kuntrast baxx isir leġibbli wara konverżjoni għal grayscale, titjib tal-kuntrast, u sharpening.

from PIL import Image, ImageEnhance, ImageFilter

def pretraiter_pour_ocr(chemin):
    """Improves an image for OCR: contrast, sharpness, grayscale."""
    img = Image.open(chemin)

    # Convert to grayscale
    img = img.convert("L")

    # Increase contrast
    enhancer = ImageEnhance.Contrast(img)
    img = enhancer.enhance(2.0)

    # Increase sharpness
    img = img.filter(ImageFilter.SHARPEN)

    return img

Il-fattur 2.0 jaħdem għal skann sbiadut; jekk imbuttat wisq għoli, joħloq artefatti li jiddeterjoraw il-qari. Ittestja fuq tliet dokumenti rappreżentattivi qabel ma tissakkar fuq il-valur.

It-tieni lieva hija l-ispeċjalizzazzjoni tal-prompt skont it-tip ta’ dokument. Formola teħtieġ “Aqra kull kamp u l-valur korrispondenti tiegħu”, ittra teħtieġ “Traskrivi l-korp tal-ittra billi tippreserva l-paragrafi”, tabella teħtieġ “Estratta d-data tat-tabella f’format markdown”. Tliet formulazzjonijiet, tliet strutturi ta’ output: ikklassifika d-dokumenti tiegħek qabel ma traskrivihom, u l-kwalità titla’ grad.

API tal-Viżjoni vs Document AI

Għal OCR avvanzat u parsing ta’ dokumenti, Mistral joffri wkoll Document AI (OCR 4), servizz speċjalizzat. It-tabella li ġejja tiddelinea l-fruntiera bejn iż-żewġ servizzi.

KriterjuAPI tal-ViżjoniDocument AI (OCR 4)
OCR SempliċiBiżżejjedWisq avvanzat
Dokumenti kumplessiLimitatOttimizzat
Tabelli mbejjnaApprossimattivPreċiż
PDFs b’ħafna paġniMhux appoġġjatAppoġġjat
Layout kumplessBażikuAvvanzat

Il-linja deċiżiva hija l-PDFs b’ħafna paġni: l-API tal-Viżjoni tipproċessa immaġnijiet, mhux dokumenti b’paġni. Malli s-sors tiegħek ikun PDF ta’ diversi għexieren ta’ paġni, il-mistoqsija ma tibqax teżisti. Se nkopru d-Document AI fil-Lezzjoni 12 (Passi Li Jmiss).

Punti Ewlenin

  • L-API tal-Viżjoni twettaq OCR adegwat għal każijiet sempliċi (fatturi, screenshots, riċevuti)
  • Uża l-kelma “eżattament” fil-prompt tiegħek biex tevita l-parafrasi
  • Mistral Large 3 huwa sinifikantement aħjar minn Small għal dokumenti ta’ kwalità fqira
  • Il-preproċessar tal-immaġni (kuntrast, grayscale) itejjeb ir-riżultati
  • Għal OCR avvanzat u PDFs b’ħafna paġni, ikkunsidra d-Document AI ta’ Mistral (OCR 4)