OCR u Traskrizzjoni tat-Test fl-Immaġnijiet
F'din il-paġna
Qari tat-Test fl-Immaġnijiet
L-OCR (Rikonoxximent Ottiku tal-Karattri) huwa wieħed mill-aktar każijiet ta’ użu komuni għall-API tal-Viżjoni. Bil-mudelli multimodali ta’ Mistral, tista’ testratta test minn ritratti, screenshots, dokumenti skannjati, fatturi, jew riċevuti mingħajr ma tinstalla librerija OCR dedikata—l-ebda Tesseract, l-ebda mudell lingwistiku, l-ebda pipeline ta’ preproċessar.
Il-vantaġġ mhuwiex biss li tnaqqas id-dipendenza. L-OCR klassiku jirritorna karattri; mudell multimodali jifhem x’qara u jista’, fl-istess sejħa, jiddistingwi numru ta’ fattura minn numru ta’ ordni ta’ xiri. Din il-lezzjoni tkopri każijiet ta’ użu komuni u tekniki li jtejbu konkretament il-preċiżjoni.
OCR Sempliċi: Qari tat-Test Viżibbli
L-aktar approċċ dirett jinvolvi prompt wieħed, sakemm ikun ċar:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Transcribe exactly all visible text in this image. Do not comment, do not summarize--return only the text as it appears."},
{"type": "image_url", "image_url": "https://exemple.com/document-scanne.jpg"}
]
}
]
)
print(response.choices[0].message.content)
Il-kelma ewlenija hija “eżattament”. Mingħajr din l-istruzzjoni, il-mudell għandu t-tendenza li jipparafrasa jew jissintetizza l-kontenut għax dan huwa dak li jagħmel assistent utli spontanjament: hawnhekk qed titlob l-oppost ta’ servizz, jiġifieri restituzzjoni litterali.
Estrazzjoni tat-Test minn Fattura
Il-fatturi fihom informazzjoni strutturata—min iħallas, min jirċievi, ammonti, dati—li l-mudell jista’ jidentifika skont ir-rwol tagħhom, mhux biss il-pożizzjoni. Dan huwa preċiżament il-vantaġġ fuq l-OCR b’żoni fissi, li jfalli malli l-fornitur ibiddel il-layout:
prompt_facture = """Analyze this invoice and extract the following information:
- Issuer (name, address, SIRET if visible)
- Recipient (name, address)
- Invoice number
- Issue date
- Due date
- Billing lines (description, quantity, unit price, total)
- Subtotal excluding tax
- VAT (rate and amount)
- Total including tax
Return the result as structured JSON."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a certified accountant. Extract billing data with precision. Return only valid JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": prompt_facture},
{"type": "image_url", "image_url": data_uri_facture}
]
}
]
)
Traskrizzjoni ta’ Screenshots
Ħtieġa frekwenti oħra hija li tirrikupra kontenut minn interfaċċa jew terminal maqsum bħala screenshot, tipikament f’tikketta ta’ appoġġ. Hawnhekk, il-formatting huwa parti mill-informazzjoni: traċċa tat-terminal mingħajr indentazzjoni ssir inutilizzabbli.
import base64
def encoder_image(chemin):
with open(chemin, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/png;base64,{b64}"
# Transcribe a terminal screenshot
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Transcribe the terminal output visible in this screenshot. Preserve formatting and indentation."
},
{"type": "image_url", "image_url": encoder_image("captures/terminal.png")}
]
}
]
)
Qari ta’ Riċevuti u Tikketts tal-Kassa
Ir-riċevuti termali huma l-aktar każ diffiċli: stampar ħafif, karta mgħaffeġa, linka li qed titlif. It-teknika deċiżiva hija li tespliċitament tippermetti lill-mudell jiddikjara li ma jistax jaqra oġġett; inkella, jimla l-vojt b’valuri plawżibbli.
prompt_recu = """Read this cash register ticket and extract:
1. Store name
2. Date and time
3. List of items (name, price)
4. Subtotal
5. Payment method
6. Total amount
If an item is illegible, indicate [illegible].
Return the result as JSON."""
response = client.chat.complete(
model="mistral-large-latest", # Large for best reading
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_recu},
{"type": "image_url", "image_url": encoder_image("recu-supermarche.jpg")}
]
}
]
)
[illegible] fir-riżultat huwa infinitament aħjar minn ammont inventat: l-ewwel iwassal għal verifika umana, it-tieni jgħaddi mingħajr ma jiġi nnutat sakemm issir ir-rikonċiljazzjoni kontabilistika. Għal dawn id-dokumenti degradati, uża Mistral Large 3—id-differenza fil-preċiżjoni ma’ Small hija sinifikanti fuq test imċajpar jew parzjalment leġibbli.
Ipproċessar ta’ Dokumenti f’Lotti
L-iskalar isegwi l-mudell li diġà rajna: funzjoni unitarja parametrizzata mill-mudell, imbagħad loop fuq il-folder.
import json
from pathlib import Path
def ocr_document(chemin_image, modele="mistral-small-latest"):
"""Performs OCR on a document and returns the text."""
response = client.chat.complete(
model=modele,
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Transcribe the entire text of this document. Preserve formatting (headings, paragraphs, lists)."
},
{"type": "image_url", "image_url": encoder_image(chemin_image)}
]
}
]
)
return response.choices[0].message.content
# Process a folder
dossier = Path("documents_scannes/")
resultats = {}
for fichier in sorted(dossier.glob("*.jpg")):
print(f"OCR of {fichier.name}...")
resultats[fichier.name] = ocr_document(fichier)
# Save
with open("transcriptions.json", "w", encoding="utf-8") as f:
json.dump(resultats, f, ensure_ascii=False, indent=2)
print(f"{len(resultats)} documents transcribed.")
Il-parametru modele fil-firma mhuwiex kosmetiku: jippermettilek terġa’ tgħaddi biss id-dokumenti dubjużi b’Large mingħajr ma tikteb mill-ġdid il-funzjoni.
Titjib tal-Preċiżjoni tal-OCR
Żewġ lievi jaġixxu qabel il-mudell. L-ewwel huwa l-preproċessar tal-immaġni: skann griż u b’kuntrast baxx isir leġibbli wara konverżjoni għal grayscale, titjib tal-kuntrast, u sharpening.
from PIL import Image, ImageEnhance, ImageFilter
def pretraiter_pour_ocr(chemin):
"""Improves an image for OCR: contrast, sharpness, grayscale."""
img = Image.open(chemin)
# Convert to grayscale
img = img.convert("L")
# Increase contrast
enhancer = ImageEnhance.Contrast(img)
img = enhancer.enhance(2.0)
# Increase sharpness
img = img.filter(ImageFilter.SHARPEN)
return img
Il-fattur 2.0 jaħdem għal skann sbiadut; jekk imbuttat wisq għoli, joħloq artefatti li jiddeterjoraw il-qari. Ittestja fuq tliet dokumenti rappreżentattivi qabel ma tissakkar fuq il-valur.
It-tieni lieva hija l-ispeċjalizzazzjoni tal-prompt skont it-tip ta’ dokument. Formola teħtieġ “Aqra kull kamp u l-valur korrispondenti tiegħu”, ittra teħtieġ “Traskrivi l-korp tal-ittra billi tippreserva l-paragrafi”, tabella teħtieġ “Estratta d-data tat-tabella f’format markdown”. Tliet formulazzjonijiet, tliet strutturi ta’ output: ikklassifika d-dokumenti tiegħek qabel ma traskrivihom, u l-kwalità titla’ grad.
API tal-Viżjoni vs Document AI
Għal OCR avvanzat u parsing ta’ dokumenti, Mistral joffri wkoll Document AI (OCR 4), servizz speċjalizzat. It-tabella li ġejja tiddelinea l-fruntiera bejn iż-żewġ servizzi.
| Kriterju | API tal-Viżjoni | Document AI (OCR 4) |
|---|---|---|
| OCR Sempliċi | Biżżejjed | Wisq avvanzat |
| Dokumenti kumplessi | Limitat | Ottimizzat |
| Tabelli mbejjna | Approssimattiv | Preċiż |
| PDFs b’ħafna paġni | Mhux appoġġjat | Appoġġjat |
| Layout kumpless | Bażiku | Avvanzat |
Il-linja deċiżiva hija l-PDFs b’ħafna paġni: l-API tal-Viżjoni tipproċessa immaġnijiet, mhux dokumenti b’paġni. Malli s-sors tiegħek ikun PDF ta’ diversi għexieren ta’ paġni, il-mistoqsija ma tibqax teżisti. Se nkopru d-Document AI fil-Lezzjoni 12 (Passi Li Jmiss).
Punti Ewlenin
- L-API tal-Viżjoni twettaq OCR adegwat għal każijiet sempliċi (fatturi, screenshots, riċevuti)
- Uża l-kelma “eżattament” fil-prompt tiegħek biex tevita l-parafrasi
- Mistral Large 3 huwa sinifikantement aħjar minn Small għal dokumenti ta’ kwalità fqira
- Il-preproċessar tal-immaġni (kuntrast, grayscale) itejjeb ir-riżultati
- Għal OCR avvanzat u PDFs b’ħafna paġni, ikkunsidra d-Document AI ta’ Mistral (OCR 4)