Lähe põhisisu juurde
Eesti— Vali keel
Menüü

OCR ja teksti transkriptsioon piltidel

Õppetund 8 / 12 Värskendatud 2. november 2026 Arendajatele
Sellel lehel
  1. Teksti lugemine piltidel
  2. Lihtne OCR: nähtava teksti lugemine
  3. Teksti ekstraheerimine arvelt
  4. Ekraanitõmmiste transkriptsioon
  5. Kviitungite ja kassatšekkide lugemine
  6. Dokumentide hulgatöötlus
  7. OCR-i täpsuse parandamine
  8. Vision API vs Document AI
  9. Peamised punktid

Teksti lugemine piltidel

OCR (optiline märgituvastus) on Vision API üks levinumaid kasutusjuhtumeid. Mistrali multimodaalsete mudelitega saad ekstraheerida teksti fotodelt, ekraanitõmmistelt, skannitud dokumentidelt, arvetelt või kviitungitelt, ilma et peaksid installima spetsiaalset OCR-teeki – ei Tesseracti, ei keelemudeleid, ei eeltöötlusvoogu.

Eelis ei seisne mitte ainult sõltuvuste vähendamises. Klassikaline OCR tagastab tähemärgid; multimodaalne mudel mõistab loetut ja suudab sama päringu käigus eristada arve numbrit tellimuse numbrist. Selles õppetükis käsitleme levinud kasutusjuhtumeid ja tehnikaid, mis parandavad täpsust konkreetselt.

Lihtne OCR: nähtava teksti lugemine

Kõige otsesem lähenemine taandub ühele promptile, tingimusel et see on ühemõtteline:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Transcribe exactly all visible text in this image. Do not comment, do not summarize--return only the text as it appears."},
                {"type": "image_url", "image_url": "https://exemple.com/document-scanne.jpg"}
            ]
        }
    ]
)

print(response.choices[0].message.content)

Märksõna on „täpselt“. Ilma selle juhendita kipub mudel sisu ümber sõnastama või kokku võtma, sest nii käitub abivalmis assistent spontaanselt: siin palud sa aga vastupidist – sõnasõnalist edastamist.

Teksti ekstraheerimine arvelt

Arved sisaldavad struktureeritud teavet – väljastaja, saaja, summad, kuupäevad –, mille mudel suudab tuvastada nende rolli, mitte ainult asukoha järgi. See ongi eelis fikseeritud tsoonidega OCR-i ees, mis lakkab töötamast, kui tarnija muudab paigutust:

prompt_facture = """Analyze this invoice and extract the following information:
- Issuer (name, address, SIRET if visible)
- Recipient (name, address)
- Invoice number
- Issue date
- Due date
- Billing lines (description, quantity, unit price, total)
- Subtotal excluding tax
- VAT (rate and amount)
- Total including tax

Return the result as structured JSON."""

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You are a certified accountant. Extract billing data with precision. Return only valid JSON."
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_facture},
                {"type": "image_url", "image_url": data_uri_facture}
            ]
        }
    ]
)

Ekraanitõmmiste transkriptsioon

Teine sage vajadus on sisu hankimine liideselt või terminalist, mis on jagatud ekraanitõmmisena, tavaliselt tugipiletis. Siin on vorming osa informatsioonist: taandatud terminali jäljend muutub kasutuks.

import base64

def encoder_image(chemin):
    with open(chemin, "rb") as f:
        b64 = base64.standard_b64encode(f.read()).decode("utf-8")
    return f"data:image/png;base64,{b64}"

# Transcribe a terminal screenshot
response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Transcribe the terminal output visible in this screenshot. Preserve formatting and indentation."
                },
                {"type": "image_url", "image_url": encoder_image("captures/terminal.png")}
            ]
        }
    ]
)

Kviitungite ja kassatšekkide lugemine

Termokviitungid on kõige keerulisem juhtum: hõre trükk, kortsus paber, tuhmuv tint. Otsustav tehnika on lubada mudelil sõnaselgelt tunnistada läbikukkumist mõne üksuse puhul; vastasel juhul täidab ta lüngad usutavate väärtustega.

prompt_recu = """Read this cash register ticket and extract:
1. Store name
2. Date and time
3. List of items (name, price)
4. Subtotal
5. Payment method
6. Total amount

If an item is illegible, indicate [illegible].
Return the result as JSON."""

response = client.chat.complete(
    model="mistral-large-latest",  # Large for best reading
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_recu},
                {"type": "image_url", "image_url": encoder_image("recu-supermarche.jpg")}
            ]
        }
    ]
)

Tulemuses olev [illegible] on lõpmatult parem kui väljamõeldud summa: esimene käivitab inimkontrolli, teine jääb märkamatuks kuni raamatupidamise kooskõlastamiseni. Nende halvenenud dokumentide puhul kasuta Mistral Large 3 – täpsuse erinevus Smalliga võrreldes on hägusel või osaliselt loetaval tekstil märkimisväärne.

Dokumentide hulgatöötlus

Mastaabi suurendamine järgib juba nähtud mustrit: ühikufunktsioon, mis on parameetriseeritud mudeliga, seejärel tsükkel üle kausta.

import json
from pathlib import Path

def ocr_document(chemin_image, modele="mistral-small-latest"):
    """Performs OCR on a document and returns the text."""
    response = client.chat.complete(
        model=modele,
        messages=[
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": "Transcribe the entire text of this document. Preserve formatting (headings, paragraphs, lists)."
                    },
                    {"type": "image_url", "image_url": encoder_image(chemin_image)}
                ]
            }
        ]
    )
    return response.choices[0].message.content

# Process a folder
dossier = Path("documents_scannes/")
resultats = {}

for fichier in sorted(dossier.glob("*.jpg")):
    print(f"OCR of {fichier.name}...")
    resultats[fichier.name] = ocr_document(fichier)

# Save
with open("transcriptions.json", "w", encoding="utf-8") as f:
    json.dump(resultats, f, ensure_ascii=False, indent=2)

print(f"{len(resultats)} documents transcribed.")

Parameeter modele funktsiooni signatuuris pole kosmeetiline: see võimaldab sul käivitada ainult kahtlased dokumendid uuesti Large’iga, ilma funktsiooni ümber kirjutamata.

OCR-i täpsuse parandamine

Kaks hooba toimivad enne mudelit. Esimene on pildi eeltöötlus: hall, madala kontrastsusega skann muutub loetavaks pärast teisendamist halltooni, kontrasti suurendamist ja teravamaks muutmist.

from PIL import Image, ImageEnhance, ImageFilter

def pretraiter_pour_ocr(chemin):
    """Improves an image for OCR: contrast, sharpness, grayscale."""
    img = Image.open(chemin)

    # Convert to grayscale
    img = img.convert("L")

    # Increase contrast
    enhancer = ImageEnhance.Contrast(img)
    img = enhancer.enhance(2.0)

    # Increase sharpness
    img = img.filter(ImageFilter.SHARPEN)

    return img

Tegur 2,0 toimib tuhmunud skanni puhul; liiga kõrgele viies tekivad artefaktid, mis halvendavad lugemist. Testi kolmel esinduslikul dokumendil enne väärtuse lukustamist.

Teine hoob on prompti spetsialiseerimine dokumendi tüübi järgi. Vorm nõuab „Loe iga väli ja sellele vastav väärtus“, kiri „Transkribeeri kirja sisu, säilitades lõigud“, tabel „Ekstraheeri tabeli andmed markdown-vormingus“. Kolm formulatsiooni, kolm väljundstruktuuri: klassifitseeri oma dokumendid enne nende transkribeerimist ja kvaliteet hüppab astme võrra.

Vision API vs Document AI

Täiustatud OCR-i ja dokumentide parsimise jaoks pakub Mistral ka Document AI (OCR 4), spetsialiseeritud teenust. Järgnev tabel kirjeldab piiri nende kahe vahel.

KriteriumVision APIDocument AI (OCR 4)
Lihtne OCRPiisavÜlekvalifitseeritud
Komplekssed dokumendidPiiratudOptimeeritud
Pesastatud tabelidLigikaudneTäpne
Mitmeleheküljelised PDF-idEi toetaToetatud
Kompleksne paigutusPõhilineTäiustatud

Otsustav joon on mitmeleheküljelised PDF-id: Vision API töötleb pilte, mitte leheküljelisi dokumente. Niipea kui sinu allikas on mitmekümne leheküljega PDF, ei teki küsimustki. Käsitleme Document AI-d 12. õppetükis (Järgmised sammud).

Peamised punktid

  • Vision API teeb lihtsate juhtumite jaoks (arved, ekraanitõmmised, kviitungid) piisavat OCR-i
  • Kasuta oma promptis sõna „täpselt“, et vältida ümbersõnastamist
  • Mistral Large 3 on halva kvaliteediga dokumentide puhul oluliselt parem kui Small
  • Pildi eeltöötlus (kontrast, halltoon) parandab tulemusi
  • Täiustatud OCR-i ja mitmeleheküljeliste PDF-ide jaoks kaalu Mistrali Document AI (OCR 4) kasutamist