Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

OCR-tarkkuuden optimointi

Oppitunti 8 / 16 Päivitetty 3. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Syötteen laatu määrittää tulosteen laadun
  2. Resoluutio ja esikäsittely
  3. Kokoonpanon mukauttaminen asiakirjatyypin mukaan
  4. Määrien käsittely
  5. Varmista ennen hyödyntämistä
  6. Toiminnallinen yhteenveto
  7. Keskeiset asiat

Päivitys 2. marraskuuta 2026 — OCR. OCR 4.0 (mistral-ocr-4-0) poistettiin käytöstä 30. syyskuuta 2026. Käytä OCR 4.1:tä (mistral-ocr-4-1), joka on ollut yleisesti saatavilla 31. elokuuta lähtien samaan hintaan, tai aliasta mistral-ocr-latest, joka on viitannut siihen 16. heinäkuuta lähtien. OCR 4.1 lisää luottamusluvut lohko tasolla. Lisäys 3. marraskuuta 2026: Paikallinen PDF lähetetään base64-muodossa {"type": "document_url", "document_url": "data:application/pdf;base64,…"}; vanhemmissa esimerkeissä esiintynyt document_base64-tyyppiä ei ole olemassa eikä dokumentaatiossa että mistralai-SDK:ssa, ja nämä esimerkit olisivat epäonnistuneet. Lähteet: OCR Processor · Document QnA.

Syötteen laatu määrittää tulosteen laadun

Mistralin tiimi ilmaisi asian suoraan Document AI -webinaarissaan: “roskia sisään, roskia ulos.” Mallin tehokkuudesta riippumatta se ei pysty palauttamaan tietoa, jota skannaus ei ole tallentanut. Kun ekstraktioprojekti ei suoriudu odotetusti, syyllinen löytyy lähes aina API:n edeltävältä vaiheelta: haalistuneesta valokopiosta, uudelleenskannatusta faksista tai huonosti valaistussa varastossa vinosti otetusta valokuvasta. Tämä oppitunti käsittelee vipuja, jotka todella vaikuttavat tarkkuuteen.

Resoluutio ja esikäsittely

Ensimmäinen vipu on skannauksen resoluutio. Tavoitearvot riippuvat dokumentin sisällöstä:

  • Painetut asiakirjat: vähintään 200 DPI, suositus 300 DPI
  • Käsinkirjoitus: vähintään 300 DPI
  • Monimutkaiset taulukot: suositus 300 DPI
  • Historialliset asiakirjat: 400 DPI tai korkeampi

Näiden arvojen alapuolella hienot viivat katoavat, eikä mikään ohjelmistokäsittely pysty palauttamaan niitä. Arvojen nostaminen kasvattaa lähinnä vain tiedostokokoa. Jos hallitset skannausketjua, skannerin oikea asetukset säästävät sinua paljon suuremmilta ongelmilta kuin mikään koodauskikka.

Kun asiakirja saapuu jo digitalisoituna, kuvan esikäsittely voi paikata tilannetta. Alla oleva funktio ketjuttaa neljä klassista operaatiota – harmaasävyksi muunnos, kontrastin parannus, terävöitys ja binarisointi – ennen kuin palauttaa kuvan base64-koodattuna, valmiina OCR-kutsuun:

from PIL import Image, ImageEnhance, ImageFilter
import io
import base64

def pre_process_image(image_path: str) -> str:
    """Esikäsittelee kuvan OCR-ekstraktion parantamiseksi."""
    img = Image.open(image_path)

    # 1. Muunna harmaasävyksi
    img = img.convert("L")

    # 2. Lisää kontrastia
    enhancer = ImageEnhance.Contrast(img)
    img = enhancer.enhance(1.5)

    # 3. Lisää terävyyttä
    img = img.filter(ImageFilter.SHARPEN)

    # 4. Binarisointi (kynnysarvo)
    img = img.point(lambda x: 0 if x < 128 else 255, "1")

    # Muunna base64-muotoon
    buffer = io.BytesIO()
    img.save(buffer, format="PNG")
    return base64.b64encode(buffer.getvalue()).decode("utf-8")

Testaa tämä käsittely otoksella ennen sen soveltamista koko erään. Binarisointi on erityisen armotonta: jo valmiiksi terävässä asiakirjassa se ei lisää mitään, ja lyijykynällä kirjoitetussa asiakirjassa se voi pyyhkiä tekstin kokonaan pois.

Suuntaus on toinen korjaus, jota ei kannata laiminlyödä. Skannaukset saapuvat usein käännettyinä 90 tai 180 astetta, ja suuntaustiedot tallennetaan yleensä kuvan EXIF-metatietoihin:

from PIL import Image

def correct_orientation(image_path: str) -> Image.Image:
    """Korjaa skannatun kuvan suunnan EXIF-metatietojen avulla."""
    img = Image.open(image_path)

    # Käytä EXIF-tietoja suunnan korjaamiseen
    try:
        exif = img._getexif()
        if exif:
            orientation = exif.get(274)  # EXIF-suuntaustagi
            rotations = {3: 180, 6: 270, 8: 90}
            if orientation in rotations:
                img = img.rotate(rotations[orientation], expand=True)
    except (AttributeError, KeyError):
        pass

    return img

Laaja try-lohko on tässä perusteltu: monissa kuvissa ei ole EXIF-tietoja, eikä puuttuvien suuntaustietojen pitäisi keskeyttää eräkäsittelyä.

Kokoonpanon mukauttaminen asiakirjatyypin mukaan

Yleisissä painetuissa asiakirjoissa – laskuissa, sopimuksissa, raporteissa – optimaalinen kokoonpano tiivistyy taulukkoekstraktion pyytämiseen nimenomaisesti oletusasetusten luottamisen sijaan:

# Optimaalinen kokoonpano painetuille asiakirjoille
ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": f"data:application/pdf;base64,{document_base64}"
    },
    table_format="markdown"  # Nimenomainen taulukkoekstraktio
)

Käsinkirjoitus vaatii enemmän huolellisuutta upstream-vaiheessa. Skannaa vähintään 300 DPI:n tarkkuudella, lisää musteen ja paperin välistä kontrastia, mutta ohita edellisen skriptin aggressiivinen binarisointi: se pyyhkii pois hienot kuulakärkikynän jäljet, ja menetät enemmän tietoa kuin mitä hyödyt. Malli itse käsittelee käsinkirjoitusta hyvin, mukaan lukien monikielisen tekstin, mikä ei ollut itsestäänselvyys aiempien OCR-sukupolvien kohdalla.

Sitten ovat vakavasti vaurioituneet skannaukset – arkistot, rypistyneet asiakirjat, kopioiden kopiot. Strategia muuttuu: aloita vähentämällä kohinaa mediaanisuodattimella ennen kontrastin tehostamista, ja lisää kirkkautta, jos koko kuva on edelleen liian tumma.

from PIL import Image, ImageFilter, ImageEnhance

def improve_scan(path: str) -> Image.Image:
    """Parantaa heikkolaatuista skannausta."""
    img = Image.open(path)

    # Kohinan vähennys
    img = img.filter(ImageFilter.MedianFilter(size=3))

    # Lisää kontrastia
    enhancer = ImageEnhance.Contrast(img)
    img = enhancer.enhance(2.0)

    # Lisää kirkkautta, jos liian tumma
    enhancer = ImageEnhance.Brightness(img)
    img = enhancer.enhance(1.2)

    return img

Järjestyksellä on väliä: kontrastin tehostaminen ennen kohinan poistamista vain vahvistaa tahroja yhtä paljon kuin kirjaimiakin.

Määrien käsittely

Kun tiedostojen määrä ylittää kourallisen, tarvitset eräkäsittelyä virheenkäsittelyllä tiedostoa kohden. Erittäin suurille määrille Mistral tarjoaa Batch Inference -palvelun; seuraava skripti näyttää peruslogiikan PDF-kansiolle, jossa jokainen epäonnistuminen kirjataan tuloksiin silmukan katkaisemisen sijaan:

import os
import json
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def process_folder(folder: str) -> dict:
    """Käsittelee kaikki kansion PDF-tiedostot."""
    results = {}
    path = Path(folder)

    for file in path.glob("*.pdf"):
        print(f"Processing {file.name}...")

        with open(file, "rb") as f:
            import base64
            doc_b64 = base64.b64encode(f.read()).decode("utf-8")

        try:
            response = client.ocr.process(
                model="mistral-ocr-latest",
                document={
                    "type": "document_url",
                    "document_url": f"data:application/pdf;base64,{doc_b64}"
                },
                table_format="markdown"
            )

            results[file.name] = {
                "pages": len(response.pages),
                "content": "\n\n".join(
                    p.markdown for p in response.pages
                )
            }
        except Exception as e:
            results[file.name] = {"error": str(e)}

    return results

Tämä tulossanakirja antaa sinulle käsittelyn päätteeksi tarkan luettelon tiedostoista, jotka kannattaa yrittää uudelleen. Useiden satojen asiakirjojen erässä tämä on ero sen välillä, joudutko ajamaan uudelleen kolme tiedostoa vai aloittamaan alusta.

Varmista ennen hyödyntämistä

Teknisesti onnistunut ekstraktio voi epäonnistua käytännössä: tyhjä sivu palautuu lukukelvottomasta skannauksesta, tai kohinaisesta kuvasta tulvii roskamerkkejä. Muutama yksinkertainen heuristiikka riittää automaattisen hälytyksen laukaisemiseen.

def verify_quality(markdown: str) -> dict:
    """Varmistaa OCR-ekstraktion laadun."""
    indicators = {
        "length": len(markdown),
        "words": len(markdown.split()),
        "empty_lines_ratio": markdown.count("\n\n") / max(len(markdown), 1),
        "special_chars_ratio": sum(
            1 for c in markdown if not c.isalnum() and c not in " \n\t.,;:!?-"
        ) / max(len(markdown), 1),
    }

    # Hälytykset
    if indicators["words"] < 10:
        indicators["alert"] = "Erittäin vähän tekstiä ekstrahoitu"
    elif indicators["special_chars_ratio"] > 0.3:
        indicators["alert"] = "Korkea erikoismerkkien suhde"

    return indicators

Kaksi kynnysarvoa ovat viitteellisiä ja ne on kalibroitava omaan aineistoosi: kymmenen sanaa sopimussivulla signaloi ongelmaa, mutta ei toimituslistalla, joka sisältää vain viisitoista sanaa.

Toiminnallinen yhteenveto

Muista ketju sen loogisessa järjestyksessä. Skannaa vähintään 300 DPI:n tarkkuudella kaikissa ei-triviaaleissa asiakirjoissa ja lisää kontrastia ennen lähetystä, jos asiakirja on haalistunut. Korjaa skannausten kiertokulma. Suosi aina natiivia PDF:ää skannauksen sijaan, kun se on saatavilla: sen laatu on rakenteellisesti parempi. Määritä nimenomaisesti table_format="markdown" tai "html" aina, kun taulukoita on mukana. Käsittele erissä ja rinnakkaista kutsut suurille määrille. Ja validoire ekstraktion laatu systemaattisesti ennen sen syöttämistä tietojärjestelmääsi – huono data maksaa enemmän kuin puuttuva data.

Keskeiset asiat

  • Lähdeasiakirjan laatu on ensisijainen tarkkuuteen vaikuttava tekijä
  • Kuvan esikäsittely (kontrasti, terävyys, binarisointi) parantaa tuloksia
  • Mukauta lähestymistapasi asiakirjatyypin mukaan (painettu, käsinkirjoitettu, vaurioitunut)
  • Käytä eräkäsittelyä suurille määrille
  • Validoi aina ekstraktion laatu ennen käyttöä