OCR-tarkkuuden optimointi
Tällä sivulla
Päivitys 2. marraskuuta 2026 — OCR. OCR 4.0 (
mistral-ocr-4-0) poistettiin käytöstä 30. syyskuuta 2026. Käytä OCR 4.1:tä (mistral-ocr-4-1), joka on ollut yleisesti saatavilla 31. elokuuta lähtien samaan hintaan, tai aliastamistral-ocr-latest, joka on viitannut siihen 16. heinäkuuta lähtien. OCR 4.1 lisää luottamusluvut lohko tasolla. Lisäys 3. marraskuuta 2026: Paikallinen PDF lähetetään base64-muodossa{"type": "document_url", "document_url": "data:application/pdf;base64,…"}; vanhemmissa esimerkeissä esiintynytdocument_base64-tyyppiä ei ole olemassa eikä dokumentaatiossa ettämistralai-SDK:ssa, ja nämä esimerkit olisivat epäonnistuneet. Lähteet: OCR Processor · Document QnA.
Syötteen laatu määrittää tulosteen laadun
Mistralin tiimi ilmaisi asian suoraan Document AI -webinaarissaan: “roskia sisään, roskia ulos.” Mallin tehokkuudesta riippumatta se ei pysty palauttamaan tietoa, jota skannaus ei ole tallentanut. Kun ekstraktioprojekti ei suoriudu odotetusti, syyllinen löytyy lähes aina API:n edeltävältä vaiheelta: haalistuneesta valokopiosta, uudelleenskannatusta faksista tai huonosti valaistussa varastossa vinosti otetusta valokuvasta. Tämä oppitunti käsittelee vipuja, jotka todella vaikuttavat tarkkuuteen.
Resoluutio ja esikäsittely
Ensimmäinen vipu on skannauksen resoluutio. Tavoitearvot riippuvat dokumentin sisällöstä:
- Painetut asiakirjat: vähintään 200 DPI, suositus 300 DPI
- Käsinkirjoitus: vähintään 300 DPI
- Monimutkaiset taulukot: suositus 300 DPI
- Historialliset asiakirjat: 400 DPI tai korkeampi
Näiden arvojen alapuolella hienot viivat katoavat, eikä mikään ohjelmistokäsittely pysty palauttamaan niitä. Arvojen nostaminen kasvattaa lähinnä vain tiedostokokoa. Jos hallitset skannausketjua, skannerin oikea asetukset säästävät sinua paljon suuremmilta ongelmilta kuin mikään koodauskikka.
Kun asiakirja saapuu jo digitalisoituna, kuvan esikäsittely voi paikata tilannetta. Alla oleva funktio ketjuttaa neljä klassista operaatiota – harmaasävyksi muunnos, kontrastin parannus, terävöitys ja binarisointi – ennen kuin palauttaa kuvan base64-koodattuna, valmiina OCR-kutsuun:
from PIL import Image, ImageEnhance, ImageFilter
import io
import base64
def pre_process_image(image_path: str) -> str:
"""Esikäsittelee kuvan OCR-ekstraktion parantamiseksi."""
img = Image.open(image_path)
# 1. Muunna harmaasävyksi
img = img.convert("L")
# 2. Lisää kontrastia
enhancer = ImageEnhance.Contrast(img)
img = enhancer.enhance(1.5)
# 3. Lisää terävyyttä
img = img.filter(ImageFilter.SHARPEN)
# 4. Binarisointi (kynnysarvo)
img = img.point(lambda x: 0 if x < 128 else 255, "1")
# Muunna base64-muotoon
buffer = io.BytesIO()
img.save(buffer, format="PNG")
return base64.b64encode(buffer.getvalue()).decode("utf-8")
Testaa tämä käsittely otoksella ennen sen soveltamista koko erään. Binarisointi on erityisen armotonta: jo valmiiksi terävässä asiakirjassa se ei lisää mitään, ja lyijykynällä kirjoitetussa asiakirjassa se voi pyyhkiä tekstin kokonaan pois.
Suuntaus on toinen korjaus, jota ei kannata laiminlyödä. Skannaukset saapuvat usein käännettyinä 90 tai 180 astetta, ja suuntaustiedot tallennetaan yleensä kuvan EXIF-metatietoihin:
from PIL import Image
def correct_orientation(image_path: str) -> Image.Image:
"""Korjaa skannatun kuvan suunnan EXIF-metatietojen avulla."""
img = Image.open(image_path)
# Käytä EXIF-tietoja suunnan korjaamiseen
try:
exif = img._getexif()
if exif:
orientation = exif.get(274) # EXIF-suuntaustagi
rotations = {3: 180, 6: 270, 8: 90}
if orientation in rotations:
img = img.rotate(rotations[orientation], expand=True)
except (AttributeError, KeyError):
pass
return img
Laaja try-lohko on tässä perusteltu: monissa kuvissa ei ole EXIF-tietoja, eikä puuttuvien suuntaustietojen pitäisi keskeyttää eräkäsittelyä.
Kokoonpanon mukauttaminen asiakirjatyypin mukaan
Yleisissä painetuissa asiakirjoissa – laskuissa, sopimuksissa, raporteissa – optimaalinen kokoonpano tiivistyy taulukkoekstraktion pyytämiseen nimenomaisesti oletusasetusten luottamisen sijaan:
# Optimaalinen kokoonpano painetuille asiakirjoille
ocr_response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": f"data:application/pdf;base64,{document_base64}"
},
table_format="markdown" # Nimenomainen taulukkoekstraktio
)
Käsinkirjoitus vaatii enemmän huolellisuutta upstream-vaiheessa. Skannaa vähintään 300 DPI:n tarkkuudella, lisää musteen ja paperin välistä kontrastia, mutta ohita edellisen skriptin aggressiivinen binarisointi: se pyyhkii pois hienot kuulakärkikynän jäljet, ja menetät enemmän tietoa kuin mitä hyödyt. Malli itse käsittelee käsinkirjoitusta hyvin, mukaan lukien monikielisen tekstin, mikä ei ollut itsestäänselvyys aiempien OCR-sukupolvien kohdalla.
Sitten ovat vakavasti vaurioituneet skannaukset – arkistot, rypistyneet asiakirjat, kopioiden kopiot. Strategia muuttuu: aloita vähentämällä kohinaa mediaanisuodattimella ennen kontrastin tehostamista, ja lisää kirkkautta, jos koko kuva on edelleen liian tumma.
from PIL import Image, ImageFilter, ImageEnhance
def improve_scan(path: str) -> Image.Image:
"""Parantaa heikkolaatuista skannausta."""
img = Image.open(path)
# Kohinan vähennys
img = img.filter(ImageFilter.MedianFilter(size=3))
# Lisää kontrastia
enhancer = ImageEnhance.Contrast(img)
img = enhancer.enhance(2.0)
# Lisää kirkkautta, jos liian tumma
enhancer = ImageEnhance.Brightness(img)
img = enhancer.enhance(1.2)
return img
Järjestyksellä on väliä: kontrastin tehostaminen ennen kohinan poistamista vain vahvistaa tahroja yhtä paljon kuin kirjaimiakin.
Määrien käsittely
Kun tiedostojen määrä ylittää kourallisen, tarvitset eräkäsittelyä virheenkäsittelyllä tiedostoa kohden. Erittäin suurille määrille Mistral tarjoaa Batch Inference -palvelun; seuraava skripti näyttää peruslogiikan PDF-kansiolle, jossa jokainen epäonnistuminen kirjataan tuloksiin silmukan katkaisemisen sijaan:
import os
import json
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def process_folder(folder: str) -> dict:
"""Käsittelee kaikki kansion PDF-tiedostot."""
results = {}
path = Path(folder)
for file in path.glob("*.pdf"):
print(f"Processing {file.name}...")
with open(file, "rb") as f:
import base64
doc_b64 = base64.b64encode(f.read()).decode("utf-8")
try:
response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": f"data:application/pdf;base64,{doc_b64}"
},
table_format="markdown"
)
results[file.name] = {
"pages": len(response.pages),
"content": "\n\n".join(
p.markdown for p in response.pages
)
}
except Exception as e:
results[file.name] = {"error": str(e)}
return results
Tämä tulossanakirja antaa sinulle käsittelyn päätteeksi tarkan luettelon tiedostoista, jotka kannattaa yrittää uudelleen. Useiden satojen asiakirjojen erässä tämä on ero sen välillä, joudutko ajamaan uudelleen kolme tiedostoa vai aloittamaan alusta.
Varmista ennen hyödyntämistä
Teknisesti onnistunut ekstraktio voi epäonnistua käytännössä: tyhjä sivu palautuu lukukelvottomasta skannauksesta, tai kohinaisesta kuvasta tulvii roskamerkkejä. Muutama yksinkertainen heuristiikka riittää automaattisen hälytyksen laukaisemiseen.
def verify_quality(markdown: str) -> dict:
"""Varmistaa OCR-ekstraktion laadun."""
indicators = {
"length": len(markdown),
"words": len(markdown.split()),
"empty_lines_ratio": markdown.count("\n\n") / max(len(markdown), 1),
"special_chars_ratio": sum(
1 for c in markdown if not c.isalnum() and c not in " \n\t.,;:!?-"
) / max(len(markdown), 1),
}
# Hälytykset
if indicators["words"] < 10:
indicators["alert"] = "Erittäin vähän tekstiä ekstrahoitu"
elif indicators["special_chars_ratio"] > 0.3:
indicators["alert"] = "Korkea erikoismerkkien suhde"
return indicators
Kaksi kynnysarvoa ovat viitteellisiä ja ne on kalibroitava omaan aineistoosi: kymmenen sanaa sopimussivulla signaloi ongelmaa, mutta ei toimituslistalla, joka sisältää vain viisitoista sanaa.
Toiminnallinen yhteenveto
Muista ketju sen loogisessa järjestyksessä. Skannaa vähintään 300 DPI:n tarkkuudella kaikissa ei-triviaaleissa asiakirjoissa ja lisää kontrastia ennen lähetystä, jos asiakirja on haalistunut. Korjaa skannausten kiertokulma. Suosi aina natiivia PDF:ää skannauksen sijaan, kun se on saatavilla: sen laatu on rakenteellisesti parempi. Määritä nimenomaisesti table_format="markdown" tai "html" aina, kun taulukoita on mukana. Käsittele erissä ja rinnakkaista kutsut suurille määrille. Ja validoire ekstraktion laatu systemaattisesti ennen sen syöttämistä tietojärjestelmääsi – huono data maksaa enemmän kuin puuttuva data.
Keskeiset asiat
- Lähdeasiakirjan laatu on ensisijainen tarkkuuteen vaikuttava tekijä
- Kuvan esikäsittely (kontrasti, terävyys, binarisointi) parantaa tuloksia
- Mukauta lähestymistapasi asiakirjatyypin mukaan (painettu, käsinkirjoitettu, vaurioitunut)
- Käytä eräkäsittelyä suurille määrille
- Validoi aina ekstraktion laatu ennen käyttöä