Taulukkojen ja rakenteen erottelu
Tällä sivulla
Päivitetty 2. marraskuuta 2026 — OCR. OCR 4.0 (
mistral-ocr-4-0) poistettiin käytöstä 30. syyskuuta 2026. Käytä OCR 4.1:tä (mistral-ocr-4-1), joka on ollut yleisesti saatavilla 31. elokuuta lähtien samaan hintaan, tai alias-nimeämistral-ocr-latest, joka on viitannut siihen 16. heinäkuuta lähtien. OCR 4.1 lisää luottamusluvut lohko tasolla.
Taulukot: OCR:n historiallinen heikkous
Pyydä Tesseractia erottamaan yhteenvetotaulukko talousraportista, ja saat rivijonon, jossa “Yhteensä”-sarakkeen arvot sekoittuvat “Määrä”-sarakkeen arvoihin ilman mitään vihjettä niiden alkuperäisistä riveistä. Ongelma ei ole merkkien tunnistamisessa, joka toimii moitteettomasti, vaan taulukkorakenteen täydellisessä huomioimattomuudessa. Perinteiset ratkaisut lukevat vasemmalta oikealle ja ylhäältä alas, menettäen samalla sarakkeiden ja rivien väliset suhteet.
OCR 4 lähestyy sivua eri tavalla: se näkee sen. Tämä visuaalinen ymmärrys mahdollistaa taulukon palauttamisen taulukkona, ei litistettynä tekstinä.
Parametri table_format
Ohjaat taulukkojen renderöintiä yhdellä parametrilla, jonka välität OCR-kutsulle:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Markdown-muoto (suositeltu useimpiin tapauksiin)
ocr_response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": "https://example.com/financial-report.pdf"
},
table_format="markdown"
)
Mahdollisia arvoja on kolme, eikä valinta ole pelkkä kosmeettinen seikka: se määrittää, mitä voit tehdä tulokselle myöhemmin prosessoinnissa.
Arvolla null, joka on oletusarvo, taulukot integroidaan Markdown-virtaan ilman erityistä taulukkomuotoilua. Tämä asetus toimii, kun et käsittele taulukkomaisia asiakirjoja ja haluat vain indeksoitavaa tekstiä.
Arvolla "markdown" jokainen taulukko renderöidään vakiomuotoisena putkimuotona, jolloin tuloste on sellaisenaan luettavaa ja helppo jäsentää:
| Tuote | Määrä | Yksikköhinta | Yhteensä |
|---------|----------|------------|-------|
| Widget A | 100 | 12,50 € | 1 250 € |
| Widget B | 50 | 25,00 € | 1 250 € |
| **Yhteensä** | **150** | | **2 500 €** |
Arvolla "html" taulukko renderöidään täysimittaisena HTML:nä, säilyttäen solujen yhdistämiset ja edistyneen muotoilun, jota Markdown ei pysty ilmaisemaan:
<table>
<thead>
<tr>
<th>Tuote</th>
<th>Määrä</th>
<th>Yksikköhinta</th>
<th>Yhteensä</th>
</tr>
</thead>
<tbody>
<tr>
<td>Widget A</td>
<td>100</td>
<td>12,50 €</td>
<td>1 250 €</td>
</tr>
</tbody>
</table>
Käytännössä Markdown kattaa useimmat tarpeet: RAG-indeksointi, haku tai näyttäminen editorissa. Vaihda HTML:ään heti, kun taulukoissasi on yhdistettyjä soluja tai tulos tarvitsee upottaa verkkosivulle. Pidä arvona null vain, kun taulukoilla ei ole merkitystä työnkulussasi – esimerkiksi kertovassa raportissa tai kirjeenvaihdossa.
Taulukkojen hakeminen datana
Markdown-taulukko on edelleen tekstiä. Muuttaaksesi sen käsiteltäväksi dataksi, sinun on tunnistettava se virrasta ja jaettava se osiin. Alla oleva funktio käy läpi rivit, tunnistaa taulukkoon kuuluvat rivit, ohittaa erotinrivin ja sulkee nykyisen taulukon heti, kun normaali rivi ilmestyy:
import os
import re
import json
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def extract_markdown_tables(markdown: str) -> list[list[list[str]]]:
"""Erottää Markdown-taulukot ja muuntaa ne listoiksi."""
tables = []
lines = markdown.split("\n")
current_table = []
in_table = False
for line in lines:
if "|" in line and line.strip().startswith("|"):
# Ohita erotinrivi (|---|---|)
if re.match(r"^\|[\s\-:|]+\|$", line.strip()):
continue
cells = [
c.strip() for c in line.strip().strip("|").split("|")
]
current_table.append(cells)
in_table = True
else:
if in_table and current_table:
tables.append(current_table)
current_table = []
in_table = False
if current_table:
tables.append(current_table)
return tables
# OCR-erottelu Markdown-taulukoilla
ocr_response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": "https://example.com/invoice.pdf"
},
table_format="markdown"
)
# Käy läpi sivut ja erota taulukot
for page in ocr_response.pages:
tables = extract_markdown_tables(page.markdown)
for i, table in enumerate(tables):
print(f"Sivu {page.index + 1}, Taulukko {i + 1}:")
print(json.dumps(table, indent=2, ensure_ascii=False))
Silmukan ulkopuolella oleva viimeinen tarkistus ei ole koristeellinen: ilman sitä sivun lopussa oleva taulukko – mikä on yleistä esimerkiksi laskun yhteenvedossa – ei koskaan lisättäisi listaan, koska mikään normaali rivi ei tule sulkemaan sitä.
Siirtyminen pandas-kirjastoon analyysiä varten
Listojen lista riittää vientiin, mutta ei laskentaan. Muuntaminen DataFrameksi tarkoittaa ensimmäisen rivin nostamista otsikoiksi:
import pandas as pd
def tables_to_dataframes(markdown: str) -> list[pd.DataFrame]:
"""Muuntaa Markdown-taulukot pandas-DataFrame-objekteiksi."""
tables = extract_markdown_tables(markdown)
dataframes = []
for table in tables:
if len(table) < 2:
continue
headers = table[0]
data = table[1:]
df = pd.DataFrame(data, columns=headers)
dataframes.append(df)
return dataframes
# Käyttö
for page in ocr_response.pages:
dfs = tables_to_dataframes(page.markdown)
for df in dfs:
print(df.to_string())
print()
Ehto len(table) < 2 suodattaa väärät positiiviset tulokset: yksittäinen putkimerkin sisältävä rivi koodilohkossa tai osoitteessa ei tuota rikkinäistä, tyhjää DataFramea. Pidä mielessä, että arvot pysyvät merkkijonoina; arvon “1 250 €” muuntaminen numeroksi on edelleen sinun tehtäväsi.
Kun taulukot monimutkaistuvat
Yhdistetyt solut, kaksitasoiset otsikot tai epäsäännölliset asettelut työntävät Markdownin ilmaisukykyrajojen yli. Vaihda silloin HTML:ään ja anna BeautifulSoupin ja pandasin hoitaa analyysi:
from bs4 import BeautifulSoup
import pandas as pd
ocr_response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": "https://example.com/complex-report.pdf"
},
table_format="html"
)
for page in ocr_response.pages:
soup = BeautifulSoup(page.markdown, "html.parser")
tables = soup.find_all("table")
for table in tables:
df = pd.read_html(str(table))[0]
print(df)
Tämä lähestymistapa säästää sinut jäsentimen kirjoittamiselta: pd.read_html käsittelee rowspan- ja colspan-attribuutit, jotka manuaalinen jakamisesi jättäisi huomiotta. Kustannuksena on ylimääräinen riippuvuus ja hieman puheliasmpi tuloste – kompromissi, joka kannattaa ehdottomasti talousraporttien tai sääntelytaulukkojen kohdalla.
Keskeiset asiat
- Parametri
table_formatohjaa taulukkojen renderöintiä (null, markdown, html) - Markdown-muoto sopii useimpiin käyttötarkoituksiin
- HTML-muoto säilyttää yhdistetyt solut ja edistyneen muotoilun
- Erotetut taulukot voidaan muuntaa pandas-DataFrame-objekteiksi analyysiä varten
- OCR 4 rekonstruoi uskollisesti taulukkorakenteen, jopa monimutkaisissa asetteluissa