Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Tabelite ja struktuuri eraldamine

Õppetund 6 / 16 Värskendatud 2. november 2026 Arendajatele
Sellel lehel
  1. Tabelid: OCR-i ajalooline nõrk koht
  2. Parameeter table_format
  3. Tabelite andmetena kättesaamine
  4. Üleminek pandas-ile analüüsiks
  5. Kui tabelid muutuvad keeruliseks
  6. Peamised punktid

Uuendatud 2. novembril 2026 — OCR. OCR 4.0 (mistral-ocr-4-0) võeti kasutusest välja 30. septembril 2026. Kasuta OCR 4.1 (mistral-ocr-4-1), mis on olnud üldkasutatav alates 31. augustist sama hinnaga, või aliast mistral-ocr-latest, mis on sellele viidanud alates 16. juulist. OCR 4.1 lisab usaldusväärsuse hinnangud ploki tasandil.

Tabelid: OCR-i ajalooline nõrk koht

Kui palud Tesseractil eraldada finantsaruandest kokkuvõtlikku tabelit, saad tulemuseks rea ridu, kus veeru “Kokku” väärtused segunevad veeru “Kogus” väärtustega, ilma igasuguse vihjeta, mis seoks need algsete ridadega. Probleem ei ole märkide äratundmises, mis toimib suurepäraselt; probleem on tabelistruktuuri täielikus teadmatuses. Traditsioonilised lahendused loevad vasakult paremale ja ülevalt alla, kaotades samal ajal seosed veergude ja ridade vahel.

OCR 4 läheneb lehele teisiti: ta näeb seda. See visuaalne mõistmine võimaldab tal taastada tabeli tabelina, mitte lamedana tekstina.

Parameeter table_format

Saad tabelite renderdamist juhtida üheainsa parameetriga, mille edastad OCR-i väljakutsele:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Markdown-vorming (soovitatav enamiku juhtude jaoks)
ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://example.com/financial-report.pdf"
    },
    table_format="markdown"
)

Võimalik on kolm väärtust ja see valik ei ole pelgalt kosmeetiline: see määrab, mida saad tulemusega hiljem ette võtta.

Väärtusega null, mis on vaikimisi seade, integreeritakse tabelid Markdowni voogu ilma spetsiifilise tabelivorminguta. See seade sobib, kui ei töötle tabeldokumente ja soovid lihtsalt indekseeritavat teksti.

Väärtusega "markdown" renderdatakse iga tabel standardses toruvormingus, mis annab tulemuseks iseseisvalt loetava ja hõlpsasti parsitava väljundi:

| Toode | Kogus | Ühikuhind | Kokku |
|---------|----------|------------|-------|
| Vidin A | 100 | €12,50 | €1250 |
| Vidin B | 50 | €25,00 | €1250 |
| **Kokku** | **150** | | **€2500** |

Väärtusega "html" renderdatakse tabel täieliku HTML-ina, säilitades lahtrite liitmise ja täiustatud vorminduse, mida Markdown väljendada ei suuda:

<table>
  <thead>
    <tr>
      <th>Toode</th>
      <th>Kogus</th>
      <th>Ühikuhind</th>
      <th>Kokku</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>Vidin A</td>
      <td>100</td>
      <td>€12,50</td>
      <td>€1250</td>
    </tr>
  </tbody>
</table>

Praktikas katab Markdown enamiku vajadusi: RAG-indekseerimine, otsing või kuvamine redaktoris. Lülita HTML-ile alles siis, kui su tabelid sisaldavad liidetud lahtrid või kui tulemus tuleb veebilehele manustada. Hoia väärtus null ainult siis, kui tabelid sinu töövoos tähtsad ei ole – näiteks jutustava aruande või kirjavahetuse puhul.

Tabelite andmetena kättesaamine

Markdown-tabel on ikkagi tekst. Et muuta see manipuleeritavaks andmeks, pead selle voost tuvastama ja osadeks jagama. Allpool olev funktsioon läbib read, tuvastab tabelisse kuuluvad read, jätab eraldaja rea vahele ja sulgeb jooksva tabeli niipea, kui ilmub tavaline rida:

import os
import re
import json
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def extract_markdown_tables(markdown: str) -> list[list[list[str]]]:
    """Eraldab Markdown-tabelid ja teisendab need listideks."""
    tables = []
    lines = markdown.split("\n")
    current_table = []
    in_table = False

    for line in lines:
        if "|" in line and line.strip().startswith("|"):
            # Jäta eraldaja rida vahele (|---|---|)
            if re.match(r"^\|[\s\-:|]+\|$", line.strip()):
                continue
            cells = [
                c.strip() for c in line.strip().strip("|").split("|")
            ]
            current_table.append(cells)
            in_table = True
        else:
            if in_table and current_table:
                tables.append(current_table)
                current_table = []
            in_table = False

    if current_table:
        tables.append(current_table)

    return tables


# OCR-i eraldamine Markdown-tabelitega
ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://example.com/invoice.pdf"
    },
    table_format="markdown"
)

# Läbi lehtede iteratsioon ja tabelite eraldamine
for page in ocr_response.pages:
    tables = extract_markdown_tables(page.markdown)
    for i, table in enumerate(tables):
        print(f"Leht {page.index + 1}, Tabel {i + 1}:")
        print(json.dumps(table, indent=2, ensure_ascii=False))

Lõplik kontroll väljaspool tsüklit ei ole ilu pärast: ilma selleta ei lisataks lehe lõpus olevat tabelit – mis on arve kokkuvõtte puhul sage juhtum – kunagi nimekirja, kuna seda sulgevat tavalist rida ei järgne.

Üleminek pandas-ile analüüsiks

Listide listist piisab eksportimiseks, kuid mitte arvutusteks. DataFrame’iks teisendamine tähendab esimese rea päisteks tõstmist:

import pandas as pd

def tables_to_dataframes(markdown: str) -> list[pd.DataFrame]:
    """Teisendab Markdown-tabelid pandas DataFrame'ideks."""
    tables = extract_markdown_tables(markdown)
    dataframes = []

    for table in tables:
        if len(table) < 2:
            continue
        headers = table[0]
        data = table[1:]
        df = pd.DataFrame(data, columns=headers)
        dataframes.append(df)

    return dataframes

# Kasutamine
for page in ocr_response.pages:
    dfs = tables_to_dataframes(page.markdown)
    for df in dfs:
        print(df.to_string())
        print()

Test len(table) < 2 filtreerib välja valepositiivsed tulemused: üksik rida, mis sisaldab torumärki koodiplokis või aadressis, ei tekita katkist või tühja DataFrame’i. Pidage meeles, et väärtused jäävad stringideks; “€1250” numbriks teisendamine on endiselt sinu teha.

Kui tabelid muutuvad keeruliseks

Liidetud lahtrid, kaheastmelised päised või ebaregulaarsed paigutused suruvad Markdowni väljendusvõime piiridest välja. Sel juhul lülitu HTML-ile ja lase BeautifulSoupil ning pandasil analüüsiga tegeleda:

from bs4 import BeautifulSoup
import pandas as pd

ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://example.com/complex-report.pdf"
    },
    table_format="html"
)

for page in ocr_response.pages:
    soup = BeautifulSoup(page.markdown, "html.parser")
    tables = soup.find_all("table")

    for table in tables:
        df = pd.read_html(str(table))[0]
        print(df)

See lähenemine säästab sind parseri kirjutamisest: pd.read_html haldab atribuute rowspan ja colspan, mida su käsitsi jagamine maha jätaks. Hind on täiendav sõltuvus ja veidi sõnasem väljund – kompromiss, mis on finantsaruannete või regulatiivsete tabelite puhul igati seda väärt.

Peamised punktid

  • Parameeter table_format juhib tabelite renderdamist (null, markdown, html)
  • Markdown-vorming sobib enamiku kasutusjuhtude jaoks
  • HTML-vorming säilitab liidetud lahtrid ja täiustatud vorminduse
  • Eraldatud tabelid saab analüüsiks teisendada pandas DataFrame’ideks
  • OCR 4 rekonstrueerib ustavalt tabelistruktuuri, isegi keeruliste paigutuste korral