Tabulu un struktūru ekstrakcija
Šajā lapā
Atjaunināts 2026. gada 2. novembrī — OCR. OCR 4.0 (
mistral-ocr-4-0) tika izslēgts 2026. gada 30. septembrī. Izmanto OCR 4.1 (mistral-ocr-4-1), kas ir vispārēji pieejams kopš 31. augusta par tādu pašu cenu, vai arī aliasumistral-ocr-latest, kas uz to norāda kopš 16. jūlija. OCR 4.1 pievieno ticamības rādītājus bloku līmenī.
Tabulas: OCR vēsturiskais vājais punkts
Palūdz Tesseract izvilkt kopsavilkuma tabulu no finanšu pārskata, un tu saņemsi rindu virkni, kurā vērtības no kolonnas “Kopā” sajaucas ar tām no kolonnas “Daudzums”, bez nekādas norādes, kas tās atgrieztu pie sākotnējām rindām. Problēma nav rakstzīmju atpazīšanā, kas darbojas nevainojami; tā ir pilnīga tabulas struktūras izpratnes trūkums. Tradicionālie risinājumi lasa no kreisās uz labo, no augšas uz leju, zaudējot attiecības starp kolonnām un rindām.
OCR 4 pieiet lapai citādāk: tas to redz. Šī vizuālā izpratne ļauj tam atjaunot tabulu kā tabulu, nevis kā saplacinātu tekstu.
Parametrs table_format
Tu kontrolē tabulu attēlošanu ar vienu parametru, ko nodod OCR izsaukumam:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Markdown formāts (ieteicams vairumam gadījumu)
ocr_response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": "https://example.com/financial-report.pdf"
},
table_format="markdown"
)
Ir iespējamas trīs vērtības, un izvēle nav tikai kosmētiska: tā nosaka, ko tu vari darīt ar rezultātu tālākajā procesā.
Ar null, kas ir noklusējuma vērtība, tabulas tiek integrētas Markdown plūsmā bez specifiska tabulas formatējuma. Šis iestatījums der, ja tu neapstrādā tabulārus dokumentus un vienkārši vēlies indeksējamu tekstu.
Ar "markdown" katra tabula tiek attēlota standarta cauruļu formātā, radot izvadi, kas ir lasāma tāda, kāda ir, un viegli parsējama:
| Produkts | Daudzums | Vienības cena | Kopā |
|---------|----------|------------|-------|
| A detaļa | 100 | €12,50 | €1 250 |
| B detaļa | 50 | €25,00 | €1 250 |
| **Kopā** | **150** | | **€2 500** |
Ar "html" tabula tiek attēlota kā pilns HTML, saglabājot šūnu apvienošanu un uzlabotu formatējumu, ko Markdown nevar izteikt:
<table>
<thead>
<tr>
<th>Produkts</th>
<th>Daudzums</th>
<th>Vienības cena</th>
<th>Kopā</th>
</tr>
</thead>
<tbody>
<tr>
<td>A detaļa</td>
<td>100</td>
<td>€12,50</td>
<td>€1 250</td>
</tr>
</tbody>
</table>
Praksē Markdown sedz vairumu vajadzību: RAG indeksēšanu, meklēšanu vai attēlošanu redaktorā. Pārej uz HTML tiklīdz tavās tabulās ir apvienotas šūnas vai rezultāts ir jāiegulst tīmekļa lapā. Atstāj null tikai tad, ja tabulām tavā darbplūsmā nav nozīmes – piemēram, stāstījuma ziņojumā vai sarakstē.
Tabulu iegūšana kā dati
Markdown tabula joprojām ir teksts. Lai pārvērstu to manipulējamos datos, tev ir jāatrod tā plūsmā un jāsadala. Zemāk esošā funkcija iziet cauri rindām, identificē tās, kas pieder tabulai, ignorē atdalītāja rindu un aizver pašreizējo tabulu, tiklīdz parādās parasta rinda:
import os
import re
import json
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def extract_markdown_tables(markdown: str) -> list[list[list[str]]]:
"""Ekstrahē Markdown tabulas un pārvērš tās sarakstos."""
tables = []
lines = markdown.split("\n")
current_table = []
in_table = False
for line in lines:
if "|" in line and line.strip().startswith("|"):
# Ignorē atdalītāja rindu (|---|---|)
if re.match(r"^\|[\s\-:|]+\|$", line.strip()):
continue
cells = [
c.strip() for c in line.strip().strip("|").split("|")
]
current_table.append(cells)
in_table = True
else:
if in_table and current_table:
tables.append(current_table)
current_table = []
in_table = False
if current_table:
tables.append(current_table)
return tables
# OCR ekstrakcija ar Markdown tabulām
ocr_response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": "https://example.com/invoice.pdf"
},
table_format="markdown"
)
# Iterē cauri lapām un ekstrahē tabulas
for page in ocr_response.pages:
tables = extract_markdown_tables(page.markdown)
for i, table in enumerate(tables):
print(f"Lapa {page.index + 1}, Tabula {i + 1}:")
print(json.dumps(table, indent=2, ensure_ascii=False))
Pēdējā pārbaude ārpus cikla nav dekoratīva: bez tās tabula lapas beigās – bieži sastopams gadījums rēķina kopsavilkumam – nekad netiktu pievienota sarakstam, jo neviens parasts teksts to neaizvērtu.
Pāreja uz pandas analīzei
Sarakstu saraksts ir pietiekams eksportam, bet ne aprēķiniem. Pārvēršana par DataFrame nozīmē pirmās rindas paaugstināšanu līdz galvenēm:
import pandas as pd
def tables_to_dataframes(markdown: str) -> list[pd.DataFrame]:
"""Pārvērš Markdown tabulas par pandas DataFrame objektiem."""
tables = extract_markdown_tables(markdown)
dataframes = []
for table in tables:
if len(table) < 2:
continue
headers = table[0]
data = table[1:]
df = pd.DataFrame(data, columns=headers)
dataframes.append(df)
return dataframes
# Lietošana
for page in ocr_response.pages:
dfs = tables_to_dataframes(page.markdown)
for df in dfs:
print(df.to_string())
print()
Tests len(table) < 2 filtrē viltus pozitīvus: izolēta rinda, kas satur cauruli koda blokā vai adresē, neradīs bojātu, tukšu DataFrame. Patur prātā, ka vērtības paliek virknes; “€1 250” pārvēršana skaitlī joprojām ir tava ziņā.
Kad tabulas kļūst sarežģītas
Apvienotas šūnas, divu līmeņu galvenes vai neregulāri izkārtojumi spiež Markdown ārpus tā izteiksmes robežām. Tad pārej uz HTML un ļauj BeautifulSoup un pandas veikt analīzi:
from bs4 import BeautifulSoup
import pandas as pd
ocr_response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": "https://example.com/complex-report.pdf"
},
table_format="html"
)
for page in ocr_response.pages:
soup = BeautifulSoup(page.markdown, "html.parser")
tables = soup.find_all("table")
for table in tables:
df = pd.read_html(str(table))[0]
print(df)
Šī pieeja atbrīvo tevi no parsera rakstīšanas: pd.read_html apstrādā rowspan un colspan atribūtus, kurus tava manuālā sadalīšana palaistu garām. Cena ir papildu atkarība un nedaudz daudzrunīgāka izvade – kompromiss, kas ir tā vērts finanšu pārskatiem vai regulatīvajām tabulām.
Galvenās atziņas
- Parametrs
table_formatkontrolē tabulu attēlošanu (null, markdown, html) - Markdown formāts der vairumam lietojuma gadījumu
- HTML formāts saglabā apvienotās šūnas un uzlabotu formatējumu
- Ekstrahētās tabulas var pārvērst par pandas DataFrame objektiem analīzei
- OCR 4 uzticami atjauno tabulu struktūru pat sarežģītos izkārtojumos