Lentelių ir struktūros ištraukimas
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 2 d. — OCR. OCR 4.0 (
mistral-ocr-4-0) buvo nutrauktas 2026 m. rugsėjo 30 d. Naudokite OCR 4.1 (mistral-ocr-4-1), kuris visuotinai prieinamas nuo rugpjūčio 31 d. ta pačia kaina, arba aliasąmistral-ocr-latest, kuris į jį nukreipia nuo liepos 16 d. OCR 4.1 prideda pasitikėjimo įverčius bloko lygmeniu.
Lentelės: istorinis OCR silpnybė
Paprasykite „Tesseract“ ištraukti suvestinės lentelę iš finansinės ataskaitos ir gausite eilučių virtinę, kurioje stulpelio „Iš viso“ reikšmės sumaišomos su stulpelio „Kiekis“ reikšmėmis, be jokios nuorodos, susiejančios jas su originaliomis eilutėmis. Problema ne simbolių atpažinime, kuris veikia puikiai; ji slypi visiškoje lentelinės struktūros sąmonės nebūvyje. Tradiciniai sprendimai skaito iš kairės į dešinę, iš viršaus į apačią, pakeliui prarasdami ryšius tarp stulpelių ir eilučių.
OCR 4 į puslapį žiūri kitaip: jis jį mato. Šis vizualinis supratimas leidžia atkurti lentelę kaip lentelę, o ne kaip suplotos teksto srautą.
Parametras table_format
Lentelės atvaizdavimą valdote vienu parametru, perduodamu OCR užklausai:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Markdown formatas (rekomenduojama daugeliu atvejų)
ocr_response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": "https://example.com/financial-report.pdf"
},
table_format="markdown"
)
Galimos trys reikšmės, ir šis pasirinkimas nėra tik kosmetinis: jis lemia, ką galėsite daryti su rezultatu tolesniuose etapuose.
Nustačius null (numatytoji reikšmė), lentelės integruojamos į „Markdown“ srautą be specifinio lentelinio formatavimo. Šis nustatymas tinka, kai neapdorojate lentelinių dokumentų ir tiesiog norite indeksuoti tekstą.
Nustačius "markdown", kiekviena lentelė atvaizduojama standartiniu vamzdžių formatu, todėl gaunama išvestis yra skaitoma tiesiogiai ir lengvai analizuojama:
| Produktas | Kiekis | Vieneto kaina | Iš viso |
|---------|----------|------------|-------|
| Gaminys A | 100 | 12,50 € | 1 250 € |
| Gaminys B | 50 | 25,00 € | 1 250 € |
| **Iš viso** | **150** | | **2 500 €** |
Nustačius "html", lentelė atvaizduojama kaip pilnas HTML, išsaugant langelių sujungimus ir pažangų formatavimą, kurio „Markdown“ išreikšti negali:
<table>
<thead>
<tr>
<th>Produktas</th>
<th>Kiekis</th>
<th>Vieneto kaina</th>
<th>Iš viso</th>
</tr>
</thead>
<tbody>
<tr>
<td>Gaminys A</td>
<td>100</td>
<td>12,50 €</td>
<td>1 250 €</td>
</tr>
</tbody>
</table>
Praktiškai „Markdown“ patenkina daugumą poreikių: RAG indeksavimui, paieškai arba rodymui redaktoriuje. Perjunkite į HTML, kai tik jūsų lentelėse yra sujungtų langelių arba rezultatą reikia įterpti į tinklalapį. Reikšmę null palikite tik tada, kai lentelės jūsų darbo eigoje nėra svarbios – pavyzdžiui, naratyvinėse ataskaitose ar susirašinėjime.
Lentelių gavimas kaip duomenų
„Markdown“ lentelė vis dar yra tekstas. Norint ją paversti manipuliuojamais duomenimis, reikia ją pastebėti sraute ir išskaidyti. Toliau pateikta funkcija eina per eilutes, identifikuoja tas, kurios priklauso lentelei, ignoruoja skirtuko eilutę ir užbaigia dabartinę lentelę, kai tik atsiranda įprasta eilutė:
import os
import re
import json
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def extract_markdown_tables(markdown: str) -> list[list[list[str]]]:
"""Ištraukia „Markdown“ lenteles ir konvertuoja jas į sąrašus."""
tables = []
lines = markdown.split("\n")
current_table = []
in_table = False
for line in lines:
if "|" in line and line.strip().startswith("|"):
# Ignoruoti skirtuko eilutę (|---|---|)
if re.match(r"^\|[\s\-:|]+\|$", line.strip()):
continue
cells = [
c.strip() for c in line.strip().strip("|").split("|")
]
current_table.append(cells)
in_table = True
else:
if in_table and current_table:
tables.append(current_table)
current_table = []
in_table = False
if current_table:
tables.append(current_table)
return tables
# OCR ištraukimas su „Markdown“ lentelėmis
ocr_response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": "https://example.com/invoice.pdf"
},
table_format="markdown"
)
# Iteruoti per puslapius ir ištraukti lenteles
for page in ocr_response.pages:
tables = extract_markdown_tables(page.markdown)
for i, table in enumerate(tables):
print(f"Puslapis {page.index + 1}, Lentelė {i + 1}:")
print(json.dumps(table, indent=2, ensure_ascii=False))
Galutinis patikrinimas už ciklo ribų nėra dekoratyvinis: be jo lentelė puslapio pabaigoje – dažnas atvejis sąskaitos faktūros suvestinėje – niekada nebūtų pridėta į sąrašą, nes jokia įprasta eilutė jos neuždarytų.
Perėjimas prie „pandas“ analizei
Sąrašų sąrašo pakanka eksportui, bet ne skaičiavimams. Konvertavimas į „DataFrame“ reiškia pirmosios eilutės pavertimą antraštėmis:
import pandas as pd
def tables_to_dataframes(markdown: str) -> list[pd.DataFrame]:
"""Konvertuoja „Markdown“ lenteles į „pandas“ „DataFrame“ objektus."""
tables = extract_markdown_tables(markdown)
dataframes = []
for table in tables:
if len(table) < 2:
continue
headers = table[0]
data = table[1:]
df = pd.DataFrame(data, columns=headers)
dataframes.append(df)
return dataframes
# Naudojimas
for page in ocr_response.pages:
dfs = tables_to_dataframes(page.markdown)
for df in dfs:
print(df.to_string())
print()
Sąlyga len(table) < 2 atfiltruoja klaidingus teiginius: vieniša eilutė su vamzdžiu, esanti kodo bloke arba adrese, nesukurs sugadinto, tuščio „DataFrame“. Atminkite, kad reikšmės lieka eilutėmis; konvertuoti „1 250 €“ į skaičių vis dar tenka jums.
Kai lentelės tampa sudėtingos
Sujungti langeliai, dviejų lygių antraštės arba netaisyklingi išdėstymai išstumia „Markdown“ už jo išraiškos galimybių ribų. Tuomet perjunkite į HTML ir leiskite „BeautifulSoup“ bei „pandas“ atlikti analizę:
from bs4 import BeautifulSoup
import pandas as pd
ocr_response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": "https://example.com/complex-report.pdf"
},
table_format="html"
)
for page in ocr_response.pages:
soup = BeautifulSoup(page.markdown, "html.parser")
tables = soup.find_all("table")
for table in tables:
df = pd.read_html(str(table))[0]
print(df)
Šis požiūris sutaupo nuo parserio rašymo: pd.read_html tvarko rowspan ir colspan atributus, kuriuos jūsų rankinis skaidymas praleistų. Kaina – papildoma priklausomybė ir šiek tiek išsamesnė išvestis – tai kompromisas, vertas finansinių ataskaitų ar reguliavimo lentelių atveju.
Svarbiausi punktai
- Parametras
table_formatvaldo lentelės atvaizdavimą (null, markdown, html) - „Markdown“ formatas tinka daugeliui naudojimo atvejų
- HTML formatas išsaugo sujungtus langelius ir pažangų formatavimą
- Ištrauktas lenteles galima konvertuoti į „pandas“ „DataFrame“ objektus analizei
- OCR 4 ištikimai atkuria lentelinę struktūrą net ir sudėtinguose išdėstymuose