Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Lentelių ir struktūros ištraukimas

Paskaita 6 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Kūrėjas
Šiame puslapyje
  1. Lentelės: istorinis OCR silpnybė
  2. Parametras table_format
  3. Lentelių gavimas kaip duomenų
  4. Perėjimas prie „pandas“ analizei
  5. Kai lentelės tampa sudėtingos
  6. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 2 d. — OCR. OCR 4.0 (mistral-ocr-4-0) buvo nutrauktas 2026 m. rugsėjo 30 d. Naudokite OCR 4.1 (mistral-ocr-4-1), kuris visuotinai prieinamas nuo rugpjūčio 31 d. ta pačia kaina, arba aliasą mistral-ocr-latest, kuris į jį nukreipia nuo liepos 16 d. OCR 4.1 prideda pasitikėjimo įverčius bloko lygmeniu.

Lentelės: istorinis OCR silpnybė

Paprasykite „Tesseract“ ištraukti suvestinės lentelę iš finansinės ataskaitos ir gausite eilučių virtinę, kurioje stulpelio „Iš viso“ reikšmės sumaišomos su stulpelio „Kiekis“ reikšmėmis, be jokios nuorodos, susiejančios jas su originaliomis eilutėmis. Problema ne simbolių atpažinime, kuris veikia puikiai; ji slypi visiškoje lentelinės struktūros sąmonės nebūvyje. Tradiciniai sprendimai skaito iš kairės į dešinę, iš viršaus į apačią, pakeliui prarasdami ryšius tarp stulpelių ir eilučių.

OCR 4 į puslapį žiūri kitaip: jis jį mato. Šis vizualinis supratimas leidžia atkurti lentelę kaip lentelę, o ne kaip suplotos teksto srautą.

Parametras table_format

Lentelės atvaizdavimą valdote vienu parametru, perduodamu OCR užklausai:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Markdown formatas (rekomenduojama daugeliu atvejų)
ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://example.com/financial-report.pdf"
    },
    table_format="markdown"
)

Galimos trys reikšmės, ir šis pasirinkimas nėra tik kosmetinis: jis lemia, ką galėsite daryti su rezultatu tolesniuose etapuose.

Nustačius null (numatytoji reikšmė), lentelės integruojamos į „Markdown“ srautą be specifinio lentelinio formatavimo. Šis nustatymas tinka, kai neapdorojate lentelinių dokumentų ir tiesiog norite indeksuoti tekstą.

Nustačius "markdown", kiekviena lentelė atvaizduojama standartiniu vamzdžių formatu, todėl gaunama išvestis yra skaitoma tiesiogiai ir lengvai analizuojama:

| Produktas | Kiekis | Vieneto kaina | Iš viso |
|---------|----------|------------|-------|
| Gaminys A | 100 | 12,50 € | 1 250 € |
| Gaminys B | 50 | 25,00 € | 1 250 € |
| **Iš viso** | **150** | | **2 500 €** |

Nustačius "html", lentelė atvaizduojama kaip pilnas HTML, išsaugant langelių sujungimus ir pažangų formatavimą, kurio „Markdown“ išreikšti negali:

<table>
  <thead>
    <tr>
      <th>Produktas</th>
      <th>Kiekis</th>
      <th>Vieneto kaina</th>
      <th>Iš viso</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>Gaminys A</td>
      <td>100</td>
      <td>12,50 €</td>
      <td>1 250 €</td>
    </tr>
  </tbody>
</table>

Praktiškai „Markdown“ patenkina daugumą poreikių: RAG indeksavimui, paieškai arba rodymui redaktoriuje. Perjunkite į HTML, kai tik jūsų lentelėse yra sujungtų langelių arba rezultatą reikia įterpti į tinklalapį. Reikšmę null palikite tik tada, kai lentelės jūsų darbo eigoje nėra svarbios – pavyzdžiui, naratyvinėse ataskaitose ar susirašinėjime.

Lentelių gavimas kaip duomenų

„Markdown“ lentelė vis dar yra tekstas. Norint ją paversti manipuliuojamais duomenimis, reikia ją pastebėti sraute ir išskaidyti. Toliau pateikta funkcija eina per eilutes, identifikuoja tas, kurios priklauso lentelei, ignoruoja skirtuko eilutę ir užbaigia dabartinę lentelę, kai tik atsiranda įprasta eilutė:

import os
import re
import json
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def extract_markdown_tables(markdown: str) -> list[list[list[str]]]:
    """Ištraukia „Markdown“ lenteles ir konvertuoja jas į sąrašus."""
    tables = []
    lines = markdown.split("\n")
    current_table = []
    in_table = False

    for line in lines:
        if "|" in line and line.strip().startswith("|"):
            # Ignoruoti skirtuko eilutę (|---|---|)
            if re.match(r"^\|[\s\-:|]+\|$", line.strip()):
                continue
            cells = [
                c.strip() for c in line.strip().strip("|").split("|")
            ]
            current_table.append(cells)
            in_table = True
        else:
            if in_table and current_table:
                tables.append(current_table)
                current_table = []
            in_table = False

    if current_table:
        tables.append(current_table)

    return tables


# OCR ištraukimas su „Markdown“ lentelėmis
ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://example.com/invoice.pdf"
    },
    table_format="markdown"
)

# Iteruoti per puslapius ir ištraukti lenteles
for page in ocr_response.pages:
    tables = extract_markdown_tables(page.markdown)
    for i, table in enumerate(tables):
        print(f"Puslapis {page.index + 1}, Lentelė {i + 1}:")
        print(json.dumps(table, indent=2, ensure_ascii=False))

Galutinis patikrinimas už ciklo ribų nėra dekoratyvinis: be jo lentelė puslapio pabaigoje – dažnas atvejis sąskaitos faktūros suvestinėje – niekada nebūtų pridėta į sąrašą, nes jokia įprasta eilutė jos neuždarytų.

Perėjimas prie „pandas“ analizei

Sąrašų sąrašo pakanka eksportui, bet ne skaičiavimams. Konvertavimas į „DataFrame“ reiškia pirmosios eilutės pavertimą antraštėmis:

import pandas as pd

def tables_to_dataframes(markdown: str) -> list[pd.DataFrame]:
    """Konvertuoja „Markdown“ lenteles į „pandas“ „DataFrame“ objektus."""
    tables = extract_markdown_tables(markdown)
    dataframes = []

    for table in tables:
        if len(table) < 2:
            continue
        headers = table[0]
        data = table[1:]
        df = pd.DataFrame(data, columns=headers)
        dataframes.append(df)

    return dataframes

# Naudojimas
for page in ocr_response.pages:
    dfs = tables_to_dataframes(page.markdown)
    for df in dfs:
        print(df.to_string())
        print()

Sąlyga len(table) < 2 atfiltruoja klaidingus teiginius: vieniša eilutė su vamzdžiu, esanti kodo bloke arba adrese, nesukurs sugadinto, tuščio „DataFrame“. Atminkite, kad reikšmės lieka eilutėmis; konvertuoti „1 250 €“ į skaičių vis dar tenka jums.

Kai lentelės tampa sudėtingos

Sujungti langeliai, dviejų lygių antraštės arba netaisyklingi išdėstymai išstumia „Markdown“ už jo išraiškos galimybių ribų. Tuomet perjunkite į HTML ir leiskite „BeautifulSoup“ bei „pandas“ atlikti analizę:

from bs4 import BeautifulSoup
import pandas as pd

ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://example.com/complex-report.pdf"
    },
    table_format="html"
)

for page in ocr_response.pages:
    soup = BeautifulSoup(page.markdown, "html.parser")
    tables = soup.find_all("table")

    for table in tables:
        df = pd.read_html(str(table))[0]
        print(df)

Šis požiūris sutaupo nuo parserio rašymo: pd.read_html tvarko rowspan ir colspan atributus, kuriuos jūsų rankinis skaidymas praleistų. Kaina – papildoma priklausomybė ir šiek tiek išsamesnė išvestis – tai kompromisas, vertas finansinių ataskaitų ar reguliavimo lentelių atveju.

Svarbiausi punktai

  • Parametras table_format valdo lentelės atvaizdavimą (null, markdown, html)
  • „Markdown“ formatas tinka daugeliui naudojimo atvejų
  • HTML formatas išsaugo sujungtus langelius ir pažangų formatavimą
  • Ištrauktas lenteles galima konvertuoti į „pandas“ „DataFrame“ objektus analizei
  • OCR 4 ištikimai atkuria lentelinę struktūrą net ir sudėtinguose išdėstymuose