Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Estrazzjoni ta' Tabelli u Strutturi

Lezzjoni 6 / 16 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. It-Tabelli: Id-Dgħufija Storika tal-OCR
  2. Il-Parametru table_format
  3. Irkupru ta’ Tabelli bħala Data
  4. Tranżizzjoni lejn pandas għall-Analiżi
  5. Meta t-Tabelli Jsiru Kumplikati
  6. Punti Ewlenin

Aġġornat fit-2 ta’ Novembru, 2026 — OCR. L-OCR 4.0 (mistral-ocr-4-0) ġie rtirat fit-30 ta’ Settembru, 2026. Uża l-OCR 4.1 (mistral-ocr-4-1), disponibbli ġeneralment mill-31 ta’ Awwissu bl-istess prezz, jew l-alias mistral-ocr-latest, li jipponta lejh mis-16 ta’ Lulju. L-OCR 4.1 iżid punteġġi ta’ kunfidenza fil-livell tal-blokki.

It-Tabelli: Id-Dgħufija Storika tal-OCR

Jekk titlob lil Tesseract jestratti t-tabella sommarja minn rapport finanzjarju, se tikseb katina ta’ linji fejn il-valuri mill-kolonna “Total” jitħalltu ma’ dawk mill-kolonna “Kwantità”, mingħajr l-ebda indikazzjoni li tgħaqqadhom lura mar-ringieli oriġinali tagħhom. Il-problema mhix ir-rikonoxximent tal-karattri, li jaħdem sew; hija n-nuqqas totali ta’ għarfien tal-istruttura tabulari. Is-soluzzjonijiet tradizzjonali jaqraw mix-xellug għal-lemin, minn fuq għal isfel, u jitilfu r-relazzjonijiet bejn il-kolonni u r-ringieli matul il-proċess.

L-OCR 4 japproċċja l-paġna b’mod differenti: huwa jaraha. Dan il-fehim viżiv jippermettilu jirrestawra tabella bħala tabella, mhux bħala test iċċattjat.

Il-Parametru table_format

Tikkontrolla r-rendering tat-tabelli b’parametru wieħed li tgħaddi lis-sejħa tal-OCR:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Format Markdown (rakkomandat għall-biċċa l-kbira tal-każijiet)
ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://example.com/financial-report.pdf"
    },
    table_format="markdown"
)

Hemm tliet valuri possibbli, u l-għażla mhix kosmetika: tiddetermina x’tista’ tagħmar-riżultat aktar ‘il quddiem.

B’null, il-valur default, it-tabelli huma integrati fil-fluss tal-Markdown mingħajr formatjar tabulari speċifiku. Din l-impostazzjoni taħdem meta ma tkunx qed tipproċessa dokumenti tabulari u trid biss test biex tindiċjah.

B’"markdown", kull tabella tiġi rrenderjata fil-format standard tal-pajp, u tipproduċi output li huwa leġibbli kif inhu u faċli biex jiġi pparzjat:

| Product | Quantity | Unit Price | Total |
|---------|----------|------------|-------|
| Widget A | 100 | €12.50 | €1,250 |
| Widget B | 50 | €25.00 | €1,250 |
| **Total** | **150** | | **€2,500** |

B’"html", it-tabella tiġi rrenderjata bħala HTML sħiħ, u tippreserva l-għaqda taċ-ċelloli u l-formatjar avvanzat li l-Markdown ma jistax jesprimi:

<table>
  <thead>
    <tr>
      <th>Product</th>
      <th>Quantity</th>
      <th>Unit Price</th>
      <th>Total</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>Widget A</td>
      <td>100</td>
      <td>€12.50</td>
      <td>€1,250</td>
    </tr>
  </tbody>
</table>

Fil-prattika, il-Markdown ikopri l-biċċa l-kbira tal-ħtiġijiet: indiċjar RAG, tiftix, jew wiri f’editur. Ibdel għal HTML hekk kif it-tabelli tiegħek jinkludu ċelloli magħquda jew ir-riżultat jeħtieġ li jiġi inkorporat f’paġna web. Żomm null biss meta t-tabelli ma jimpurtawx fil-fluss tax-xogħol tiegħek—ngħidu aħna, rapport narrattiv jew korrispondenza.

Irkupru ta’ Tabelli bħala Data

Tabella Markdown għadha test. Biex tibdelha f’data manipolabbli, trid tidentifikaha fil-fluss u taqsamha. Il-funzjoni hawn taħt tgħaddi mil-linji, tidentifika dawk li jappartjenu għal tabella, tinjora l-linja separatriċi, u tagħlaq it-tabella kurrenti hekk kif tidher linja regolari:

import os
import re
import json
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def extract_markdown_tables(markdown: str) -> list[list[list[str]]]:
    """Testratti t-tabelli Markdown u tikkonvertihom f'listi."""
    tables = []
    lines = markdown.split("\n")
    current_table = []
    in_table = False

    for line in lines:
        if "|" in line and line.strip().startswith("|"):
            # Injora l-linja separatriċi (|---|---|)
            if re.match(r"^\|[\s\-:|]+\|$", line.strip()):
                continue
            cells = [
                c.strip() for c in line.strip().strip("|").split("|")
            ]
            current_table.append(cells)
            in_table = True
        else:
            if in_table and current_table:
                tables.append(current_table)
                current_table = []
            in_table = False

    if current_table:
        tables.append(current_table)

    return tables


# Estrazzjoni OCR b'tabelli Markdown
ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://example.com/invoice.pdf"
    },
    table_format="markdown"
)

# Itera mill-paġni u estratti t-tabelli
for page in ocr_response.pages:
    tables = extract_markdown_tables(page.markdown)
    for i, table in enumerate(tables):
        print(f"Page {page.index + 1}, Table {i + 1}:")
        print(json.dumps(table, indent=2, ensure_ascii=False))

Iċ-ċekk finali barra mil-loop mhux dekorattiv: mingħajru, tabella fl-aħħar ta’ paġna—każ komuni għal sommarju ta’ fattura—qatt ma tiġi miżjuda mal-lista, peress li l-ebda linja regolari ma tiġi biex tagħlaqha.

Tranżizzjoni lejn pandas għall-Analiżi

Lista ta’ listi biżżejjed għall-esportazzjoni, mhux għall-kalkolu. Il-konverżjoni f’DataFrame tfisser li tippromwovi l-ewwel ringiela għal intestaturi:

import pandas as pd

def tables_to_dataframes(markdown: str) -> list[pd.DataFrame]:
    """Tikkonverti t-tabelli Markdown f'DataFrames ta' pandas."""
    tables = extract_markdown_tables(markdown)
    dataframes = []

    for table in tables:
        if len(table) < 2:
            continue
        headers = table[0]
        data = table[1:]
        df = pd.DataFrame(data, columns=headers)
        dataframes.append(df)

    return dataframes

# Użu
for page in ocr_response.pages:
    dfs = tables_to_dataframes(page.markdown)
    for df in dfs:
        print(df.to_string())
        print()

It-test len(table) < 2 jiffiltra l-falzi pożittivi: linja iżolata li fiha pajp, ġewwa blokk ta’ kodiċi jew indirizz, ma tipproduċix DataFrame miksur u vojt. Żomm f’moħħok li l-valuri jibqgħu strings; il-konverżjoni ta’ “€1,250” f’numru għadha f’idejk.

Meta t-Tabelli Jsiru Kumplikati

Ċelloli magħquda, intestaturi fuq żewġ livelli, jew layouts irregolari jimbuttaw il-Markdown lil hinn mil-limiti espressivi tiegħu. Ibdel għal HTML f’dak il-każ, u ħalli lil BeautifulSoup u pandas jittrattaw l-analiżi:

from bs4 import BeautifulSoup
import pandas as pd

ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://example.com/complex-report.pdf"
    },
    table_format="html"
)

for page in ocr_response.pages:
    soup = BeautifulSoup(page.markdown, "html.parser")
    tables = soup.find_all("table")

    for table in tables:
        df = pd.read_html(str(table))[0]
        print(df)

Dan l-approċċ iffrankalek il-kitba ta’ parser: pd.read_html jittratta l-attributi rowspan u colspan li l-qsim manwali tiegħek kien jonqos. L-ispiża hija dipendenza addizzjonali u output ftit aktar verbali—kompens li jiswa ħafna għal rapporti finanzjarji jew tabelli regolatorji.

Punti Ewlenin

  • Il-parametru table_format jikkontrolla r-rendering tat-tabelli (null, markdown, html)
  • Il-format Markdown huwa adattat għall-biċċa l-kbira tal-każijiet ta’ użu
  • Il-format HTML jippreserva ċ-ċelloli magħquda u l-formatjar avvanzat
  • It-tabelli estratti jistgħu jiġu kkonvertiti f’DataFrames ta’ pandas għall-analiżi
  • L-OCR 4 jirrikostruwixxi b’mod fidili l-istruttura tabulari, anke fuq layouts kumplessi