Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Intestaturi, piè di paġna u numerazzjoni

Lezzjoni 7 / 16 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Separa d-dekorazzjoni mill-kontenut
  2. Aċċess għall-oqsma
  3. Rikostruzzjoni tan-numerazzjoni
  4. Kontenut nadif għar-RAG
  5. Sfrutta l-metadata tal-piè di paġna
  6. Ipproċessa biss parti mid-dokument
  7. Punti Ewlenin

Aġġornat fit-2 ta’ Novembru, 2026 — OCR. L-OCR 4.0 (mistral-ocr-4-0) ġie rtirat fit-30 ta’ Settembru, 2026. Uża OCR 4.1 (mistral-ocr-4-1), li ilu disponibbli ġeneralment mill-31 ta’ Awwissu bl-istess prezz, jew l-alias mistral-ocr-latest, li jipponta lejh mis-16 ta’ Lulju. L-OCR 4.1 iżid punteġġi ta’ kunfidenza fil-livell tal-blokki.

Separa d-dekorazzjoni mill-kontenut

Mill-verżjoni 2512 tal-OCR (Diċembru 2025), il-mudell OCR ta’ Mistral jipproċessa l-intestaturi u l-piè di paġna separatament għal kull paġna. Din il-karatteristika tista’ tidher banali sakemm tipproċessa kuntratt ta’ 120 paġna: l-isem tal-istudju legali, il-marka “Kunfidenzjali”, u n-numri tal-paġni jidhru 120 darba, u jniġġsu kull riżultat ta’ tfittxija. Fuq dokumenti formali—kuntratti, rapporti annwali, testi regolatorji—din is-separazzjoni tittrasforma l-kwalità ta’ kull pass sussegwenti.

Id-dilemma hija reali. Dawn l-elementi jirrepetu ruħhom mekkanikament fuq kull paġna, u joħolqu storbju kemm fl-indiċjar kif ukoll fir-risposti tas-sistemi RAG. Madankollu, kultant dawn fihom l-uniku metadata affidabbli tad-dokument: in-numru tal-verżjoni, id-data tal-ħruġ, u l-livell ta’ klassifikazzjoni. L-estrazzjoni separata tagħhom, minflok ma tħassarhom jew tħallihom fit-test tal-korp, tippermettilek tiddeċidi każ b’każ.

Aċċess għall-oqsma

L-oqsma header u footer huma disponibbli direttament fuq kull paġna tar-rispons:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://exemple.com/contrat.pdf"
    }
)

for page in ocr_response.pages:
    print(f"--- Page {page.index + 1} ---")

    if page.header:
        print(f"Header: {page.header}")

    print(f"Content: {page.markdown[:100]}...")

    if page.footer:
        print(f"Footer: {page.footer}")

    print()

Iċ-ċekkijiet if page.header mhumiex superfluwi: mhux kull paġna għandha intestatura, speċjalment il-paġni tal-qoxra, f’liema każ il-qasam ikun None.

Rikostruzzjoni tan-numerazzjoni

Kull paġna hija b’indiċi żero. Għal dokument b’ħafna paġni li beħsiebek taħżen jew tirritorna lil applikazzjoni, huwa aħjar li tinnormalizza l-istruttura immedjatament: numru li jinqara mill-bniedem, kontenut, dekorazzjoni, dimensjonijiet, u għadd ta’ stampi.

def extract_with_pagination(ocr_response) -> dict:
    """Extract content while preserving pagination."""
    document = {
        "page_count": len(ocr_response.pages),
        "pages": []
    }

    for page in ocr_response.pages:
        page_data = {
            "number": page.index + 1,
            "content": page.markdown,
            "header": page.header or "",
            "footer": page.footer or "",
            "dimensions": {
                "width": page.dimensions.width if page.dimensions else None,
                "height": page.dimensions.height if page.dimensions else None,
            },
            "image_count": len(page.images) if page.images else 0,
        }
        document["pages"].append(page_data)

    return document

L-operaturi or "" u l-gwardji fuq page.dimensions jikkonvertu valuri potenzjalment nulli f’defaults newtrali. Dan jipprevjeni AttributeError f’nofs batch meta tipproċessa l-80 dokument.

Id-dimensjonijiet huma espressi f’punti PDF, fejn punt wieħed huwa ugwali għal 1/72 ta’ pulzier. Il-formati li ssib l-aktar spiss huma:

  • A4: 595 x 842 punt
  • Letter: 612 x 792 punt
  • A3: 842 x 1191 punt

Din l-informazzjoni tgħinek tidentifika paġni barra mill-komuni f’batch—pjanta A3 imdaħħla bejn folji A4, jew skennja fuq skala mhux tas-soltu. Il-konverżjoni għaċ-ċentimetri tagħmel id-dijanjosi immedjata:

for page in ocr_response.pages:
    if page.dimensions:
        width_cm = page.dimensions.width * 2.54 / 72
        height_cm = page.dimensions.height * 2.54 / 72
        print(f"Page {page.index + 1}: {width_cm:.1f} x {height_cm:.1f} cm")

Kontenut nadif għar-RAG

Skont id-dokument, l-intestatura u l-piè di paġna jistgħu jidhru wkoll fil-markdown prinċipali. Qabel l-indiċjar, neħħihom meta dawn fil-fatt jifframjaw il-kontenut:

def main_content(ocr_response) -> str:
    """Extract only the main content, without headers/footers."""
    parts = []

    for page in ocr_response.pages:
        content = page.markdown

        # Optional: remove headers/footers from markdown
        # if they are included in the main content
        if page.header and content.startswith(page.header):
            content = content[len(page.header):].strip()

        if page.footer and content.endswith(page.footer):
            content = content[:-len(page.footer)].strip()

        parts.append(content)

    return "\n\n".join(parts)

Il-kundizzjonijiet startswith u endswith huma intenzjonalment kawti: aħna nneħħu l-korda biss jekk tidher verament fil-bidu jew fit-tmiem tal-paġna. It-tneħħija blind permezz ta’ replace tirriskja li tħassar okkorrenza leġittima tal-isem tal-kumpanija fin-nofs tat-test.

Sfrutta l-metadata tal-piè di paġna

Ladarba l-piè di paġna jkunu iżolati, ftit espressjonijiet regolari biżżejjed biex tiġi estratta metadata strutturata: in-numerazzjoni fil-format “3 / 40”, id-data tal-ħruġ, in-numru tal-verżjoni, u l-livell ta’ klassifikazzjoni.

import re

def extract_footer_metadata(ocr_response) -> dict:
    """Extract metadata from footers."""
    metadata = {
        "page_numbers": [],
        "dates": [],
        "versions": [],
        "classifications": [],
    }

    for page in ocr_response.pages:
        footer = page.footer or ""

        # Page number search
        match_page = re.search(r"(\d+)\s*/\s*(\d+)", footer)
        if match_page:
            metadata["page_numbers"].append(
                f"{match_page.group(1)}/{match_page.group(2)}"
            )

        # Date search
        match_date = re.search(r"\d{2}/\d{2}/\d{4}", footer)
        if match_date:
            metadata["dates"].append(match_date.group())

        # Version search
        match_version = re.search(r"v(?:ersion)?\s*(\d+\.?\d*)", footer, re.I)
        if match_version:
            metadata["versions"].append(match_version.group(1))

        # Classification (Confidential, Public, etc.)
        for classification in ["confidential", "public", "internal", "secret"]:
            if classification in footer.lower():
                metadata["classifications"].append(classification)

    return metadata

Il-valur imur lil hinn minn kurżità dokumentarja. Il-klassifikazzjoni skoperta hawnhekk tista’ tmexxi l-ipproċessar downstream: ibgħat oġġetti mmarkati bħala “kunfidenzjali” lejn indiċi b’aċċess ristrett, jew irrifjuta li tibgħathom lil servizz estern. Ovvjament, adatta l-vokabolarju biex jaqbel mat-terminoloġija tal-organizzazzjoni tiegħek.

Ipproċessa biss parti mid-dokument

Għal dokumenti kbar, spiss ikollok bżonn biss ta’ taqsim waħda—l-appendiċijiet finanzjarji ta’ rapport, il-kapitolu ffirmat ta’ kuntratt. Il-filtru jsir wara l-estrazzjoni, fuq ir-rispons li diġà rċevejt:

def extract_range(ocr_response, start: int, end: int) -> str:
    """Extract content from a page range (1-indexed)."""
    parts = []

    for page in ocr_response.pages:
        number = page.index + 1
        if start <= number <= end:
            parts.append(page.markdown)

    return "\n\n---\n\n".join(parts)


# Extract pages 5 to 10
partial_content = extract_range(ocr_response, 5, 10)

Il-funzjoni tuża numerazzjoni li tinqara mill-bniedem, li tibda minn 1: it-talba għall-paġni 5 sa 10 tirritorna eżattament dawk il-paġni. Ftakar, madankollu, li d-dokument kollu ġie pproċessat—u fatturat—qabel dan il-filtru. Jekk tkun taf minn qabel li ftit paġni biss jinteressawk, aqsam il-PDF upstream minflok ma tibgħat l-1,000 paġna kollha lill-API.

Punti Ewlenin

  • L-intestaturi u l-piè di paġna huma estratti separatament mill-OCR 2512 ‘il quddiem
  • Iffiltrahom biex tevita storbju fil-pipelines RAG tiegħek
  • Id-dimensjonijiet tal-paġna huma f’punti PDF (72 punt = pulzier wieħed)
  • Il-piè di paġna spiss fihom metadata utli (verżjoni, data, klassifikazzjoni)
  • Ipproċessa b’firxiet ta’ paġni għal dokumenti kbar