Intestaturi, piè di paġna u numerazzjoni
F'din il-paġna
Aġġornat fit-2 ta’ Novembru, 2026 — OCR. L-OCR 4.0 (
mistral-ocr-4-0) ġie rtirat fit-30 ta’ Settembru, 2026. Uża OCR 4.1 (mistral-ocr-4-1), li ilu disponibbli ġeneralment mill-31 ta’ Awwissu bl-istess prezz, jew l-aliasmistral-ocr-latest, li jipponta lejh mis-16 ta’ Lulju. L-OCR 4.1 iżid punteġġi ta’ kunfidenza fil-livell tal-blokki.
Separa d-dekorazzjoni mill-kontenut
Mill-verżjoni 2512 tal-OCR (Diċembru 2025), il-mudell OCR ta’ Mistral jipproċessa l-intestaturi u l-piè di paġna separatament għal kull paġna. Din il-karatteristika tista’ tidher banali sakemm tipproċessa kuntratt ta’ 120 paġna: l-isem tal-istudju legali, il-marka “Kunfidenzjali”, u n-numri tal-paġni jidhru 120 darba, u jniġġsu kull riżultat ta’ tfittxija. Fuq dokumenti formali—kuntratti, rapporti annwali, testi regolatorji—din is-separazzjoni tittrasforma l-kwalità ta’ kull pass sussegwenti.
Id-dilemma hija reali. Dawn l-elementi jirrepetu ruħhom mekkanikament fuq kull paġna, u joħolqu storbju kemm fl-indiċjar kif ukoll fir-risposti tas-sistemi RAG. Madankollu, kultant dawn fihom l-uniku metadata affidabbli tad-dokument: in-numru tal-verżjoni, id-data tal-ħruġ, u l-livell ta’ klassifikazzjoni. L-estrazzjoni separata tagħhom, minflok ma tħassarhom jew tħallihom fit-test tal-korp, tippermettilek tiddeċidi każ b’każ.
Aċċess għall-oqsma
L-oqsma header u footer huma disponibbli direttament fuq kull paġna tar-rispons:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
ocr_response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": "https://exemple.com/contrat.pdf"
}
)
for page in ocr_response.pages:
print(f"--- Page {page.index + 1} ---")
if page.header:
print(f"Header: {page.header}")
print(f"Content: {page.markdown[:100]}...")
if page.footer:
print(f"Footer: {page.footer}")
print()
Iċ-ċekkijiet if page.header mhumiex superfluwi: mhux kull paġna għandha intestatura, speċjalment il-paġni tal-qoxra, f’liema każ il-qasam ikun None.
Rikostruzzjoni tan-numerazzjoni
Kull paġna hija b’indiċi żero. Għal dokument b’ħafna paġni li beħsiebek taħżen jew tirritorna lil applikazzjoni, huwa aħjar li tinnormalizza l-istruttura immedjatament: numru li jinqara mill-bniedem, kontenut, dekorazzjoni, dimensjonijiet, u għadd ta’ stampi.
def extract_with_pagination(ocr_response) -> dict:
"""Extract content while preserving pagination."""
document = {
"page_count": len(ocr_response.pages),
"pages": []
}
for page in ocr_response.pages:
page_data = {
"number": page.index + 1,
"content": page.markdown,
"header": page.header or "",
"footer": page.footer or "",
"dimensions": {
"width": page.dimensions.width if page.dimensions else None,
"height": page.dimensions.height if page.dimensions else None,
},
"image_count": len(page.images) if page.images else 0,
}
document["pages"].append(page_data)
return document
L-operaturi or "" u l-gwardji fuq page.dimensions jikkonvertu valuri potenzjalment nulli f’defaults newtrali. Dan jipprevjeni AttributeError f’nofs batch meta tipproċessa l-80 dokument.
Id-dimensjonijiet huma espressi f’punti PDF, fejn punt wieħed huwa ugwali għal 1/72 ta’ pulzier. Il-formati li ssib l-aktar spiss huma:
- A4: 595 x 842 punt
- Letter: 612 x 792 punt
- A3: 842 x 1191 punt
Din l-informazzjoni tgħinek tidentifika paġni barra mill-komuni f’batch—pjanta A3 imdaħħla bejn folji A4, jew skennja fuq skala mhux tas-soltu. Il-konverżjoni għaċ-ċentimetri tagħmel id-dijanjosi immedjata:
for page in ocr_response.pages:
if page.dimensions:
width_cm = page.dimensions.width * 2.54 / 72
height_cm = page.dimensions.height * 2.54 / 72
print(f"Page {page.index + 1}: {width_cm:.1f} x {height_cm:.1f} cm")
Kontenut nadif għar-RAG
Skont id-dokument, l-intestatura u l-piè di paġna jistgħu jidhru wkoll fil-markdown prinċipali. Qabel l-indiċjar, neħħihom meta dawn fil-fatt jifframjaw il-kontenut:
def main_content(ocr_response) -> str:
"""Extract only the main content, without headers/footers."""
parts = []
for page in ocr_response.pages:
content = page.markdown
# Optional: remove headers/footers from markdown
# if they are included in the main content
if page.header and content.startswith(page.header):
content = content[len(page.header):].strip()
if page.footer and content.endswith(page.footer):
content = content[:-len(page.footer)].strip()
parts.append(content)
return "\n\n".join(parts)
Il-kundizzjonijiet startswith u endswith huma intenzjonalment kawti: aħna nneħħu l-korda biss jekk tidher verament fil-bidu jew fit-tmiem tal-paġna. It-tneħħija blind permezz ta’ replace tirriskja li tħassar okkorrenza leġittima tal-isem tal-kumpanija fin-nofs tat-test.
Sfrutta l-metadata tal-piè di paġna
Ladarba l-piè di paġna jkunu iżolati, ftit espressjonijiet regolari biżżejjed biex tiġi estratta metadata strutturata: in-numerazzjoni fil-format “3 / 40”, id-data tal-ħruġ, in-numru tal-verżjoni, u l-livell ta’ klassifikazzjoni.
import re
def extract_footer_metadata(ocr_response) -> dict:
"""Extract metadata from footers."""
metadata = {
"page_numbers": [],
"dates": [],
"versions": [],
"classifications": [],
}
for page in ocr_response.pages:
footer = page.footer or ""
# Page number search
match_page = re.search(r"(\d+)\s*/\s*(\d+)", footer)
if match_page:
metadata["page_numbers"].append(
f"{match_page.group(1)}/{match_page.group(2)}"
)
# Date search
match_date = re.search(r"\d{2}/\d{2}/\d{4}", footer)
if match_date:
metadata["dates"].append(match_date.group())
# Version search
match_version = re.search(r"v(?:ersion)?\s*(\d+\.?\d*)", footer, re.I)
if match_version:
metadata["versions"].append(match_version.group(1))
# Classification (Confidential, Public, etc.)
for classification in ["confidential", "public", "internal", "secret"]:
if classification in footer.lower():
metadata["classifications"].append(classification)
return metadata
Il-valur imur lil hinn minn kurżità dokumentarja. Il-klassifikazzjoni skoperta hawnhekk tista’ tmexxi l-ipproċessar downstream: ibgħat oġġetti mmarkati bħala “kunfidenzjali” lejn indiċi b’aċċess ristrett, jew irrifjuta li tibgħathom lil servizz estern. Ovvjament, adatta l-vokabolarju biex jaqbel mat-terminoloġija tal-organizzazzjoni tiegħek.
Ipproċessa biss parti mid-dokument
Għal dokumenti kbar, spiss ikollok bżonn biss ta’ taqsim waħda—l-appendiċijiet finanzjarji ta’ rapport, il-kapitolu ffirmat ta’ kuntratt. Il-filtru jsir wara l-estrazzjoni, fuq ir-rispons li diġà rċevejt:
def extract_range(ocr_response, start: int, end: int) -> str:
"""Extract content from a page range (1-indexed)."""
parts = []
for page in ocr_response.pages:
number = page.index + 1
if start <= number <= end:
parts.append(page.markdown)
return "\n\n---\n\n".join(parts)
# Extract pages 5 to 10
partial_content = extract_range(ocr_response, 5, 10)
Il-funzjoni tuża numerazzjoni li tinqara mill-bniedem, li tibda minn 1: it-talba għall-paġni 5 sa 10 tirritorna eżattament dawk il-paġni. Ftakar, madankollu, li d-dokument kollu ġie pproċessat—u fatturat—qabel dan il-filtru. Jekk tkun taf minn qabel li ftit paġni biss jinteressawk, aqsam il-PDF upstream minflok ma tibgħat l-1,000 paġna kollha lill-API.
Punti Ewlenin
- L-intestaturi u l-piè di paġna huma estratti separatament mill-OCR 2512 ‘il quddiem
- Iffiltrahom biex tevita storbju fil-pipelines RAG tiegħek
- Id-dimensjonijiet tal-paġna huma f’punti PDF (72 punt = pulzier wieħed)
- Il-piè di paġna spiss fihom metadata utli (verżjoni, data, klassifikazzjoni)
- Ipproċessa b’firxiet ta’ paġni għal dokumenti kbar