Fejlécek, láblécek és oldalszámozás
Ezen az oldalon
Frissítve: 2026. november 2. — OCR. Az OCR 4.0 (
mistral-ocr-4-0) modell támogatása 2026. szeptember 30-án megszűnt. Használd az OCR 4.1 (mistral-ocr-4-1) verziót, amely augusztus 31. óta általánosan elérhető ugyanazon az áron, vagy amistral-ocr-latestaliast, amely július 16. óta erre mutat. Az OCR 4.1 blokk szintű megbízhatósági pontszámokat (confidence scores) is biztosít.
A dekoráció és a tartalom szétválasztása
Az OCR 2512-es verziója (2025. december) óta a Mistral OCR-modellje minden egyes oldalon külön kinyeri a fejléceket és a lábléceket. Ez a funkció triviálisnak tűnhet, amíg nem indexelsz be egy 120 oldalas szerződést: az ügyvédi iroda neve, a „Bizalmas“ felirat és az oldalszámok 120-szor jelennek meg, elszennyezve minden egyes találatot. Hivatalos dokumentumoknál – szerződések, éves jelentések, szabályozási szövegek – ez a szétválasztás alapvetően átalakítja az ezt követő folyamatok minőségét.
A dilemma valós. Ezek az elemek mechanikusan ismétlődnek minden oldalon, zajt keltve mind az indexelésben, mind a RAG-rendszerek válaszaiban. Ugyanakkor néha ezek tartalmazzák a dokumentum egyetlen megbízható metaadatát: verziószám, kiállítás dátuma, besorolási szint. A különálló kinyerésük – a törlésük vagy a főszövegben hagyásuk helyett – lehetővé teszi, hogy esetről esetre dönts.
A mezők elérése
A header és footer mezők közvetlenül elérhetők a válasz minden egyes oldalán:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
ocr_response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": "https://exemple.com/contrat.pdf"
}
)
for page in ocr_response.pages:
print(f"--- Page {page.index + 1} ---")
if page.header:
print(f"Header: {page.header}")
print(f"Content: {page.markdown[:100]}...")
if page.footer:
print(f"Footer: {page.footer}")
print()
Az if page.header ellenőrzések nem feleslegesek: nem minden oldalnak van fejléce, kezdve a címlapokkal; ilyen esetben a mező értéke None.
Az oldalszámozás rekonstruálása
Minden oldal nullától indexelt. Többoldalas dokumentumok esetén, amelyeket tárolni vagy alkalmazásnak visszaadni tervezel, érdemes azonnal normalizálni a struktúrát: ember által olvasható szám, tartalom, dekoráció, méretek és képek száma.
def extract_with_pagination(ocr_response) -> dict:
"""Extract content while preserving pagination."""
document = {
"page_count": len(ocr_response.pages),
"pages": []
}
for page in ocr_response.pages:
page_data = {
"number": page.index + 1,
"content": page.markdown,
"header": page.header or "",
"footer": page.footer or "",
"dimensions": {
"width": page.dimensions.width if page.dimensions else None,
"height": page.dimensions.height if page.dimensions else None,
},
"image_count": len(page.images) if page.images else 0,
}
document["pages"].append(page_data)
return document
Az or "" operátorok és a page.dimensions ellenőrzései a potenciálisan null értékeket semleges alapértelmezettekké alakítják. Ez megakadályozza, hogy egy köteg feldolgozása közben, a 80. dokumentumnál egy AttributeError dobjon hibaüzenetet.
A méretek PDF pontokban vannak megadva, ahol egy pont 1/72 hüvelyknek felel meg. A leggyakrabban előforduló formátumok:
- A4: 595 x 842 pont
- Letter: 612 x 792 pont
- A3: 842 x 1191 pont
Ez az információ segít azonosítani a kötegben lévő kilógó oldalakat – például egy A4-es lapok közé keveredett A3-as tervrajzot vagy egy szokatlan méretarányban szkennelt oldalt. A centiméterre való átváltás azonnali diagnózist tesz lehetővé:
for page in ocr_response.pages:
if page.dimensions:
width_cm = page.dimensions.width * 2.54 / 72
height_cm = page.dimensions.height * 2.54 / 72
print(f"Page {page.index + 1}: {width_cm:.1f} x {height_cm:.1f} cm")
Tiszta tartalom a RAG számára
A dokumentum típusától függően a fejléc és a lábléc megjelenhet a fő markdown tartalomban is. Indexelés előtt távolítsd el őket, ha valóban keretezik a tartalmat:
def main_content(ocr_response) -> str:
"""Extract only the main content, without headers/footers."""
parts = []
for page in ocr_response.pages:
content = page.markdown
# Optional: remove headers/footers from markdown
# if they are included in the main content
if page.header and content.startswith(page.header):
content = content[len(page.header):].strip()
if page.footer and content.endswith(page.footer):
content = content[:-len(page.footer)].strip()
parts.append(content)
return "\n\n".join(parts)
A startswith és endswith feltételeket szándékosan óvatosan alkalmazzuk: csak akkor távolítjuk el a karakterláncot, ha az ténylegesen az oldal elején vagy végén szerepel. A vak replace használata kockázatos, mert véletlenül törölheti a cégnév egy legitim előfordulását a szöveg közepén.
A lábléc metaadatainak kihasználása
Miután a lábléceket izoláltuk, néhány reguláris kifejezés elegendő a strukturált metaadatok kinyeréséhez: oldalszámozás „3 / 40“ formátumban, kiállítás dátuma, verziószám és besorolási szint.
import re
def extract_footer_metadata(ocr_response) -> dict:
"""Extract metadata from footers."""
metadata = {
"page_numbers": [],
"dates": [],
"versions": [],
"classifications": [],
}
for page in ocr_response.pages:
footer = page.footer or ""
# Page number search
match_page = re.search(r"(\d+)\s*/\s*(\d+)", footer)
if match_page:
metadata["page_numbers"].append(
f"{match_page.group(1)}/{match_page.group(2)}"
)
# Date search
match_date = re.search(r"\d{2}/\d{2}/\d{4}", footer)
if match_date:
metadata["dates"].append(match_date.group())
# Version search
match_version = re.search(r"v(?:ersion)?\s*(\d+\.?\d*)", footer, re.I)
if match_version:
metadata["versions"].append(match_version.group(1))
# Classification (Confidential, Public, etc.)
for classification in ["confidential", "public", "internal", "secret"]:
if classification in footer.lower():
metadata["classifications"].append(classification)
return metadata
Ennek az értéke túlmutat a dokumentációs kíváncsiságon. Az itt észlelt besorolás vezérelheti a downstream feldolgozást: a „bizalmas“ jelölésű elemeket irányítsd korlátozott hozzáférésű indexbe, vagy tagadd meg a külső szolgáltatásnak történő elküldésüket. Nyilvánvalóan igazítsd a szókincset a szervezeted terminológiájához.
A dokumentum csak egy részének feldolgozása
Nagy dokumentumok esetén gyakran csak egy szakaszra van szükséged – egy jelentés pénzügyi függelékeire vagy egy szerződés aláírt fejezetére. A szűrés a kinyerés után történik, a már megkapott válaszon:
def extract_range(ocr_response, start: int, end: int) -> str:
"""Extract content from a page range (1-indexed)."""
parts = []
for page in ocr_response.pages:
number = page.index + 1
if start <= number <= end:
parts.append(page.markdown)
return "\n\n---\n\n".join(parts)
# Extract pages 5 to 10
partial_content = extract_range(ocr_response, 5, 10)
A függvény ember által olvasható számozást használ, 1-től kezdve: az 5–10. oldalak kérése pontosan ezeket az oldalakat adja vissza. Ne feledd azonban, hogy a teljes dokumentumot feldolgozták – és számlázták – még e szűrés előtt. Ha előre tudod, hogy csak néhány oldal érdekel, bontsd fel a PDF-et upstream, ahelyett, hogy mind az 1000 oldalt elküldenéd az API-nak.
Főbb megállapítások
- A fejléceket és lábléceket az OCR 2512 óta külön nyerik ki
- Szűrd ki őket, hogy elkerüld a zajt a RAG-folyamataidban
- Az oldalméretek PDF pontokban vannak megadva (72 pont = 1 hüvelyk)
- A láblécek gyakran tartalmaznak hasznos metaadatokat (verzió, dátum, besorolás)
- Nagy dokumentumok esetén dolgozz oldaltartományokkal