Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Fejlécek, láblécek és oldalszámozás

7. lecke 16 közül Frissítve 2026. november 2. Fejlesztő
Ezen az oldalon
  1. A dekoráció és a tartalom szétválasztása
  2. A mezők elérése
  3. Az oldalszámozás rekonstruálása
  4. Tiszta tartalom a RAG számára
  5. A lábléc metaadatainak kihasználása
  6. A dokumentum csak egy részének feldolgozása
  7. Főbb megállapítások

Frissítve: 2026. november 2. — OCR. Az OCR 4.0 (mistral-ocr-4-0) modell támogatása 2026. szeptember 30-án megszűnt. Használd az OCR 4.1 (mistral-ocr-4-1) verziót, amely augusztus 31. óta általánosan elérhető ugyanazon az áron, vagy a mistral-ocr-latest aliast, amely július 16. óta erre mutat. Az OCR 4.1 blokk szintű megbízhatósági pontszámokat (confidence scores) is biztosít.

A dekoráció és a tartalom szétválasztása

Az OCR 2512-es verziója (2025. december) óta a Mistral OCR-modellje minden egyes oldalon külön kinyeri a fejléceket és a lábléceket. Ez a funkció triviálisnak tűnhet, amíg nem indexelsz be egy 120 oldalas szerződést: az ügyvédi iroda neve, a „Bizalmas“ felirat és az oldalszámok 120-szor jelennek meg, elszennyezve minden egyes találatot. Hivatalos dokumentumoknál – szerződések, éves jelentések, szabályozási szövegek – ez a szétválasztás alapvetően átalakítja az ezt követő folyamatok minőségét.

A dilemma valós. Ezek az elemek mechanikusan ismétlődnek minden oldalon, zajt keltve mind az indexelésben, mind a RAG-rendszerek válaszaiban. Ugyanakkor néha ezek tartalmazzák a dokumentum egyetlen megbízható metaadatát: verziószám, kiállítás dátuma, besorolási szint. A különálló kinyerésük – a törlésük vagy a főszövegben hagyásuk helyett – lehetővé teszi, hogy esetről esetre dönts.

A mezők elérése

A header és footer mezők közvetlenül elérhetők a válasz minden egyes oldalán:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://exemple.com/contrat.pdf"
    }
)

for page in ocr_response.pages:
    print(f"--- Page {page.index + 1} ---")

    if page.header:
        print(f"Header: {page.header}")

    print(f"Content: {page.markdown[:100]}...")

    if page.footer:
        print(f"Footer: {page.footer}")

    print()

Az if page.header ellenőrzések nem feleslegesek: nem minden oldalnak van fejléce, kezdve a címlapokkal; ilyen esetben a mező értéke None.

Az oldalszámozás rekonstruálása

Minden oldal nullától indexelt. Többoldalas dokumentumok esetén, amelyeket tárolni vagy alkalmazásnak visszaadni tervezel, érdemes azonnal normalizálni a struktúrát: ember által olvasható szám, tartalom, dekoráció, méretek és képek száma.

def extract_with_pagination(ocr_response) -> dict:
    """Extract content while preserving pagination."""
    document = {
        "page_count": len(ocr_response.pages),
        "pages": []
    }

    for page in ocr_response.pages:
        page_data = {
            "number": page.index + 1,
            "content": page.markdown,
            "header": page.header or "",
            "footer": page.footer or "",
            "dimensions": {
                "width": page.dimensions.width if page.dimensions else None,
                "height": page.dimensions.height if page.dimensions else None,
            },
            "image_count": len(page.images) if page.images else 0,
        }
        document["pages"].append(page_data)

    return document

Az or "" operátorok és a page.dimensions ellenőrzései a potenciálisan null értékeket semleges alapértelmezettekké alakítják. Ez megakadályozza, hogy egy köteg feldolgozása közben, a 80. dokumentumnál egy AttributeError dobjon hibaüzenetet.

A méretek PDF pontokban vannak megadva, ahol egy pont 1/72 hüvelyknek felel meg. A leggyakrabban előforduló formátumok:

  • A4: 595 x 842 pont
  • Letter: 612 x 792 pont
  • A3: 842 x 1191 pont

Ez az információ segít azonosítani a kötegben lévő kilógó oldalakat – például egy A4-es lapok közé keveredett A3-as tervrajzot vagy egy szokatlan méretarányban szkennelt oldalt. A centiméterre való átváltás azonnali diagnózist tesz lehetővé:

for page in ocr_response.pages:
    if page.dimensions:
        width_cm = page.dimensions.width * 2.54 / 72
        height_cm = page.dimensions.height * 2.54 / 72
        print(f"Page {page.index + 1}: {width_cm:.1f} x {height_cm:.1f} cm")

Tiszta tartalom a RAG számára

A dokumentum típusától függően a fejléc és a lábléc megjelenhet a fő markdown tartalomban is. Indexelés előtt távolítsd el őket, ha valóban keretezik a tartalmat:

def main_content(ocr_response) -> str:
    """Extract only the main content, without headers/footers."""
    parts = []

    for page in ocr_response.pages:
        content = page.markdown

        # Optional: remove headers/footers from markdown
        # if they are included in the main content
        if page.header and content.startswith(page.header):
            content = content[len(page.header):].strip()

        if page.footer and content.endswith(page.footer):
            content = content[:-len(page.footer)].strip()

        parts.append(content)

    return "\n\n".join(parts)

A startswith és endswith feltételeket szándékosan óvatosan alkalmazzuk: csak akkor távolítjuk el a karakterláncot, ha az ténylegesen az oldal elején vagy végén szerepel. A vak replace használata kockázatos, mert véletlenül törölheti a cégnév egy legitim előfordulását a szöveg közepén.

A lábléc metaadatainak kihasználása

Miután a lábléceket izoláltuk, néhány reguláris kifejezés elegendő a strukturált metaadatok kinyeréséhez: oldalszámozás „3 / 40“ formátumban, kiállítás dátuma, verziószám és besorolási szint.

import re

def extract_footer_metadata(ocr_response) -> dict:
    """Extract metadata from footers."""
    metadata = {
        "page_numbers": [],
        "dates": [],
        "versions": [],
        "classifications": [],
    }

    for page in ocr_response.pages:
        footer = page.footer or ""

        # Page number search
        match_page = re.search(r"(\d+)\s*/\s*(\d+)", footer)
        if match_page:
            metadata["page_numbers"].append(
                f"{match_page.group(1)}/{match_page.group(2)}"
            )

        # Date search
        match_date = re.search(r"\d{2}/\d{2}/\d{4}", footer)
        if match_date:
            metadata["dates"].append(match_date.group())

        # Version search
        match_version = re.search(r"v(?:ersion)?\s*(\d+\.?\d*)", footer, re.I)
        if match_version:
            metadata["versions"].append(match_version.group(1))

        # Classification (Confidential, Public, etc.)
        for classification in ["confidential", "public", "internal", "secret"]:
            if classification in footer.lower():
                metadata["classifications"].append(classification)

    return metadata

Ennek az értéke túlmutat a dokumentációs kíváncsiságon. Az itt észlelt besorolás vezérelheti a downstream feldolgozást: a „bizalmas“ jelölésű elemeket irányítsd korlátozott hozzáférésű indexbe, vagy tagadd meg a külső szolgáltatásnak történő elküldésüket. Nyilvánvalóan igazítsd a szókincset a szervezeted terminológiájához.

A dokumentum csak egy részének feldolgozása

Nagy dokumentumok esetén gyakran csak egy szakaszra van szükséged – egy jelentés pénzügyi függelékeire vagy egy szerződés aláírt fejezetére. A szűrés a kinyerés után történik, a már megkapott válaszon:

def extract_range(ocr_response, start: int, end: int) -> str:
    """Extract content from a page range (1-indexed)."""
    parts = []

    for page in ocr_response.pages:
        number = page.index + 1
        if start <= number <= end:
            parts.append(page.markdown)

    return "\n\n---\n\n".join(parts)


# Extract pages 5 to 10
partial_content = extract_range(ocr_response, 5, 10)

A függvény ember által olvasható számozást használ, 1-től kezdve: az 5–10. oldalak kérése pontosan ezeket az oldalakat adja vissza. Ne feledd azonban, hogy a teljes dokumentumot feldolgozták – és számlázták – még e szűrés előtt. Ha előre tudod, hogy csak néhány oldal érdekel, bontsd fel a PDF-et upstream, ahelyett, hogy mind az 1000 oldalt elküldenéd az API-nak.

Főbb megállapítások

  • A fejléceket és lábléceket az OCR 2512 óta külön nyerik ki
  • Szűrd ki őket, hogy elkerüld a zajt a RAG-folyamataidban
  • Az oldalméretek PDF pontokban vannak megadva (72 pont = 1 hüvelyk)
  • A láblécek gyakran tartalmaznak hasznos metaadatokat (verzió, dátum, besorolás)
  • Nagy dokumentumok esetén dolgozz oldaltartományokkal