Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Glave, noge in oštevilčevanje strani

Lekcija 7 od 16 Posodobljeno 2. november 2026 Razvijalec
Na tej strani
  1. Loči okrasje od vsebine
  2. Dostop do polj
  3. Rekonstrukcija oštevilčevanja strani
  4. Čista vsebina za RAG
  5. Izkoristi metapodatke v nogah
  6. Obdelava le dela dokumenta
  7. Ključne ugotovitve

Posodobljeno 2. novembra 2026 — OCR. Različica OCR 4.0 (mistral-ocr-4-0) je bila ukinjena 30. septembra 2026. Uporabi OCR 4.1 (mistral-ocr-4-1), ki je splošno dostopen od 31. avgusta po enaki ceni, ali alias mistral-ocr-latest, ki kaže nanj od 16. julija. OCR 4.1 dodaja ocene zanesljivosti na ravni blokov.

Loči okrasje od vsebine

Od različice OCR 2512 (december 2025) model Mistral OCR ločeno izvleče glave in noge za vsako stran. Ta funkcija se morda zdi nepomembna, dokler ne indeksiraš 120-stranske pogodbe: ime odvetniške pisarne, oznaka „Zaupno” in številke strani se pojavijo 120-krat in onesnažijo vsak rezultat iskanja. Pri formalnih dokumentih – pogodbah, letnih poročilih, regulativnih besedilih – ta ločitev korenito izboljša kakovost vsega, kar sledi.

Dilema je resnična. Ti elementi se mehansko ponavljajo na vsaki strani in ustvarjajo šum tako pri indeksiranju kot pri odzivih sistemov RAG. Včasih pa vsebujejo edine zanesljive metapodatke dokumenta: številko različice, datum izdaje, stopnjo zaupnosti. Z njihovim ločenim izvlekom, namesto da bi jih izbrisali ali pustili v glavnem besedilu, se lahko odločaš od primera do primera.

Dostop do polj

Polji header in footer sta neposredno dostopni na vsaki strani odgovora:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://exemple.com/contrat.pdf"
    }
)

for page in ocr_response.pages:
    print(f"--- Page {page.index + 1} ---")

    if page.header:
        print(f"Header: {page.header}")

    print(f"Content: {page.markdown[:100]}...")

    if page.footer:
        print(f"Footer: {page.footer}")

    print()

Preverjanja if page.header niso odvečna: ne vsaka stran ima glavo, kar velja zlasti za naslovne strani, v tem primeru je polje None.

Rekonstrukcija oštevilčevanja strani

Vsaka stran ima indeks, ki se začne z ničlo. Za večstranski dokument, ki ga nameravaš shraniti ali vrniti aplikaciji, je bolje, da strukturo takoj normaliziraš: številka, berljiva za ljudi, vsebina, okrasje, dimenzije in število slik.

def extract_with_pagination(ocr_response) -> dict:
    """Extract content while preserving pagination."""
    document = {
        "page_count": len(ocr_response.pages),
        "pages": []
    }

    for page in ocr_response.pages:
        page_data = {
            "number": page.index + 1,
            "content": page.markdown,
            "header": page.header or "",
            "footer": page.footer or "",
            "dimensions": {
                "width": page.dimensions.width if page.dimensions else None,
                "height": page.dimensions.height if page.dimensions else None,
            },
            "image_count": len(page.images) if page.images else 0,
        }
        document["pages"].append(page_data)

    return document

Operatorja or "" in varovala pri page.dimensions pretvorijo morebitne ničelne vrednosti v nevtralne privzete vrednosti. S tem preprečiš napako AttributeError sredi serije ob obdelavi 80. dokumenta.

Dimenzije so izražene v točkah PDF, kjer ena točka ustreza 1/72 palca. Najpogostejši formati, s katerimi se boš srečal:

  • A4: 595 × 842 točk
  • Letter: 612 × 792 točk
  • A3: 842 × 1191 točk

Te informacije ti pomagajo odkriti odstopajoče strani v seriji – načrt formata A3, ki se je znašel med listi A4, ali skeniranje v nenavadnem merilu. Pretvorba v centimetre omogoči takojšnjo diagnozo:

for page in ocr_response.pages:
    if page.dimensions:
        width_cm = page.dimensions.width * 2.54 / 72
        height_cm = page.dimensions.height * 2.54 / 72
        print(f"Page {page.index + 1}: {width_cm:.1f} x {height_cm:.1f} cm")

Čista vsebina za RAG

Glede na dokument se lahko glava in noga pojavita tudi v glavnem delu markdown. Pred indeksiranjem ju odstrani, kadar dejansko okvirjata vsebino:

def main_content(ocr_response) -> str:
    """Extract only the main content, without headers/footers."""
    parts = []

    for page in ocr_response.pages:
        content = page.markdown

        # Optional: remove headers/footers from markdown
        # if they are included in the main content
        if page.header and content.startswith(page.header):
            content = content[len(page.header):].strip()

        if page.footer and content.endswith(page.footer):
            content = content[:-len(page.footer)].strip()

        parts.append(content)

    return "\n\n".join(parts)

Pogoja startswith in endswith sta namerno previdna: niz odstranimo le, če se resnično pojavi na začetku ali koncu strani. Slepo odstranjevanje z replace tvega izbris zakonitega pojavljanja imena podjetja sredi besedila.

Izkoristi metapodatke v nogah

Ko so noge izolirane, zadostuje nekaj regularnih izrazov za izvlek strukturiranih metapodatkov: oštevilčevanje v obliki „3 / 40”, datum izdaje, številka različice in stopnja zaupnosti.

import re

def extract_footer_metadata(ocr_response) -> dict:
    """Extract metadata from footers."""
    metadata = {
        "page_numbers": [],
        "dates": [],
        "versions": [],
        "classifications": [],
    }

    for page in ocr_response.pages:
        footer = page.footer or ""

        # Page number search
        match_page = re.search(r"(\d+)\s*/\s*(\d+)", footer)
        if match_page:
            metadata["page_numbers"].append(
                f"{match_page.group(1)}/{match_page.group(2)}"
            )

        # Date search
        match_date = re.search(r"\d{2}/\d{2}/\d{4}", footer)
        if match_date:
            metadata["dates"].append(match_date.group())

        # Version search
        match_version = re.search(r"v(?:ersion)?\s*(\d+\.?\d*)", footer, re.I)
        if match_version:
            metadata["versions"].append(match_version.group(1))

        # Classification (Confidential, Public, etc.)
        for classification in ["confidential", "public", "internal", "secret"]:
            if classification in footer.lower():
                metadata["classifications"].append(classification)

    return metadata

Vrednost tega presega zgolj dokumentarno radovednost. Tu zaznana stopnja zaupnosti lahko usmerja nadaljnjo obdelavo: elemente z oznako „zaupno” preusmeri v indeks z omejenim dostopom ali zavrnij njihovo pošiljanje zunanji storitvi. Seveda prilagodi besedišče tako, da ustreza terminologiji tvoje organizacije.

Obdelava le dela dokumenta

Pri velikih dokumentih pogosto potrebuješ le odsek – finančne priloge poročila, podpisan del pogodbe. Filtriranje poteka po izvleku, na odgovoru, ki si ga že prejel:

def extract_range(ocr_response, start: int, end: int) -> str:
    """Extract content from a page range (1-indexed)."""
    parts = []

    for page in ocr_response.pages:
        number = page.index + 1
        if start <= number <= end:
            parts.append(page.markdown)

    return "\n\n---\n\n".join(parts)


# Extract pages 5 to 10
partial_content = extract_range(ocr_response, 5, 10)

Funkcija uporablja oštevilčevanje, berljivo za ljudi, ki se začne z 1: zahteva strani od 5 do 10 vrne natanko te strani. Vendar ne pozabi, da je bil celoten dokument obdelan – in zaračunan – pred tem filtriranjem. Če vnaprej veš, da te zanimajo le nekaj strani, razdeli PDF vnaprej, namesto da bi API-ju poslal vseh 1.000 strani.

Ključne ugotovitve

  • Glave in noge so ločeno izvlečene od različice OCR 2512 naprej
  • Filtriraj jih, da se izogneš šumu v svojih cevovodih RAG
  • Dimenzije strani so v točkah PDF (72 točk = 1 palec)
  • Noge pogosto vsebujejo uporabne metapodatke (različica, datum, zaupnost)
  • Pri velikih dokumentih obdeluj po obsegih strani