Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Päised, jalused ja leheküljenumberdus

Õppetund 7 / 16 Värskendatud 2. november 2026 Arendajatele
Sellel lehel
  1. Eralda kaunistus sisust
  2. Väljadele juurdepääs
  3. Leheküljenumberduse taastamine
  4. Puhas sisu RAG-i jaoks
  5. Kasuta jaluste metaandmeid
  6. Töötle ainult dokumendi osa
  7. Peamised punktid

Uuendatud 2. novembril 2026 — OCR. OCR 4.0 (mistral-ocr-4-0) võeti kasutusest välja 30. septembril 2026. Kasuta OCR 4.1 (mistral-ocr-4-1), mis on olnud üldkasutatav alates 31. augustist sama hinnaga, või aliast mistral-ocr-latest, mis on sellele viidanud alates 16. juulist. OCR 4.1 lisab usaldusväärsuse skoorid ploki tasandil.

Eralda kaunistus sisust

Alates OCRi versioonist 2512 (detsember 2025) eraldab Mistrali OCRi mudel iga lehe päised ja jalused eraldi. See funktsioon võib tunduda tühiasi, kuni indekseerid 120-leheküljelise lepingu: advokaadibüroo nimi, märge “Konfidentsiaalne” ja leheküljenumbrid ilmuvad 120 korda, saastades iga otsingutulemust. Formaaldokumentide puhul – lepingud, aastaruanded, regulatiivsed tekstid – muudab see eraldamine kõige järgneva kvaliteeti.

Dilemma on reaalne. Need elemendid korduvad mehaaniliselt igal lehel, tekitades müra nii indekseerimisel kui ka RAG-süsteemide vastustes. Samas sisaldavad need mõnikord dokumendi ainsat usaldusväärset metaandmet: versiooninumbrit, väljaandmise kuupäeva, klassifitseerimise taset. Nende eraldi ekstraheerimine, mitte kustutamine või kehateksti jätmine, võimaldab sul otsustada juhtumipõhiselt.

Väljadele juurdepääs

Väljad header ja footer on vastuses saadaval otse igal lehel:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://exemple.com/contrat.pdf"
    }
)

for page in ocr_response.pages:
    print(f"--- Leht {page.index + 1} ---")

    if page.header:
        print(f"Päis: {page.header}")

    print(f"Sisu: {page.markdown[:100]}...")

    if page.footer:
        print(f"Jalus: {page.footer}")

    print()

Kontrollid if page.header ei ole üleliigsed: igal lehel pole päist, alates kaanetest, millisel juhul on väli None.

Leheküljenumberduse taastamine

Iga leht on nullist indekseeritud. Mitmeleheküljelise dokumendi puhul, mida plaanid salvestada või rakendusele tagastada, on parem struktuur kohe normaliseerida: inimloetav number, sisu, kaunistus, mõõtmed ja piltide arv.

def extract_with_pagination(ocr_response) -> dict:
    """Ekstraheeri sisu, säilitades leheküljenumberduse."""
    document = {
        "page_count": len(ocr_response.pages),
        "pages": []
    }

    for page in ocr_response.pages:
        page_data = {
            "number": page.index + 1,
            "content": page.markdown,
            "header": page.header or "",
            "footer": page.footer or "",
            "dimensions": {
                "width": page.dimensions.width if page.dimensions else None,
                "height": page.dimensions.height if page.dimensions else None,
            },
            "image_count": len(page.images) if page.images else 0,
        }
        document["pages"].append(page_data)

    return document

Operaatorid or "" ja kaitsed page.dimensions jaoks teisendavad potentsiaalsed nullväärtused neutraalseteks vaikimisi väärtusteks. See hoiab ära AttributeError tekkimise partii töötlemisel 80. dokumendi juures.

Mõõtmed on väljendatud PDF-punktides, kus üks punkt võrdub 1/72 tolliga. Kõige sagedamini kohtad järgmisi formaate:

  • A4: 595 x 842 punkti
  • Letter: 612 x 792 punkti
  • A3: 842 x 1191 punkti

See teave aitab tuvastada partii erandlikke lehti – A3 formaadis joonis A4 lehtede vahel või ebatavalises skaalas skann. Sentimeetriteks teisendamine muudab diagnostika koheseks:

for page in ocr_response.pages:
    if page.dimensions:
        width_cm = page.dimensions.width * 2.54 / 72
        height_cm = page.dimensions.height * 2.54 / 72
        print(f"Leht {page.index + 1}: {width_cm:.1f} x {height_cm:.1f} cm")

Puhas sisu RAG-i jaoks

Sõltuvalt dokumendist võivad päis ja jalus esineda ka peamises markdown-sisus. Enne indekseerimist eemalda need, kui need raamivad tegelikult sisu:

def main_content(ocr_response) -> str:
    """Ekstraheeri ainult peamine sisu ilma päiste ja jalusteta."""
    parts = []

    for page in ocr_response.pages:
        content = page.markdown

        # Valikuline: eemalda päised/jalused markdownist,
        # kui need sisalduvad peamises sisus
        if page.header and content.startswith(page.header):
            content = content[len(page.header):].strip()

        if page.footer and content.endswith(page.footer):
            content = content[:-len(page.footer)].strip()

        parts.append(content)

    return "\n\n".join(parts)

Tingimused startswith ja endswith on tahtlikult ettevaatlikud: eemaldame stringi ainult siis, kui see tegelikult ilmneb lehe alguses või lõpus. Pime eemaldamine replace kaudu riskib kustutada ettevõtte nime seadusliku esinemise teksti keskel.

Kasuta jaluste metaandmeid

Kui jalused on isoleeritud, piisab struktureeritud metaandmete ekstraheerimiseks mõnest regulaaravaldiseest: leheküljenumberdus formaadis „3 / 40“, väljaandmise kuupäev, versiooninumber ja klassifitseerimise tase.

import re

def extract_footer_metadata(ocr_response) -> dict:
    """Ekstraheeri metaandmed jalustest."""
    metadata = {
        "page_numbers": [],
        "dates": [],
        "versions": [],
        "classifications": [],
    }

    for page in ocr_response.pages:
        footer = page.footer or ""

        # Leheküljenumbri otsing
        match_page = re.search(r"(\d+)\s*/\s*(\d+)", footer)
        if match_page:
            metadata["page_numbers"].append(
                f"{match_page.group(1)}/{match_page.group(2)}"
            )

        # Kuupäeva otsing
        match_date = re.search(r"\d{2}/\d{2}/\d{4}", footer)
        if match_date:
            metadata["dates"].append(match_date.group())

        # Versiooni otsing
        match_version = re.search(r"v(?:ersion)?\s*(\d+\.?\d*)", footer, re.I)
        if match_version:
            metadata["versions"].append(match_version.group(1))

        # Klassifitseerimine (Konfidentsiaalne, Avalik jne)
        for classification in ["confidential", "public", "internal", "secret"]:
            if classification in footer.lower():
                metadata["classifications"].append(classification)

    return metadata

Väärtus ületab dokumentaalse uudishimu. Siin tuvastatud klassifitseerimine võib suunata edasist töötlemist: suuna märgiga „konfidentsiaalne“ üksused piiratud juurdepääsuga indeksisse või keeldu nende saatmisest välisele teenusele. Loomulikult kohanda sõnavara vastavalt sinu organisatsiooni terminoloogiale.

Töötle ainult dokumendi osa

Suurte dokumentide puhul vajad sageli ainult lõiku – aruande finantslisa, lepingu allkirjastatud peatükki. Filtreerimine toimub pärast ekstraheerimist juba saadud vastusel:

def extract_range(ocr_response, start: int, end: int) -> str:
    """Ekstraheeri sisu leheküljevahemikust (1-põhine)."""
    parts = []

    for page in ocr_response.pages:
        number = page.index + 1
        if start <= number <= end:
            parts.append(page.markdown)

    return "\n\n---\n\n".join(parts)


# Ekstraheeri leheküljed 5 kuni 10
partial_content = extract_range(ocr_response, 5, 10)

Funktsioon kasutab inimloetavat nummerdust, alates 1-st: lehekülgede 5 kuni 10 taotlemine tagastab täpselt need leheküljed. Pea siiski meeles, et kogu dokument töödeldi – ja arveldati – enne seda filtreerimist. Kui tead ette, et sind huvitavad vaid mõned leheküljed, jaga PDF ülesvoolu, mitte ära saada kõiki 1000 lehekülge API-le.

Peamised punktid

  • Päised ja jalused eraldatakse alates OCR 2512
  • Filtreeri need, et vältida müra oma RAG-torustikes
  • Lehekülje mõõtmed on PDF-punktides (72 punkti = 1 toll)
  • Jalused sisaldavad sageli kasulikku metaandmet (versioon, kuupäev, klassifitseerimine)
  • Töötle suurte dokumentide puhul leheküljevahemike kaupa