Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Antraštės, poraštės ir puslapių numeracija

Paskaita 7 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Kūrėjas
Šiame puslapyje
  1. Atskirk dekoracijas nuo turinio
  2. Laukų pasiekimas
  3. Puslapių numeracijos atkūrimas
  4. Švarus turinys RAG sistemoms
  5. Išnaudok poraščių metaduomenis
  6. Apdorok tik dalį dokumento
  7. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 2 d. — OCR. OCR 4.0 (mistral-ocr-4-0) buvo nutrauktas 2026 m. rugsėjo 30 d. Naudok OCR 4.1 (mistral-ocr-4-1), kuris visuotinai prieinamas nuo rugpjūčio 31 d. ta pačia kaina, arba aliasą mistral-ocr-latest, kuris į jį nukreipia nuo liepos 16 d. OCR 4.1 pridėjo pasitikėjimo įverčius bloko lygmeniu.

Atskirk dekoracijas nuo turinio

Nuo OCR 2512 versijos (2025 m. gruodis) „Mistral“ OCR modelis antraštes ir poraštes kiekvienam puslapiui išskiria atskirai. Ši funkcija gali atrodyti nereikšminga, kol nesuindeksuoji 120 puslapių sutarties: advokatų kontoros pavadinimas, žyma „Konfidencialu“ ir puslapių numeriai pasikartoja 120 kartų, teršdami kiekvieną paieškos rezultatą. Formaliuose dokumentuose – sutartyse, metinėse ataskaitose, reguliavimo tekstuose – šis atskyrimas transformuoja visko, kas eina po to, kokybę.

Dilema reali. Šie elementai mechaniškai kartojasi kiekviename puslapyje, sukurdami triukšmą tiek indeksavimo, tiek RAG sistemų atsakymuose. Tačiau kartais juose yra vieninteliai patikimi dokumento metaduomenys: versijos numeris, išleidimo data, slaptumo lygis. Išskyrus juos atskirai, užuot ištrynus ar palikus pagrindiniame tekste, gali priimti sprendimus kiekvienu atveju individualiai.

Laukų pasiekimas

Laukai header ir footer yra tiesiogiai prieinami kiekviename atsakymo puslapyje:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://exemple.com/contrat.pdf"
    }
)

for page in ocr_response.pages:
    print(f"--- Page {page.index + 1} ---")

    if page.header:
        print(f"Header: {page.header}")

    print(f"Content: {page.markdown[:100]}...")

    if page.footer:
        print(f"Footer: {page.footer}")

    print()

Sąlygos if page.header nėra perteklinės: ne kiekvienas puslapis turi antraštę, pradedant viršeliais; tokiu atveju laukas yra None.

Puslapių numeracijos atkūrimas

Kiekvienas puslapis numeruojamas nuo nulio. Daugiapuslapiam dokumentui, kurį planuoji saugoti ar grąžinti programai, geriau iškart normalizuoti struktūrą: žmogui suprantamas numeris, turinys, dekoracijos, matmenys ir paveikslėlių skaičius.

def extract_with_pagination(ocr_response) -> dict:
    """Extract content while preserving pagination."""
    document = {
        "page_count": len(ocr_response.pages),
        "pages": []
    }

    for page in ocr_response.pages:
        page_data = {
            "number": page.index + 1,
            "content": page.markdown,
            "header": page.header or "",
            "footer": page.footer or "",
            "dimensions": {
                "width": page.dimensions.width if page.dimensions else None,
                "height": page.dimensions.height if page.dimensions else None,
            },
            "image_count": len(page.images) if page.images else 0,
        }
        document["pages"].append(page_data)

    return document

Operatoriai or "" ir apsaugos page.dimensions potencialiai nulines reikšmes paverčia neutraliomis numatytosiomis. Tai apsaugo nuo AttributeError klaidos partijos viduryje, apdorojant 80-ąjį dokumentą.

Matmenys išreiškiami PDF taškais, kur vienas taškas lygus 1/72 colio. Dažniausiai sutinkami formatai:

  • A4: 595 x 842 taškai
  • Letter: 612 x 792 taškai
  • A3: 842 x 1191 taškai

Ši informacija padeda pastebėti išskirtinius puslapius partijoje – pavyzdžiui, A3 brėžinys, įsiterpęs tarp A4 lapų, arba nuskaitymas neįprastu masteliu. Konvertavimas į centimetrus diagnozę padaro momentalią:

for page in ocr_response.pages:
    if page.dimensions:
        width_cm = page.dimensions.width * 2.54 / 72
        height_cm = page.dimensions.height * 2.54 / 72
        print(f"Page {page.index + 1}: {width_cm:.1f} x {height_cm:.1f} cm")

Švarus turinys RAG sistemoms

Priklausomai nuo dokumento, antraštė ir poraštė gali atsirasti ir pagrindiniame markdown. Prieš indeksuojant, pašalink jas, jei jos tikrai rėmina turinį:

def main_content(ocr_response) -> str:
    """Extract only the main content, without headers/footers."""
    parts = []

    for page in ocr_response.pages:
        content = page.markdown

        # Optional: remove headers/footers from markdown
        # if they are included in the main content
        if page.header and content.startswith(page.header):
            content = content[len(page.header):].strip()

        if page.footer and content.endswith(page.footer):
            content = content[:-len(page.footer)].strip()

        parts.append(content)

    return "\n\n".join(parts)

Sąlygos startswith ir endswith sąmoningai atsargios: grandinę pašaliname tik tada, jei ji tikrai yra puslapio pradžioje arba pabaigoje. Aklas šalinimas naudojant replace rizikuoja ištrinti teisėtą įmonės pavadinimo pasikartojimą teksto viduryje.

Išnaudok poraščių metaduomenis

Kai poraštės išskirtos, pakanka kelių reguliariųjų išraiškų struktūruotiems metaduomenims išgauti: puslapių numeracijai formatu „3 / 40“, išleidimo datai, versijos numeriui ir slaptumo lygiui.

import re

def extract_footer_metadata(ocr_response) -> dict:
    """Extract metadata from footers."""
    metadata = {
        "page_numbers": [],
        "dates": [],
        "versions": [],
        "classifications": [],
    }

    for page in ocr_response.pages:
        footer = page.footer or ""

        # Page number search
        match_page = re.search(r"(\d+)\s*/\s*(\d+)", footer)
        if match_page:
            metadata["page_numbers"].append(
                f"{match_page.group(1)}/{match_page.group(2)}"
            )

        # Date search
        match_date = re.search(r"\d{2}/\d{2}/\d{4}", footer)
        if match_date:
            metadata["dates"].append(match_date.group())

        # Version search
        match_version = re.search(r"v(?:ersion)?\s*(\d+\.?\d*)", footer, re.I)
        if match_version:
            metadata["versions"].append(match_version.group(1))

        # Classification (Confidential, Public, etc.)
        for classification in ["confidential", "public", "internal", "secret"]:
            if classification in footer.lower():
                metadata["classifications"].append(classification)

    return metadata

Vertė viršija dokumentacinį smalsumą. Čia aptiktas slaptumo lygis gali valdyti tolesnį apdorojimą: elementus, pažymėtus „confidential“, nukreipk į ribotos prieigos indeksą arba atsisakyk siųsti juos į išorinę tarnybą. Akivaizdu, kad žodyną reikia pritaikyti pagal tavo organizacijos terminiją.

Apdorok tik dalį dokumento

Dideliems dokumentams dažnai reikia tik tam tikros dalies – pavyzdžiui, finansinių priedų ataskaitoje arba pasirašyto sutarties skyriaus. Filtravimas vyksta po ištraukimo, jau gautame atsakyme:

def extract_range(ocr_response, start: int, end: int) -> str:
    """Extract content from a page range (1-indexed)."""
    parts = []

    for page in ocr_response.pages:
        number = page.index + 1
        if start <= number <= end:
            parts.append(page.markdown)

    return "\n\n---\n\n".join(parts)


# Extract pages 5 to 10
partial_content = extract_range(ocr_response, 5, 10)

Funkcija naudoja žmogui suprantamą numeraciją, pradedant nuo 1: prašant puslapių nuo 5 iki 10, grąžinami būtent tie puslapiai. Tačiau atmink, kad visas dokumentas buvo apdorotas – ir apmokestintas – prieš šį filtravimą. Jei iš anksto žinai, kad domina tik keli puslapiai, PDF failą padalink iš anksto, užuot siuntęs visus 1000 puslapių į API.

Svarbiausi punktai

  • Antraštės ir poraštės išskiriamos atskirai nuo OCR 2512 versijos
  • Filtruok jas, kad išvengtum triukšmo savo RAG sistemose
  • Puslapių matmenys nurodomi PDF taškais (72 taškai = 1 colio)
  • Poraštėse dažnai būna naudingų metaduomenų (versija, data, klasifikacija)
  • Didelius dokumentus apdorok puslapių diapazonais