Премини към основното съдържание
Български— Изберете език
Меню

Заглавки, долни колонтитули и номерация на страници

Урок 7 от 16 Обновен 2 ноември 2026 г. Програмист
На тази страница
  1. Отделяне на декорацията от съдържанието
  2. Достъп до полетата
  3. Възстановяване на номерацията на страниците
  4. Изчистено съдържание за RAG
  5. Използване на метаданни от долния колонтитул
  6. Обработка само на част от документа
  7. Ключови изводи

Обновено на 2 ноември 2026 г. — OCR. OCR 4.0 (mistral-ocr-4-0) беше прекратен на 30 септември 2026 г. Използвайте OCR 4.1 (mistral-ocr-4-1), който е общодостъпен от 31 август на същата цена, или псевдонима mistral-ocr-latest, който сочи към него от 16 юли. OCR 4.1 добавя оценки за достоверност на ниво блок.

Отделяне на декорацията от съдържанието

От версия 2512 на OCR (декември 2025 г.), OCR моделът на Mistral извлича заглавките и долните колонтитули отделно за всяка страница. Тази функция може да изглежда тривиална, докато не индексирате договор от 120 страници: името на адвокатската кантора, маркировката “Поверително” и номерата на страниците се появяват 120 пъти, замърсявайки всеки резултат от търсенето. При официални документи – договори, годишни отчети, регулаторни текстове – това разделяне трансформира качеството на всичко, което следва.

Дилемата е реална. Тези елементи се повтарят механично на всяка страница, създавайки шум както при индексирането, така и в отговорите на RAG системите. Въпреки това, те понякога съдържат единствените надеждни метаданни на документа: номер на версия, дата на издаване, ниво на класификация. Извличането им отделно, вместо да ги изтриете или оставите в основния текст, Ви позволява да решавате за всеки случай поотделно.

Достъп до полетата

Полетата header и footer са налични директно за всяка страница в отговора:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://exemple.com/contrat.pdf"
    }
)

for page in ocr_response.pages:
    print(f"--- Page {page.index + 1} ---")

    if page.header:
        print(f"Header: {page.header}")

    print(f"Content: {page.markdown[:100]}...")

    if page.footer:
        print(f"Footer: {page.footer}")

    print()

Проверките if page.header не са излишни: не всяка страница има заглавка, започвайки от титулните страници, в който случай полето е None.

Възстановяване на номерацията на страниците

Всяка страница е индексирана от нула. За многостраничен документ, който планирате да съхраните или върнете на приложение, е по-добре незабавно да нормализирате структурата: четим от човек номер, съдържание, декорация, размери и брой изображения.

def extract_with_pagination(ocr_response) -> dict:
    """Extract content while preserving pagination."""
    document = {
        "page_count": len(ocr_response.pages),
        "pages": []
    }

    for page in ocr_response.pages:
        page_data = {
            "number": page.index + 1,
            "content": page.markdown,
            "header": page.header or "",
            "footer": page.footer or "",
            "dimensions": {
                "width": page.dimensions.width if page.dimensions else None,
                "height": page.dimensions.height if page.dimensions else None,
            },
            "image_count": len(page.images) if page.images else 0,
        }
        document["pages"].append(page_data)

    return document

Операторите or "" и проверките за page.dimensions преобразуват потенциално нулеви стойности в неутрални стойности по подразбиране. Това предотвратява грешка AttributeError по средата на пакетна обработка при обработката на 80-ия документ.

Размерите са изразени в точки на PDF, като една точка е равна на 1/72 от инча. Форматите, които ще срещнете най-често:

  • A4: 595 x 842 точки
  • Letter: 612 x 792 точки
  • A3: 842 x 1191 точки

Тази информация Ви помага да откриете страници-отклонения в партида – чертеж във формат A3, промъкнал се сред листове A4, или сканиране в необичаен мащаб. Преобразуването в сантиметри прави диагностицирането незабавно:

for page in ocr_response.pages:
    if page.dimensions:
        width_cm = page.dimensions.width * 2.54 / 72
        height_cm = page.dimensions.height * 2.54 / 72
        print(f"Page {page.index + 1}: {width_cm:.1f} x {height_cm:.1f} cm")

Изчистено съдържание за RAG

В зависимост от документа, заглавката и долният колонтитул могат да се появят и в основния markdown. Преди индексиране ги премахнете, когато действително рамкират съдържанието:

def main_content(ocr_response) -> str:
    """Extract only the main content, without headers/footers."""
    parts = []

    for page in ocr_response.pages:
        content = page.markdown

        # Optional: remove headers/footers from markdown
        # if they are included in the main content
        if page.header and content.startswith(page.header):
            content = content[len(page.header):].strip()

        if page.footer and content.endswith(page.footer):
            content = content[:-len(page.footer)].strip()

        parts.append(content)

    return "\n\n".join(parts)

Условията startswith и endswith са умишлено предпазливи: премахваме низа само ако той наистина се появява в началото или края на страницата. Сляпото премахване чрез replace рискува да изтрие легитимно срещане на името на компанията в средата на текста.

Използване на метаданни от долния колонтитул

След като долните колонтитули са изолирани, няколко регулярни израза са достатъчни за извличане на структурирани метаданни: номерация на страниците във формат “3 / 40”, дата на издаване, номер на версия и ниво на класификация.

import re

def extract_footer_metadata(ocr_response) -> dict:
    """Extract metadata from footers."""
    metadata = {
        "page_numbers": [],
        "dates": [],
        "versions": [],
        "classifications": [],
    }

    for page in ocr_response.pages:
        footer = page.footer or ""

        # Page number search
        match_page = re.search(r"(\d+)\s*/\s*(\d+)", footer)
        if match_page:
            metadata["page_numbers"].append(
                f"{match_page.group(1)}/{match_page.group(2)}"
            )

        # Date search
        match_date = re.search(r"\d{2}/\d{2}/\d{4}", footer)
        if match_date:
            metadata["dates"].append(match_date.group())

        # Version search
        match_version = re.search(r"v(?:ersion)?\s*(\d+\.?\d*)", footer, re.I)
        if match_version:
            metadata["versions"].append(match_version.group(1))

        # Classification (Confidential, Public, etc.)
        for classification in ["confidential", "public", "internal", "secret"]:
            if classification in footer.lower():
                metadata["classifications"].append(classification)

    return metadata

Стойността надхвърля документалното любопитство. Откритата тук класификация може да управлява последваща обработка: насочване на елементи, маркирани като “поверителни”, към индекс с ограничен достъп или отказ за изпращането им към външна услуга. Очевидно е, че трябва да адаптирате речника, за да съответства на терминологията на Вашата организация.

Обработка само на част от документа

За големи документи често се нуждаете само от секция – финансовите приложения на отчет, подписаният раздел на договор. Филтрирането се случва след извличането, върху вече получения отговор:

def extract_range(ocr_response, start: int, end: int) -> str:
    """Extract content from a page range (1-indexed)."""
    parts = []

    for page in ocr_response.pages:
        number = page.index + 1
        if start <= number <= end:
            parts.append(page.markdown)

    return "\n\n---\n\n".join(parts)


# Extract pages 5 to 10
partial_content = extract_range(ocr_response, 5, 10)

Функцията използва номерация, четима от човек, започваща от 1: заявяването на страници от 5 до 10 връща точно тези страници. Помнете обаче, че целият документ е обработен – и таксуван – преди това филтриране. Ако предварително знаете, че само няколко страници Ви интересуват, разделете PDF файла предварително, вместо да изпращате всичките 1000 страници към API.

Ключови изводи

  • Заглавките и долните колонтитули се извличат отделно от OCR 2512
  • Филтрирайте ги, за да избегнете шум във Вашите RAG потоци
  • Размерите на страниците са в точки на PDF (72 точки = 1 инч)
  • Долните колонтитули често съдържат полезни метаданни (версия, дата, класификация)
  • Обработвайте по диапазони от страници за големи документи