Antraštės, poraštės ir puslapių numeracija
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 2 d. — OCR. OCR 4.0 (
mistral-ocr-4-0) buvo nutrauktas 2026 m. rugsėjo 30 d. Naudok OCR 4.1 (mistral-ocr-4-1), kuris visuotinai prieinamas nuo rugpjūčio 31 d. ta pačia kaina, arba aliasąmistral-ocr-latest, kuris į jį nukreipia nuo liepos 16 d. OCR 4.1 pridėjo pasitikėjimo įverčius bloko lygmeniu.
Atskirk dekoracijas nuo turinio
Nuo OCR 2512 versijos (2025 m. gruodis) „Mistral“ OCR modelis antraštes ir poraštes kiekvienam puslapiui išskiria atskirai. Ši funkcija gali atrodyti nereikšminga, kol nesuindeksuoji 120 puslapių sutarties: advokatų kontoros pavadinimas, žyma „Konfidencialu“ ir puslapių numeriai pasikartoja 120 kartų, teršdami kiekvieną paieškos rezultatą. Formaliuose dokumentuose – sutartyse, metinėse ataskaitose, reguliavimo tekstuose – šis atskyrimas transformuoja visko, kas eina po to, kokybę.
Dilema reali. Šie elementai mechaniškai kartojasi kiekviename puslapyje, sukurdami triukšmą tiek indeksavimo, tiek RAG sistemų atsakymuose. Tačiau kartais juose yra vieninteliai patikimi dokumento metaduomenys: versijos numeris, išleidimo data, slaptumo lygis. Išskyrus juos atskirai, užuot ištrynus ar palikus pagrindiniame tekste, gali priimti sprendimus kiekvienu atveju individualiai.
Laukų pasiekimas
Laukai header ir footer yra tiesiogiai prieinami kiekviename atsakymo puslapyje:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
ocr_response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": "https://exemple.com/contrat.pdf"
}
)
for page in ocr_response.pages:
print(f"--- Page {page.index + 1} ---")
if page.header:
print(f"Header: {page.header}")
print(f"Content: {page.markdown[:100]}...")
if page.footer:
print(f"Footer: {page.footer}")
print()
Sąlygos if page.header nėra perteklinės: ne kiekvienas puslapis turi antraštę, pradedant viršeliais; tokiu atveju laukas yra None.
Puslapių numeracijos atkūrimas
Kiekvienas puslapis numeruojamas nuo nulio. Daugiapuslapiam dokumentui, kurį planuoji saugoti ar grąžinti programai, geriau iškart normalizuoti struktūrą: žmogui suprantamas numeris, turinys, dekoracijos, matmenys ir paveikslėlių skaičius.
def extract_with_pagination(ocr_response) -> dict:
"""Extract content while preserving pagination."""
document = {
"page_count": len(ocr_response.pages),
"pages": []
}
for page in ocr_response.pages:
page_data = {
"number": page.index + 1,
"content": page.markdown,
"header": page.header or "",
"footer": page.footer or "",
"dimensions": {
"width": page.dimensions.width if page.dimensions else None,
"height": page.dimensions.height if page.dimensions else None,
},
"image_count": len(page.images) if page.images else 0,
}
document["pages"].append(page_data)
return document
Operatoriai or "" ir apsaugos page.dimensions potencialiai nulines reikšmes paverčia neutraliomis numatytosiomis. Tai apsaugo nuo AttributeError klaidos partijos viduryje, apdorojant 80-ąjį dokumentą.
Matmenys išreiškiami PDF taškais, kur vienas taškas lygus 1/72 colio. Dažniausiai sutinkami formatai:
- A4: 595 x 842 taškai
- Letter: 612 x 792 taškai
- A3: 842 x 1191 taškai
Ši informacija padeda pastebėti išskirtinius puslapius partijoje – pavyzdžiui, A3 brėžinys, įsiterpęs tarp A4 lapų, arba nuskaitymas neįprastu masteliu. Konvertavimas į centimetrus diagnozę padaro momentalią:
for page in ocr_response.pages:
if page.dimensions:
width_cm = page.dimensions.width * 2.54 / 72
height_cm = page.dimensions.height * 2.54 / 72
print(f"Page {page.index + 1}: {width_cm:.1f} x {height_cm:.1f} cm")
Švarus turinys RAG sistemoms
Priklausomai nuo dokumento, antraštė ir poraštė gali atsirasti ir pagrindiniame markdown. Prieš indeksuojant, pašalink jas, jei jos tikrai rėmina turinį:
def main_content(ocr_response) -> str:
"""Extract only the main content, without headers/footers."""
parts = []
for page in ocr_response.pages:
content = page.markdown
# Optional: remove headers/footers from markdown
# if they are included in the main content
if page.header and content.startswith(page.header):
content = content[len(page.header):].strip()
if page.footer and content.endswith(page.footer):
content = content[:-len(page.footer)].strip()
parts.append(content)
return "\n\n".join(parts)
Sąlygos startswith ir endswith sąmoningai atsargios: grandinę pašaliname tik tada, jei ji tikrai yra puslapio pradžioje arba pabaigoje. Aklas šalinimas naudojant replace rizikuoja ištrinti teisėtą įmonės pavadinimo pasikartojimą teksto viduryje.
Išnaudok poraščių metaduomenis
Kai poraštės išskirtos, pakanka kelių reguliariųjų išraiškų struktūruotiems metaduomenims išgauti: puslapių numeracijai formatu „3 / 40“, išleidimo datai, versijos numeriui ir slaptumo lygiui.
import re
def extract_footer_metadata(ocr_response) -> dict:
"""Extract metadata from footers."""
metadata = {
"page_numbers": [],
"dates": [],
"versions": [],
"classifications": [],
}
for page in ocr_response.pages:
footer = page.footer or ""
# Page number search
match_page = re.search(r"(\d+)\s*/\s*(\d+)", footer)
if match_page:
metadata["page_numbers"].append(
f"{match_page.group(1)}/{match_page.group(2)}"
)
# Date search
match_date = re.search(r"\d{2}/\d{2}/\d{4}", footer)
if match_date:
metadata["dates"].append(match_date.group())
# Version search
match_version = re.search(r"v(?:ersion)?\s*(\d+\.?\d*)", footer, re.I)
if match_version:
metadata["versions"].append(match_version.group(1))
# Classification (Confidential, Public, etc.)
for classification in ["confidential", "public", "internal", "secret"]:
if classification in footer.lower():
metadata["classifications"].append(classification)
return metadata
Vertė viršija dokumentacinį smalsumą. Čia aptiktas slaptumo lygis gali valdyti tolesnį apdorojimą: elementus, pažymėtus „confidential“, nukreipk į ribotos prieigos indeksą arba atsisakyk siųsti juos į išorinę tarnybą. Akivaizdu, kad žodyną reikia pritaikyti pagal tavo organizacijos terminiją.
Apdorok tik dalį dokumento
Dideliems dokumentams dažnai reikia tik tam tikros dalies – pavyzdžiui, finansinių priedų ataskaitoje arba pasirašyto sutarties skyriaus. Filtravimas vyksta po ištraukimo, jau gautame atsakyme:
def extract_range(ocr_response, start: int, end: int) -> str:
"""Extract content from a page range (1-indexed)."""
parts = []
for page in ocr_response.pages:
number = page.index + 1
if start <= number <= end:
parts.append(page.markdown)
return "\n\n---\n\n".join(parts)
# Extract pages 5 to 10
partial_content = extract_range(ocr_response, 5, 10)
Funkcija naudoja žmogui suprantamą numeraciją, pradedant nuo 1: prašant puslapių nuo 5 iki 10, grąžinami būtent tie puslapiai. Tačiau atmink, kad visas dokumentas buvo apdorotas – ir apmokestintas – prieš šį filtravimą. Jei iš anksto žinai, kad domina tik keli puslapiai, PDF failą padalink iš anksto, užuot siuntęs visus 1000 puslapių į API.
Svarbiausi punktai
- Antraštės ir poraštės išskiriamos atskirai nuo OCR 2512 versijos
- Filtruok jas, kad išvengtum triukšmo savo RAG sistemose
- Puslapių matmenys nurodomi PDF taškais (72 taškai = 1 colio)
- Poraštėse dažnai būna naudingų metaduomenų (versija, data, klasifikacija)
- Didelius dokumentus apdorok puslapių diapazonais