Galvenes, kājenes un lapu numerācija
Šajā lapā
Atjaunināts 2026. gada 2. novembrī — OCR. OCR 4.0 (
mistral-ocr-4-0) tika izņemts no aprites 2026. gada 30. septembrī. Izmanto OCR 4.1 (mistral-ocr-4-1), kas ir vispārēji pieejams kopš 31. augusta par tādu pašu cenu, vai aliasumistral-ocr-latest, kas uz to norāda kopš 16. jūlija. OCR 4.1 pievieno uzticamības rādītājus bloku līmenī.
Atdali dekorācijas no satura
Kopš OCR versijas 2512 (2025. gada decembris) Mistral OCR modelis katrā lapā atsevišķi izgūst galvenes un kājenes. Šī funkcija var šķist nenozīmīga, līdz indeksē 120 lappušu līgumu: advokātu biroja nosaukums, atzīme “Konfidenciāli” un lapu numuri parādās 120 reizes, piesārņojot katru meklēšanas rezultātu. Formālos dokumentos — līgumos, gada pārskatos, normatīvajos tekstos — šī atdalīšana radikāli uzlabo visu turpmāko procesu kvalitāti.
Dilemma ir reāla. Šie elementi mehāniski atkārtojas katrā lapā, radot troksni gan indeksēšanā, gan RAG sistēmu atbildēs. Taču tie dažkārt satur vienīgos dokumenta uzticamos metadatus: versijas numuru, izdošanas datumu, klasifikācijas līmeni. To izgūšana atsevišķi, nevis dzēšana vai atstāšana pamattekstā, ļauj tev katrā gadījumā pieņemt lēmumu atbilstoši situācijai.
Pieeja laukiem
Lauki header un footer ir tieši pieejami katrā atbildes lapā:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
ocr_response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": "https://exemple.com/contrat.pdf"
}
)
for page in ocr_response.pages:
print(f"--- Page {page.index + 1} ---")
if page.header:
print(f"Header: {page.header}")
print(f"Content: {page.markdown[:100]}...")
if page.footer:
print(f"Footer: {page.footer}")
print()
Pārbaudes if page.header nav liekas: ne katrai lapai ir galvene, sākot ar vāka lapām; šādā gadījumā lauks ir None.
Lapu numerācijas rekonstruēšana
Katra lapa ir numerēta, sākot no nulles. Daudzlappušu dokumentam, ko plāno glabāt vai atgriezt lietotnei, labāk ir nekavējoties normalizēt struktūru: cilvēkam lasāms numurs, saturs, dekorācijas, izmēri un attēlu skaits.
def extract_with_pagination(ocr_response) -> dict:
"""Extract content while preserving pagination."""
document = {
"page_count": len(ocr_response.pages),
"pages": []
}
for page in ocr_response.pages:
page_data = {
"number": page.index + 1,
"content": page.markdown,
"header": page.header or "",
"footer": page.footer or "",
"dimensions": {
"width": page.dimensions.width if page.dimensions else None,
"height": page.dimensions.height if page.dimensions else None,
},
"image_count": len(page.images) if page.images else 0,
}
document["pages"].append(page_data)
return document
Operatori or "" un aizsardzības nosacījumi pie page.dimensions pārvērš potenciāli nulles vērtības neitrālos noklusējumos. Tas novērš AttributeError kļūdu partijas apstrādes vidū, piemēram, apstrādājot 80. dokumentu.
Izmēri ir izteikti PDF punktos, kur viens punkts ir 1/72 collas. Visbiežāk sastopamie formāti:
- A4: 595 x 842 punkti
- Letter: 612 x 792 punkti
- A3: 842 x 1191 punkti
Šī informācija palīdz tev partijā pamanīt anomālijas — piemēram, A3 formāta zīmējumu starp A4 lapām vai skenējumu neparastā mērogā. Pārvēršana centimetros padara diagnostiku acumirklīgu:
for page in ocr_response.pages:
if page.dimensions:
width_cm = page.dimensions.width * 2.54 / 72
height_cm = page.dimensions.height * 2.54 / 72
print(f"Page {page.index + 1}: {width_cm:.1f} x {height_cm:.1f} cm")
Tīrs saturs priekš RAG
Atkarībā no dokumenta galvene un kājene var parādīties arī pamata markdown saturā. Pirms indeksēšanas noņem tās, ja tās faktiski ietver saturu:
def main_content(ocr_response) -> str:
"""Extract only the main content, without headers/footers."""
parts = []
for page in ocr_response.pages:
content = page.markdown
# Optional: remove headers/footers from markdown
# if they are included in the main content
if page.header and content.startswith(page.header):
content = content[len(page.header):].strip()
if page.footer and content.endswith(page.footer):
content = content[:-len(page.footer)].strip()
parts.append(content)
return "\n\n".join(parts)
Nosacījumi startswith un endswith ir apzināti piesardzīgi: virkni noņemam tikai tad, ja tā patiešām atrodas lapas sākumā vai beigās. Akla noņemšana, izmantojot replace, riskē izdzēst likumīgu uzņēmuma nosaukuma parādīšanos teksta vidū.
Izmanto kājeņu metadatus
Kad kājenes ir izolētas, pietiek ar dažām regulārām izteiksmēm, lai izgūtu strukturētus metadatus: lapu numerāciju formātā “3 / 40”, izdošanas datumu, versijas numuru un klasifikācijas līmeni.
import re
def extract_footer_metadata(ocr_response) -> dict:
"""Extract metadata from footers."""
metadata = {
"page_numbers": [],
"dates": [],
"versions": [],
"classifications": [],
}
for page in ocr_response.pages:
footer = page.footer or ""
# Page number search
match_page = re.search(r"(\d+)\s*/\s*(\d+)", footer)
if match_page:
metadata["page_numbers"].append(
f"{match_page.group(1)}/{match_page.group(2)}"
)
# Date search
match_date = re.search(r"\d{2}/\d{2}/\d{4}", footer)
if match_date:
metadata["dates"].append(match_date.group())
# Version search
match_version = re.search(r"v(?:ersion)?\s*(\d+\.?\d*)", footer, re.I)
if match_version:
metadata["versions"].append(match_version.group(1))
# Classification (Confidential, Public, etc.)
for classification in ["confidential", "public", "internal", "secret"]:
if classification in footer.lower():
metadata["classifications"].append(classification)
return metadata
Vērtība pārsniedz vienkāršu dokumentālu ziņkāri. Šeit noteiktā klasifikācija var virzīt turpmāko apstrādi: virzīt vienības, kas atzīmētas kā “konfidenciālas”, uz ierobežotas piekļuves indeksu vai atteikties tās sūtīt uz ārēju servisu. Protams, pielāgo vārdu krājumu savas organizācijas terminoloģijai.
Apstrādā tikai dokumenta daļu
Lieliem dokumentiem bieži vajadzīga tikai konkrēta sadaļa — ziņojuma finanšu pielikumi, līguma parakstītā nodaļa. Filtrēšana notiek pēc izgūšanas, jau saņemtajā atbildē:
def extract_range(ocr_response, start: int, end: int) -> str:
"""Extract content from a page range (1-indexed)."""
parts = []
for page in ocr_response.pages:
number = page.index + 1
if start <= number <= end:
parts.append(page.markdown)
return "\n\n---\n\n".join(parts)
# Extract pages 5 to 10
partial_content = extract_range(ocr_response, 5, 10)
Funkcija izmanto cilvēkam lasāmu numerāciju, sākot no 1: pieprasot lapas no 5. līdz 10., tiek atgrieztas tieši šīs lapas. Tomēr atceries, ka viss dokuments tika apstrādāts — un apmaksāts — pirms šīs filtrēšanas. Ja jau iepriekš zini, ka tevi interesē tikai dažas lapas, sadali PDF failu augšupplūsmā, nevis sūti API visus 1000 lapaspuses.
Galvenās atziņas
- Galvenes un kājenes tiek izgūtas atsevišķi kopš OCR 2512
- Filtrē tās, lai izvairītos no trokšņa savos RAG procesos
- Lapu izmēri ir PDF punktos (72 punkti = 1 colla)
- Kājenes bieži satur noderīgus metadatus (versija, datums, klasifikācija)
- Lieliem dokumentiem veic apstrādi pa lapu diapazoniem