Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Otsikot, alatunnisteet ja sivunumerointi

Oppitunti 7 / 16 Päivitetty 2. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Erota koristeet sisällöstä
  2. Kenttien käyttö
  3. Sivunumeroinnin muodostaminen
  4. Puhdas sisältö RAG-järjestelmille
  5. Hyödynnä alatunnisteiden metadataa
  6. Käsittele vain osa asiakirjasta
  7. Keskeiset asiat

Päivitetty 2. marraskuuta 2026 — OCR. OCR 4.0 (mistral-ocr-4-0) poistettiin käytöstä 30. syyskuuta 2026. Käytä OCR 4.1:tä (mistral-ocr-4-1), joka on ollut yleisesti saatavilla 31. elokuuta lähtien samaan hintaan, tai alias-tunnusta mistral-ocr-latest, joka on viitannut siihen 16. heinäkuuta lähtien. OCR 4.1 lisää luottamusluvut lohko tasolla.

Erota koristeet sisällöstä

OCR-version 2512 (joulukuu 2025) jälkeen Mistralin OCR-malli erottaa otsikot ja alatunnisteet erikseen jokaiselle sivulle. Tämä ominaisuus saattaa vaikuttaa merkityksettömältä, kunnes indeksoit 120-sivuisen sopimuksen: asianajotoimiston nimi, “Luottamuksellinen”-merkintä ja sivunumerot toistuvat 120 kertaa saastaen jokaisen hakutuloksen. Muodollisissa asiakirjoissa – kuten sopimuksissa, vuosikertomuksissa ja sääntelyteksteissä – tämä erottelu parantaa kaiken jälkikäteen tehtävän työn laatua.

Dilemma on todellinen. Nämä elementit toistuvat mekaanisesti jokaisella sivulla luoden häiriötä sekä indeksointiin että RAG-järjestelmien vastauksiin. Toisaalta ne sisältävät joskus asiakirjan ainoat luotettavat metatiedot: versionumeron, julkaisupäivän tai luokittelutason. Niiden erillinen erottaminen sen sijaan, että ne poistettaisiin tai jätettäisiin päätekstin sekaan, antaa sinulle mahdollisuuden päättää tapauskohtaisesti.

Kenttien käyttö

header- ja footer-kentät ovat suoraan saatavilla vastauksen jokaisella sivulla:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://exemple.com/contrat.pdf"
    }
)

for page in ocr_response.pages:
    print(f"--- Page {page.index + 1} ---")

    if page.header:
        print(f"Header: {page.header}")

    print(f"Content: {page.markdown[:100]}...")

    if page.footer:
        print(f"Footer: {page.footer}")

    print()

if page.header-tarkistukset eivät ole tarpeettomia: jokaisella sivulla ei ole otsikkoa, erityisesti kansilehdillä, jolloin kentän arvo on None.

Sivunumeroinnin muodostaminen

Jokainen sivu on nollaindeksöity. Monisivuisessa asiakirjassa, jonka aiot tallentaa tai palauttaa sovellukseen, on parempi normalisoida rakenne heti: ihmisluettava numero, sisältö, koristeet, mitat ja kuvien määrä.

def extract_with_pagination(ocr_response) -> dict:
    """Extract content while preserving pagination."""
    document = {
        "page_count": len(ocr_response.pages),
        "pages": []
    }

    for page in ocr_response.pages:
        page_data = {
            "number": page.index + 1,
            "content": page.markdown,
            "header": page.header or "",
            "footer": page.footer or "",
            "dimensions": {
                "width": page.dimensions.width if page.dimensions else None,
                "height": page.dimensions.height if page.dimensions else None,
            },
            "image_count": len(page.images) if page.images else 0,
        }
        document["pages"].append(page_data)

    return document

or "" -operaattorit ja page.dimensions-suojaukset muuntavat mahdolliset null-arvot neutraaleiksi oletusarvoiksi. Tämä estää AttributeError-virheen syntymisen erän keskellä käsiteltäessä esimerkiksi 80. asiakirjaa.

Mitat ilmaistaan PDF-pisteinä, jossa yksi piste vastaa 1/72 tuumaa. Useimmin kohtaamasi formaatit:

  • A4: 595 x 842 pistettä
  • Letter: 612 x 792 pistettä
  • A3: 842 x 1191 pistettä

Nämä tiedot auttavat sinua tunnistamaan poikkeavat sivut erässä – esimerkiksi A3-kokoisen piirustuksen eksymisen A4-arkkien joukkoon tai epätavallisessa mittakaavassa skannatun sivun. Muuntaminen senttimetreiksi tekee vianmäärityksestä välitöntä:

for page in ocr_response.pages:
    if page.dimensions:
        width_cm = page.dimensions.width * 2.54 / 72
        height_cm = page.dimensions.height * 2.54 / 72
        print(f"Page {page.index + 1}: {width_cm:.1f} x {height_cm:.1f} cm")

Puhdas sisältö RAG-järjestelmille

Asiakirjasta riippuen otsikko ja alatunniste voivat esiintyä myös pääasiallisessa markdown-sisällössä. Ennen indeksointia poista ne, jos ne todellakin kehystävät sisältöä:

def main_content(ocr_response) -> str:
    """Extract only the main content, without headers/footers."""
    parts = []

    for page in ocr_response.pages:
        content = page.markdown

        # Optional: remove headers/footers from markdown
        # if they are included in the main content
        if page.header and content.startswith(page.header):
            content = content[len(page.header):].strip()

        if page.footer and content.endswith(page.footer):
            content = content[:-len(page.footer)].strip()

        parts.append(content)

    return "\n\n".join(parts)

startswith- ja endswith-ehdot ovat tarkoituksellisen varovaisia: poistamme merkkijonon vain, jos se todella esiintyy sivun alussa tai lopussa. Sokea poistaminen replace-funktiolla riskaa pyyhkiä pois yrityksen nimen laillisen esiintymän tekstin keskeltä.

Hyödynnä alatunnisteiden metadataa

Kun alatunnisteet on eristetty, muutamat säännölliset lausekkeet riittävät jäsennetyn metatiedon erottamiseen: sivunumerointi muodossa “3 / 40”, julkaisupäivä, versionumero ja luokittelutaso.

import re

def extract_footer_metadata(ocr_response) -> dict:
    """Extract metadata from footers."""
    metadata = {
        "page_numbers": [],
        "dates": [],
        "versions": [],
        "classifications": [],
    }

    for page in ocr_response.pages:
        footer = page.footer or ""

        # Page number search
        match_page = re.search(r"(\d+)\s*/\s*(\d+)", footer)
        if match_page:
            metadata["page_numbers"].append(
                f"{match_page.group(1)}/{match_page.group(2)}"
            )

        # Date search
        match_date = re.search(r"\d{2}/\d{2}/\d{4}", footer)
        if match_date:
            metadata["dates"].append(match_date.group())

        # Version search
        match_version = re.search(r"v(?:ersion)?\s*(\d+\.?\d*)", footer, re.I)
        if match_version:
            metadata["versions"].append(match_version.group(1))

        # Classification (Confidential, Public, etc.)
        for classification in ["confidential", "public", "internal", "secret"]:
            if classification in footer.lower():
                metadata["classifications"].append(classification)

    return metadata

Arvo ylittää pelkän dokumentaarisen uteliaisuuden. Tässä havaittu luokittelu voi ohjata jälkikäsittelyä: reititä “luottamuksellisiksi” merkityt kohteet rajoitetun pääsyn indeksiin tai kieltäydy lähettämästä niitä ulkoiseen palveluun. Muista tietenkin mukauttaa sanasto vastaamaan organisaatiosi terminologiaa.

Käsittele vain osa asiakirjasta

Laajojen asiakirjojen kohdalla tarvitset usein vain tietyn osion – esimerkiksi raportin rahoitusliitteet tai sopimuksen allekirjoitetun luvun. Suodatus tapahtuu erottelun jälkeen jo vastaanotetulle vastaukselle:

def extract_range(ocr_response, start: int, end: int) -> str:
    """Extract content from a page range (1-indexed)."""
    parts = []

    for page in ocr_response.pages:
        number = page.index + 1
        if start <= number <= end:
            parts.append(page.markdown)

    return "\n\n---\n\n".join(parts)


# Extract pages 5 to 10
partial_content = extract_range(ocr_response, 5, 10)

Funktio käyttää ihmisluettavaa numerointia alkaen ykkösestä: sivujen 5–10 pyytäminen palauttaa täsmälleen nämä sivut. Muista kuitenkin, että koko asiakirja on jo käsitelty – ja laskutettu – ennen tätä suodatusta. Jos tiedät etukäteen, että vain harvat sivut kiinnostavat sinua, pilko PDF ennen käsittelyä sen sijaan, että lähettäisit kaikki 1 000 sivua API:lle.

Keskeiset asiat

  • Otsikot ja alatunnisteet erotetaan erikseen OCR 2512 -versiosta lähtien
  • Suodata ne välttääksesi häiriötä RAG-putkistoissasi
  • Sivumitat ovat PDF-pisteinä (72 pistettä = 1 tuuma)
  • Alatunnisteet sisältävät usein hyödyllistä metadataa (versio, päiväys, luokittelu)
  • Käsittele suuria asiakirjoja sivualueittain