Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Extrageeritud struktureeritud metaandmed

Õppetund 10 / 16 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Ekstrakteeri täpselt see, mida vajad
  2. Struktueerimine lamestamise asemel
  3. Korduvad andmed
  4. Märkeruudud ja vormid
  5. Terviklik rakendamine
  6. Peamised punktid

Uuendus 2. november 2026 — OCR. OCR 4.0 (mistral-ocr-4-0) suleti 30. septembril 2026. Kasuta OCR 4.1 (mistral-ocr-4-1), mis on olnud üldkasutatav alates 31. augustist sama hinnaga, või aliast mistral-ocr-latest, mis on sellele viidanud alates 16. juulist. OCR 4.1 lisab usaldusväärsuse skoorid ploki tasandil. Lisand 3. november 2026: Kohalik PDF edastatakse base64-kodeeringus kujul {"type": "document_url", "document_url": "data:application/pdf;base64,…"}; vanemates näidetes esinenud document_base64 tüüpi ei eksisteeri ei dokumentatsioonis ega mistralai SDK-s ja need näited oleksid nurjunud. Allikad: OCR Processor · Document QnA. Parandatud 3. november 2026: Varem luges kood lehe kaupa page.document_annotation; alates mistralai SDK versioonist 3.7.0 on dokumendi annotatsioon vastuses üks väli (response.document_annotation) ja pildi annotatsioon loetakse välja image.image_annotation.

Ekstrakteeri täpselt see, mida vajad

Dokumendi annotatsioon ei seisne ainult toorteksti hankimises. See toodab struktureeritud, tüübitud ja valideeritud andmeid, mis on valmis koheks kasutamiseks sinu süsteemides: rida, mis sisestatakse andmebaasi, väli, mida võrreldakse võrdlusandmetega, või summa, mida kontrollitakse enne makset. Väljakutse nihkub täielikult skeemi disainile, millele see õppetund keskendub.

Struktueerimine lamestamise asemel

Ekstrakteerimise skeem peaks peegeldama dokumendi tegelikkust. Arve pärineb juriidiliselt isikult, kellel on ettevõtte nimi, SIRET-number (Prantsuse äriregistri number) ja aadress. Joonda kaheksa välja nagu emetteur_rue, emetteur_ville, emetteur_siret asemel defineeri mudel Adresse ja seejärel mudel LegalEntity, mis seda sisaldab. Kasuta neid ehitusplokke nii väljastaja kui ka saaja jaoks. Loetelu TypeDocument täidab sarnast rolli: see takistab mudelil kategooria väljamõtlemist ja garanteerib väärtuse, mida saad kasutada if-lause sees või marsruutimiseks. Väljad Optional määratlevad selgelt, mis võib puududa, samas kui vaikimisi väärtused – nagu default="France" riigi jaoks – säästavad mudelit ilmselgete asjade arvamisest.

from pydantic import BaseModel, Field
from typing import Optional
from enum import Enum

class DocumentType(str, Enum):
    INVOICE = "facture"
    CONTRACT = "contrat"
    REPORT = "rapport"
    FORM = "formulaire"
    OTHER = "autre"

class Address(BaseModel):
    street: Optional[str] = Field(None, description="Numéro et street")
    postal_code: Optional[str] = Field(None, description="Code postal")
    city: Optional[str] = Field(None, description="Ville")
    country: str = Field(default="France", description="Pays")

class LegalEntity(BaseModel):
    name: str = Field(..., description="Raison sociale")
    siret: Optional[str] = Field(None, description="Numéro SIRET")
    address: Optional[Address] = Field(None, description="Address postale")
    email: Optional[str] = Field(None, description="Address email")

class DocumentExtraction(BaseModel):
    document_type: DocumentType = Field(
        ..., description="Type du document"
    )
    date: Optional[str] = Field(
        None, description="Date principale (YYYY-MM-DD)"
    )
    emetteur: LegalEntity = Field(
        ..., description="Entité qui émet le document"
    )
    destinataire: Optional[LegalEntity] = Field(
        None, description="Entité destinataire"
    )
    resume: str = Field(
        ..., description="Résumé en 2-3 phrases du contenu"
    )
    langue: str = Field(
        ..., description="Langue du document (code ISO 639-1)"
    )

Korduvad andmed

Paljud dokumendid sisaldavad seeriaid: arveterive, klausleid või kulukirjeid. Modelleeri need kui list[...] spetsiaalsest alam-mudelist. Mudel skannib seejärel dokumendi tabeli ja toodab nii palju LigneFacture objekte, kui ridu leiab, kaasates igaühe jaoks kirjelduse, koguse, ühikhinna ja kogusumma. See annab sulle piisavalt andmeid, et arvutada vahekokkuvõte ise ümber ja kontrollida dokumendi järjepidevust enne selle aktsepteerimist.

from pydantic import BaseModel, Field

class InvoiceLine(BaseModel):
    description: str = Field(..., description="Description du produit/service")
    quantity: float = Field(..., description="Quantité")
    unit_price: float = Field(..., description="Prix unitaire HT")
    amount: float = Field(..., description="Montant total HT de la ligne")

class DetailedInvoice(BaseModel):
    supplier: str = Field(..., description="Nom du supplier")
    number: str = Field(..., description="Numéro de facture")
    date: str = Field(..., description="Date (YYYY-MM-DD)")
    lines: list[InvoiceLine] = Field(
        ..., description="Lignes de la facture"
    )
    subtotal_excl_tax: float = Field(..., description="Sous-total HT")
    vat: float = Field(..., description="Montant TVA")
    total_incl_tax: float = Field(..., description="Total TTC")
    payment_terms: str = Field(
        ..., description="Conditions de paiement mentionnées"
    )

Märkeruudud ja vormid

Skaneeritud pabervormid on koht, kus mudel hiilgab. bool tüüpi väli, mis on paaris küsimuse sildiga, on piisav: mudel tuvastab, kas ruut on märgitud, ekstraheerib vastava küsimuse ja – mis on kriitiline meditsiinilisel või halduslikul kasutamisel – järeldab, et väli puudub, selle asemel et väärtust välja mõelda, nagu Mistrali meeskond demonstreeris. Märkus „null if not provided“ telefoninumbri kirjelduses ei ole dekoratiivne; see lubab sõnaselgelt tühja väärtust.

from pydantic import BaseModel, Field

class FormResponse(BaseModel):
    question: str = Field(..., description="Intitulé de la question")
    answer: bool = Field(..., description="True si coché, False sinon")

class MedicalForm(BaseModel):
    patient_name: str = Field(..., description="Nom complet du patient")
    age: Optional[int] = Field(None, description="Âge du patient")
    sex: Optional[str] = Field(None, description="Sexe (M/F)")
    patient_id: Optional[str] = Field(None, description="ID patient")
    phone: Optional[str] = Field(
        None, description="Numéro de téléphone (null si non fourni)"
    )
    responses: list[FormResponse] = Field(
        ..., description="Réponses aux questions du formulaire"
    )

Terviklik rakendamine

Võtame üksikasjaliku arve näite ja ühendame selle base64-kodeeritud dokumendiga. Annotatsiooni vihje täiendab skeemi, määratledes failitüübi ja rõhutades tähelepanu arveterividele; Pydanticu valideerimine tagastamisel teisendab JSON-stringi objektiks, mida saad turvaliselt läbida.

import os
import json
from mistralai.client import Mistral
from mistralai.extra import response_format_from_pydantic_model

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": f"data:application/pdf;base64,{document_base64}"
    },
    document_annotation_format=response_format_from_pydantic_model(
        DetailedInvoice
    ),
    document_annotation_prompt=(
        "Ce document est une invoice. Extrais toutes les lines "
        "de facturation avec leurs montants."
    )
)

# Ekstrakteerimine ja valideerimine
if ocr_response.document_annotation:
    invoice = DetailedInvoice.model_validate_json(
        ocr_response.document_annotation
    )

    print(f"Facture {invoice.numero} - {invoice.fournisseur}")
    print(f"Date : {invoice.date}")
    print(f"\nLignes :")
    for line in invoice.lines:
        print(f"  - {line.description}: {line.quantite} x "
              f"{line.prix_unitaire}€ = {line.montant}€")
    print(f"\nTotal TTC : {invoice.total_incl_tax}€")

Halvad ekstrakteerimise tulemused tulenevad peaaegu alati skeemist, harva mudelist. Vaata oma kirjeldused ükshaaval üle: need peavad olema täpsed ja ühemõttelised, kuna mudel tugineb ainult neile, et mõista sinu ootusi. Kirjuta need oma dokumentide keeles – prantsuse keel toimib suurepäraselt prantsuse arvete jaoks – ja reserveeri loetelud (enums) piiratud väärtustega väljadele ning alam-mudelid struktuuridele, mida kasutad skeemides korduvalt.

Peamised punktid

  • Pydanticu skeemid võimaldavad tüübitud ja valideeritud andmete ekstrakteerimist
  • Kasuta keerukaid tüüpe (loendid, loetelud, pesastatud mudelid) täpseks ekstrakteerimiseks
  • Mudel haldab valikulisi välju ja märkeruude usaldusväärselt
  • Väljade kirjeldused juhivad ekstrakteerimist: ole täpne ja selge
  • Kombineeri document_annotation_prompt skeemiga maksimaalse konteksti saavutamiseks