Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Järgmised sammud: Document AI, funktsioonide kutsumine ja mitmemodaalsed torustikud

Õppetund 12 / 12 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Väljaspool Vision API-t
  2. Mistral Document AI (OCR 4)
  3. Vision + funktsioonide kutsumine
  4. Mitmemodaalsed torustikud
  5. Kursuse kokkuvõte
  6. Järgmised sammud
  7. Peamised punktid
  8. Testi oma teadmisi

Uuendatud 3. novembril 2026, tuginedes Mistrali Document QnA lehele ja mistralai SDK versioonile 3.7.0: näide päringutab dokumenti vestlusmudeli (mistral-small-latest) abil, mitte OCR-mudelit, ja document_image_limit ei ole chat.complete meetodi parameeter (kõne ebaõnnestuks); lehepiirangud määratakse client.ocr.process meetodis. Allikas: Document QnA.

Väljaspool Vision API-t

Oled nüüd omandanud Mistral Vision API põhialused: piltide saatmine URL-i ja Base64 kaudu, diagrammide analüüs, OCR-i teostamine, struktureeritud andmete ekstraheerimine ja piltide võrdlemine. Sellel baasil on loomulik piir – seni on mudel alati vaadanud pilti ja tagastanud teksti, kuid ei ole kunagi tegutsenud. See viimane õppetund ületab selle piiri kolmes etapis: dokumentidele spetsialiseerunud teenus, funktsioonide kutsumine, mis muudab analüüsi tegevuseks, ja torustikud, mis need omavahel ühendavad.

Mistral Document AI (OCR 4)

Täiustatud OCR-i vajaduste jaoks pakub Mistral Document AI teenust, mis on spetsialiseerunud dokumentide töötlemisele. Kui Vision API haldab üksikuid pilte, siis Document AI mõtleb dokumendi mastaabis: see töötleb mitmeleheküljelisi PDF-faile ja analüüsib pikki faile ühe korraga. See haldab keerukaid paigutusi – veerge, päiseid ja jaluseid, pesastatud tabeleid – ning säilitab struktuuri, väljundis jääb alles dokumentide hierarhia pealkirjadest, lõikudest ja loenditest. Lõpuks on selle OCR-i täpsus optimeeritud nii trükitud kui ka käsitsi kirjutatud teksti jaoks.

Document AI kõne näide

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Analüüsi PDF-i Document AI abil
response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Extract the full content of this document while preserving the structure."
                },
                {
                    "type": "document_url",
                    "document_url": "https://example.com/annual-report.pdf"
                }
            ]
        }
    ]
)

print(response.choices[0].message.content)

Erinevus kõigest, mida seni kirjutanud oled, seisneb elemendi tüübis: document_url image_url asemel, mida loeb tavaline vestlusmudel (Mistrali dokumentatsioonis mistral-small-latest). Dokument ei tohi olla suurem kui 50 MB ja sisaldada maksimaalselt 1000 lehekülge. Kui soovid töödelda vaid osa 300-leheküljelisest aastaruandest, kasuta selle asemel OCR-i lõpp-punkti (client.ocr.process), kus parameetrid pages ja image_limit piiritlevad tehtavat tööd.

Millal kasutada Document AI-d ja millal Vision API-t

VajadusVision APIDocument AI
Arve fotoPiisavLiialdatud
50-leheküljeline PDFEi toetaIdeaalne
Keerukas pesastatud tabelLigikaudneTäpne
Liidese ekraanitõmmisIdeaalneEi sobi
Käsitsi kirjutatud dokumentPõhilineOptimeeritud

Pea meeles reeglit: kasuta Vision API-t selle jaoks, mis on sündinud pildina, ja Document AI-t selle jaoks, mis on sündinud dokumendina.

Vision + funktsioonide kutsumine

Seni sai sinu kood vastuse ja otsustas, mida sellega peale hakata. Funktsioonide kutsumine pöörab selle seose ümber: sa annad mudelile loetelu saadaolevatest tegevustest ja see valib pildi põhjal, millist neist kutsuda. See on võti autonoomsete visuaalsete agentide loomiseks.

Tsükkel koosneb neljast sammust:

  1. Saadad pildi + funktsioonide definitsioonid
  2. Mudel analüüsib pilti ja otsustab, millist funktsiooni kutsuda
  3. Sa viid funktsiooni täide ja tagastad tulemuse
  4. Mudel formuleerib lõpliku vastuse

Näide: arvetöötluse agent

Vaatleme raamatupidamisosakonda, mis saab arveid postiga. Võimalikud on kaks tulemust: arve on kehtiv ja tuleb registreerida, või on selles anomaalia ja tuleb märgistada. Seetõttu defineerime kaks tööriista koos nende parameetrite ja nõutavate väljadega.

import json

# Defineeri saadaolevad tööriistad
outils = [
    {
        "type": "function",
        "function": {
            "name": "enregistrer_facture",
            "description": "Enregistre une facture dans le système comptable",
            "parameters": {
                "type": "object",
                "properties": {
                    "emetteur": {"type": "string", "description": "Nom de l'émetteur"},
                    "numero": {"type": "string", "description": "Numéro de facture"},
                    "date": {"type": "string", "description": "Date d'émission (YYYY-MM-DD)"},
                    "montant_ttc": {"type": "number", "description": "Montant TTC en euros"},
                    "tva": {"type": "number", "description": "Montant de la TVA"}
                },
                "required": ["emetteur", "numero", "date", "montant_ttc"]
            }
        }
    },
    {
        "type": "function",
        "function": {
            "name": "signaler_anomalie",
            "description": "Signale une anomalie sur une facture (doublons, montants incohérents)",
            "parameters": {
                "type": "object",
                "properties": {
                    "type_anomalie": {"type": "string"},
                    "description": {"type": "string"}
                },
                "required": ["type_anomalie", "description"]
            }
        }
    }
]

# Saada pilt koos tööriistadega
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Vous êtes un assistant comptable. Analysez les factures et utilisez les outils appropriés."
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Traitez cette facture."},
                {"type": "image_url", "image_url": encoder_image("factures/facture-2024-0042.jpg")}
            ]
        }
    ],
    tools=outils,
    tool_choice="auto"
)

# Käitle funktsiooni kutset
if response.choices[0].message.tool_calls:
    appel = response.choices[0].message.tool_calls[0]
    nom_fonction = appel.function.name
    arguments = json.loads(appel.function.arguments)
    print(f"Fonction appelée : {nom_fonction}")
    print(f"Arguments : {json.dumps(arguments, indent=2, ensure_ascii=False)}")

Koosta iga funktsiooni description väli hoolikalt: mudel baseerab oma valiku sellel, mitte nimele. Ebamäärane kirjeldus toodab agenti, mis kutsub vale funktsiooni.

Mitmemodaalsed torustikud

Mitmemodaalne torustik aheldab mitu töötlemisetappi, kombineerides visiooni, teksti ja tööriistu. Selle väärtus on nii majanduslik kui ka organisatoorne: igas etapis kasutatakse rangelt vajalikku mudelit.

Näide: postitöötluse torustik

VKE-dele saabuv post segab arveid, pakkumisi, lepinguid ja reklaame. Nende klassifitseerimine maksab vähe; üksikasjalik analüüs maksab rohkem. Seetõttu algab torustik sorteerimisega, kasutades kerget mudelit, ja rakendab Large mudelit ainult dokumentidele, mis seda õigustavad.

def mail_pipeline(image_path):
    """Pipeline complet : classification -> extraction -> action."""

    # Étape 1 : Classification (modèle léger)
    classification = client.chat.complete(
        model="mistral-small-latest",
        response_format={"type": "json_object"},
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": 'Classifiez ce document : {"type": "facture|devis|contrat|courrier|autre", "urgence": "haute|moyenne|basse"}'},
                {"type": "image_url", "image_url": encoder_image(image_path)}
            ]
        }]
    )
    info = json.loads(classification.choices[0].message.content)
    print(f"Type : {info['type']} | Urgence : {info['urgence']}")

    # Étape 2 : Extraction détaillée (modèle puissant, seulement si nécessaire)
    if info["type"] == "facture":
        extraction = client.chat.complete(
            model="mistral-large-latest",
            response_format={"type": "json_object"},
            messages=[{
                "role": "user",
                "content": [
                    {"type": "text", "text": "Extrayez toutes les données de cette facture en JSON : emetteur, numero, date, lignes, total_ht, tva, total_ttc."},
                    {"type": "image_url", "image_url": encoder_image(image_path)}
                ]
            }]
        )
        data = json.loads(extraction.choices[0].message.content)
        return {"classification": info, "données": data}

    # Étape 3 : Résumé pour les autres types
    summary = client.chat.complete(
        model="mistral-small-latest",
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": "Résumez le contenu de ce document en 3 phrases maximum."},
                {"type": "image_url", "image_url": encoder_image(image_path)}
            ]
        }]
    )
    return {"classification": info, "summary": summary.choices[0].message.content}

# Traiter un lot de courrier
from pathlib import Path

for file in sorted(Path("courrier/").glob("*.jpg")):
    print(f"\n--- {file.name} ---")
    result = mail_pipeline(file)
    print(json.dumps(result, indent=2, ensure_ascii=False))

Partiis, kus iga viies ese on arve, ei näe neli viiest dokumendist kunagi kallist mudelit, säilitades seejuures identse lõpliku kvaliteedi.

Kursuse kokkuvõte

Nende 12 õppetunni jooksul liikusid mehhanismilt rakendusele. Esiteks said aru mitmemodaalsest arhitektuurist ja sellest, mis tegelikult toimub, kui pilt siseneb mudelisse, seejärel õppisid valima oma töökoormusele sobivat varianti – Large, Small või Ministral. Seejärel õppisid saatma pilte URL-i ja Base64 kaudu, üksikult või partiidena. Sellele tuginedes asusid käsitlema kasutusjuhte, mis moodustavad suurema osa reaalsest tööst: diagrammide analüüs, teksti lugemine OCR-i kaudu, struktureeritud andmete ekstraheerimine, piltide võrdlemine kvaliteedikontrolliks ja arengu jälgimiseks. Lõpuks õppisid optimeerima oma kõnesid kulude, latentsuse ja usaldusväärsuse seisukohalt ning integreerima visiooni suurematesse torustikesse tänu funktsioonide kutsumisele.

Järgmised sammud

Neli suunda laiendavad seda rada loomulikult. Esiteks Document AI, mille OCR 4 haldab dokumente, mida Vision API toetada ei saa. Seejärel agendid, kombineerides visiooni ja funktsioonide kutsumist süsteemide loomiseks, mis otsustavad ja tegutsevad. Seejärel häälestamine (fine-tuning), kui sinu piltidel on spetsiifikat, mida ükski üldine mudel ei tunne – näiteks tööstuslike osade kataloog või sisemine vorm. Lõpuks Batch API, mis on loodud tuhandete piltide töötlemiseks vähendatud kuluga, kui vastamisaeg ei ole kriitiline. Pikemas perspektiivis avavad täiustatud mitmemodaalsed võimalused tee video ja heli juurde, kui need saadavaks muutuvad.

Peamised punktid

  • Document AI (OCR 4) on Vision API loomulik täiendus keerukate dokumentide ja PDF-failide jaoks
  • Funktsioonide kutsumine muudab visiooni autonoomseks agendiks, mis suudab ekstraheeritud andmete põhjal tegutseda
  • Mitmemodaalne torustik ühendab klassifitseerimise (Small) ja ekstraheerimise (Large), et optimeerida kvaliteeti ja kulusid
  • Mistral Vision API on fundamentaalne ehituskivi kaasaegsete tehisintellekti rakenduste loomisel

Testi oma teadmisi

Visioon API kaudu: viis küsimust torustiku kinnistamiseks.

1. Kuidas saadad pildi Mistral API-le?

Vastus: URL-i või Base64-kodeeringu kaudu, sõnumis, mis sisaldab segatud teksti ja pilti – ja samas sõnumis saab võrdlemiseks saata mitu pilti.

2. Mida võimaldab visioon peale kirjeldamise?

Vastus: Diagrammide analüüsi, OCR-i (teksti ümberkirjutamine piltidelt) ja struktureeritud andmete ekstraheerimist – pildist saab andmeallikas, mitte illustratsioon.

3. Kuidas muuta pildilt struktureeritud ekstraheerimine usaldusväärseks?

Vastus: Määra oodatav skeem täpselt (väljad, formaat), nõua täielikkust või puudumise tunnistamist ja kontrolli kriitilisi väärtusi – visiooni juhendatakse nagu teksti.

4. Milliseid piiranguid peaksid meeles pidama?

Vastus: Pildi kvaliteet määrab kõik (lahutusvõime, teravus); väga väike tekst ja keerukad paigutused väsitavad mudelit – optimeeri sisendit enne, kui süüdistad väljundit.

5. Millised on selle kursuse loomulikud jätkud?

Vastus: Document AI täielike dokumentide jaoks, funktsioonide kutsumine ekstraheerimise ühendamiseks sinu süsteemidega ja mitmemodaalsed torustikud, mis ühendavad selle kõik.

URL või Base64, täpsed juhendid, hoolikas sisend: visiooni torustik on valmis – järgmised sammud integreerivad selle sinu rakendustesse.