Järgmised sammud: Document AI, funktsioonide kutsumine ja mitmemodaalsed torustikud
Sellel lehel
Uuendatud 3. novembril 2026, tuginedes Mistrali Document QnA lehele ja
mistralaiSDK versioonile 3.7.0: näide päringutab dokumenti vestlusmudeli (mistral-small-latest) abil, mitte OCR-mudelit, jadocument_image_limitei olechat.completemeetodi parameeter (kõne ebaõnnestuks); lehepiirangud määratakseclient.ocr.processmeetodis. Allikas: Document QnA.
Väljaspool Vision API-t
Oled nüüd omandanud Mistral Vision API põhialused: piltide saatmine URL-i ja Base64 kaudu, diagrammide analüüs, OCR-i teostamine, struktureeritud andmete ekstraheerimine ja piltide võrdlemine. Sellel baasil on loomulik piir – seni on mudel alati vaadanud pilti ja tagastanud teksti, kuid ei ole kunagi tegutsenud. See viimane õppetund ületab selle piiri kolmes etapis: dokumentidele spetsialiseerunud teenus, funktsioonide kutsumine, mis muudab analüüsi tegevuseks, ja torustikud, mis need omavahel ühendavad.
Mistral Document AI (OCR 4)
Täiustatud OCR-i vajaduste jaoks pakub Mistral Document AI teenust, mis on spetsialiseerunud dokumentide töötlemisele. Kui Vision API haldab üksikuid pilte, siis Document AI mõtleb dokumendi mastaabis: see töötleb mitmeleheküljelisi PDF-faile ja analüüsib pikki faile ühe korraga. See haldab keerukaid paigutusi – veerge, päiseid ja jaluseid, pesastatud tabeleid – ning säilitab struktuuri, väljundis jääb alles dokumentide hierarhia pealkirjadest, lõikudest ja loenditest. Lõpuks on selle OCR-i täpsus optimeeritud nii trükitud kui ka käsitsi kirjutatud teksti jaoks.
Document AI kõne näide
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Analüüsi PDF-i Document AI abil
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extract the full content of this document while preserving the structure."
},
{
"type": "document_url",
"document_url": "https://example.com/annual-report.pdf"
}
]
}
]
)
print(response.choices[0].message.content)
Erinevus kõigest, mida seni kirjutanud oled, seisneb elemendi tüübis: document_url image_url asemel, mida loeb tavaline vestlusmudel (Mistrali dokumentatsioonis mistral-small-latest). Dokument ei tohi olla suurem kui 50 MB ja sisaldada maksimaalselt 1000 lehekülge. Kui soovid töödelda vaid osa 300-leheküljelisest aastaruandest, kasuta selle asemel OCR-i lõpp-punkti (client.ocr.process), kus parameetrid pages ja image_limit piiritlevad tehtavat tööd.
Millal kasutada Document AI-d ja millal Vision API-t
| Vajadus | Vision API | Document AI |
|---|---|---|
| Arve foto | Piisav | Liialdatud |
| 50-leheküljeline PDF | Ei toeta | Ideaalne |
| Keerukas pesastatud tabel | Ligikaudne | Täpne |
| Liidese ekraanitõmmis | Ideaalne | Ei sobi |
| Käsitsi kirjutatud dokument | Põhiline | Optimeeritud |
Pea meeles reeglit: kasuta Vision API-t selle jaoks, mis on sündinud pildina, ja Document AI-t selle jaoks, mis on sündinud dokumendina.
Vision + funktsioonide kutsumine
Seni sai sinu kood vastuse ja otsustas, mida sellega peale hakata. Funktsioonide kutsumine pöörab selle seose ümber: sa annad mudelile loetelu saadaolevatest tegevustest ja see valib pildi põhjal, millist neist kutsuda. See on võti autonoomsete visuaalsete agentide loomiseks.
Tsükkel koosneb neljast sammust:
- Saadad pildi + funktsioonide definitsioonid
- Mudel analüüsib pilti ja otsustab, millist funktsiooni kutsuda
- Sa viid funktsiooni täide ja tagastad tulemuse
- Mudel formuleerib lõpliku vastuse
Näide: arvetöötluse agent
Vaatleme raamatupidamisosakonda, mis saab arveid postiga. Võimalikud on kaks tulemust: arve on kehtiv ja tuleb registreerida, või on selles anomaalia ja tuleb märgistada. Seetõttu defineerime kaks tööriista koos nende parameetrite ja nõutavate väljadega.
import json
# Defineeri saadaolevad tööriistad
outils = [
{
"type": "function",
"function": {
"name": "enregistrer_facture",
"description": "Enregistre une facture dans le système comptable",
"parameters": {
"type": "object",
"properties": {
"emetteur": {"type": "string", "description": "Nom de l'émetteur"},
"numero": {"type": "string", "description": "Numéro de facture"},
"date": {"type": "string", "description": "Date d'émission (YYYY-MM-DD)"},
"montant_ttc": {"type": "number", "description": "Montant TTC en euros"},
"tva": {"type": "number", "description": "Montant de la TVA"}
},
"required": ["emetteur", "numero", "date", "montant_ttc"]
}
}
},
{
"type": "function",
"function": {
"name": "signaler_anomalie",
"description": "Signale une anomalie sur une facture (doublons, montants incohérents)",
"parameters": {
"type": "object",
"properties": {
"type_anomalie": {"type": "string"},
"description": {"type": "string"}
},
"required": ["type_anomalie", "description"]
}
}
}
]
# Saada pilt koos tööriistadega
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Vous êtes un assistant comptable. Analysez les factures et utilisez les outils appropriés."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Traitez cette facture."},
{"type": "image_url", "image_url": encoder_image("factures/facture-2024-0042.jpg")}
]
}
],
tools=outils,
tool_choice="auto"
)
# Käitle funktsiooni kutset
if response.choices[0].message.tool_calls:
appel = response.choices[0].message.tool_calls[0]
nom_fonction = appel.function.name
arguments = json.loads(appel.function.arguments)
print(f"Fonction appelée : {nom_fonction}")
print(f"Arguments : {json.dumps(arguments, indent=2, ensure_ascii=False)}")
Koosta iga funktsiooni description väli hoolikalt: mudel baseerab oma valiku sellel, mitte nimele. Ebamäärane kirjeldus toodab agenti, mis kutsub vale funktsiooni.
Mitmemodaalsed torustikud
Mitmemodaalne torustik aheldab mitu töötlemisetappi, kombineerides visiooni, teksti ja tööriistu. Selle väärtus on nii majanduslik kui ka organisatoorne: igas etapis kasutatakse rangelt vajalikku mudelit.
Näide: postitöötluse torustik
VKE-dele saabuv post segab arveid, pakkumisi, lepinguid ja reklaame. Nende klassifitseerimine maksab vähe; üksikasjalik analüüs maksab rohkem. Seetõttu algab torustik sorteerimisega, kasutades kerget mudelit, ja rakendab Large mudelit ainult dokumentidele, mis seda õigustavad.
def mail_pipeline(image_path):
"""Pipeline complet : classification -> extraction -> action."""
# Étape 1 : Classification (modèle léger)
classification = client.chat.complete(
model="mistral-small-latest",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": [
{"type": "text", "text": 'Classifiez ce document : {"type": "facture|devis|contrat|courrier|autre", "urgence": "haute|moyenne|basse"}'},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
info = json.loads(classification.choices[0].message.content)
print(f"Type : {info['type']} | Urgence : {info['urgence']}")
# Étape 2 : Extraction détaillée (modèle puissant, seulement si nécessaire)
if info["type"] == "facture":
extraction = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Extrayez toutes les données de cette facture en JSON : emetteur, numero, date, lignes, total_ht, tva, total_ttc."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
data = json.loads(extraction.choices[0].message.content)
return {"classification": info, "données": data}
# Étape 3 : Résumé pour les autres types
summary = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Résumez le contenu de ce document en 3 phrases maximum."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
return {"classification": info, "summary": summary.choices[0].message.content}
# Traiter un lot de courrier
from pathlib import Path
for file in sorted(Path("courrier/").glob("*.jpg")):
print(f"\n--- {file.name} ---")
result = mail_pipeline(file)
print(json.dumps(result, indent=2, ensure_ascii=False))
Partiis, kus iga viies ese on arve, ei näe neli viiest dokumendist kunagi kallist mudelit, säilitades seejuures identse lõpliku kvaliteedi.
Kursuse kokkuvõte
Nende 12 õppetunni jooksul liikusid mehhanismilt rakendusele. Esiteks said aru mitmemodaalsest arhitektuurist ja sellest, mis tegelikult toimub, kui pilt siseneb mudelisse, seejärel õppisid valima oma töökoormusele sobivat varianti – Large, Small või Ministral. Seejärel õppisid saatma pilte URL-i ja Base64 kaudu, üksikult või partiidena. Sellele tuginedes asusid käsitlema kasutusjuhte, mis moodustavad suurema osa reaalsest tööst: diagrammide analüüs, teksti lugemine OCR-i kaudu, struktureeritud andmete ekstraheerimine, piltide võrdlemine kvaliteedikontrolliks ja arengu jälgimiseks. Lõpuks õppisid optimeerima oma kõnesid kulude, latentsuse ja usaldusväärsuse seisukohalt ning integreerima visiooni suurematesse torustikesse tänu funktsioonide kutsumisele.
Järgmised sammud
Neli suunda laiendavad seda rada loomulikult. Esiteks Document AI, mille OCR 4 haldab dokumente, mida Vision API toetada ei saa. Seejärel agendid, kombineerides visiooni ja funktsioonide kutsumist süsteemide loomiseks, mis otsustavad ja tegutsevad. Seejärel häälestamine (fine-tuning), kui sinu piltidel on spetsiifikat, mida ükski üldine mudel ei tunne – näiteks tööstuslike osade kataloog või sisemine vorm. Lõpuks Batch API, mis on loodud tuhandete piltide töötlemiseks vähendatud kuluga, kui vastamisaeg ei ole kriitiline. Pikemas perspektiivis avavad täiustatud mitmemodaalsed võimalused tee video ja heli juurde, kui need saadavaks muutuvad.
Peamised punktid
- Document AI (OCR 4) on Vision API loomulik täiendus keerukate dokumentide ja PDF-failide jaoks
- Funktsioonide kutsumine muudab visiooni autonoomseks agendiks, mis suudab ekstraheeritud andmete põhjal tegutseda
- Mitmemodaalne torustik ühendab klassifitseerimise (Small) ja ekstraheerimise (Large), et optimeerida kvaliteeti ja kulusid
- Mistral Vision API on fundamentaalne ehituskivi kaasaegsete tehisintellekti rakenduste loomisel
Testi oma teadmisi
Visioon API kaudu: viis küsimust torustiku kinnistamiseks.
1. Kuidas saadad pildi Mistral API-le?
Vastus: URL-i või Base64-kodeeringu kaudu, sõnumis, mis sisaldab segatud teksti ja pilti – ja samas sõnumis saab võrdlemiseks saata mitu pilti.
2. Mida võimaldab visioon peale kirjeldamise?
Vastus: Diagrammide analüüsi, OCR-i (teksti ümberkirjutamine piltidelt) ja struktureeritud andmete ekstraheerimist – pildist saab andmeallikas, mitte illustratsioon.
3. Kuidas muuta pildilt struktureeritud ekstraheerimine usaldusväärseks?
Vastus: Määra oodatav skeem täpselt (väljad, formaat), nõua täielikkust või puudumise tunnistamist ja kontrolli kriitilisi väärtusi – visiooni juhendatakse nagu teksti.
4. Milliseid piiranguid peaksid meeles pidama?
Vastus: Pildi kvaliteet määrab kõik (lahutusvõime, teravus); väga väike tekst ja keerukad paigutused väsitavad mudelit – optimeeri sisendit enne, kui süüdistad väljundit.
5. Millised on selle kursuse loomulikud jätkud?
Vastus: Document AI täielike dokumentide jaoks, funktsioonide kutsumine ekstraheerimise ühendamiseks sinu süsteemidega ja mitmemodaalsed torustikud, mis ühendavad selle kõik.
URL või Base64, täpsed juhendid, hoolikas sisend: visiooni torustik on valmis – järgmised sammud integreerivad selle sinu rakendustesse.