Ďalšie kroky: Document AI, volanie funkcií a multimodálne pipeline
Na tejto strane
Aktualizované 3. novembra 2026 na základe stránky Mistral Document QnA a SDK
mistralai3.7.0: príklad dopytuje dokument pomocou chatového modelu (mistral-small-latest), nie modelu OCR, adocument_image_limitnie je parameter prechat.complete(volanie by zlyhalo); limity stránok sa nastavujú vclient.ocr.process. Zdroj: Document QnA.
Za hranicami Vision API
Teraz už ovládaš základy Mistral Vision API: odosielanie obrázkov cez URL a Base64, analýzu grafov, vykonávanie OCR, extrakciu štruktúrovaných dát a porovnávanie obrázkov. Tento základ má prirodzenú hranicu – doteraz sa model vždy pozrel na obrázok a vrátil text, nikdy nepodnikol žiadnu akciu. Táto záverečná lekcia túto hranicu prekračuje v troch fázach: špecializovaná služba pre dokumenty, volanie funkcií, ktoré mení analýzu na akciu, a pipeline, ktoré ich spájajú do reťazca.
Mistral Document AI (OCR 4)
Pre pokročilé potreby OCR ponúka Mistral službu Document AI, špecializovanú na spracovanie dokumentov. Kým Vision API spracováva jednotlivé obrázky, Document AI uvažuje v mierke celého dokumentu: zvláda viacstranové PDF a analyzuje dlhé súbory v jednom prechode. Zvláda komplexné rozloženia – stĺpce, hlavičky a pätičky, vnorené tabuľky – a zachováva štruktúru, pričom výstup udržuje hierarchiu dokumentu s názvami, odsekmi a zoznamami. Nakoniec, jeho presnosť OCR je optimalizovaná pre tlačený aj rukopisný text.
Príklad volania Document AI
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Analyzovať PDF pomocou Document AI
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extract the full content of this document while preserving the structure."
},
{
"type": "document_url",
"document_url": "https://example.com/annual-report.pdf"
}
]
}
]
)
print(response.choices[0].message.content)
Rozdiel oproti všetkému, čo si doteraz napísal, spočíva v type prvku: document_url namiesto image_url, ktorý číta štandardný chatový model (mistral-small-latest podľa dokumentácie Mistral). Dokument nesmie byť väčší ako 50 MB a musí obsahovať maximálne 1 000 strán. Ak chceš spracovať iba časť 300-stranovej výročnej správy, použij namiesto toho koncový bod OCR (client.ocr.process), kde parametre pages a image_limit ohraničujú prácu.
Kedy použiť Document AI oproti Vision API
| Potreba | Vision API | Document AI |
|---|---|---|
| Fotografia faktúry | Postačujúce | Zbytočné |
| 50-stranové PDF | Nepodporované | Ideálne |
| Komplexná vnorená tabuľka | Približné | Presné |
| Snímka obrazovky rozhrania | Ideálne | Nevhodné |
| Rukopisný dokument | Základné | Optimalizované |
Pamätaj na jednoduché pravidlo: použij Vision API pre to, čo vzniklo ako obrázok, a Document AI pre to, čo vzniklo ako dokument.
Vision + Volanie funkcií
Doteraž tvoj kód dostal odpoveď a ty si sa rozhodol, čo s ňou urobíš. Volanie funkcií tento vzťah obracia: modelu poskytuješ zoznam dostupných akcií a on sa rozhodne, ktorú zavolať na základe obrázka. Toto je kľúčom k budovaniu autonómnych vizuálnych agentov.
Cyklus má štyri kroky:
- Odošleš obrázok + definície funkcií
- Model analyzuje obrázok a rozhodne sa, ktorú funkciu zavolať
- Ty funkciu vykonáš a vrátiš výsledok
- Model sformuluje konečnú odpoveď
Príklad: Agent na spracovanie faktúr
Predstav si účtovné oddelenie, ktoré dostáva faktúry poštou. Možné sú dva výsledky: faktúra je platná a musí sa zaznamenať, alebo má anomáliu a musí sa označiť. Definujeme teda dva nástroje s ich parametrami a požadovanými poľami.
import json
# Definovať dostupné nástroje
outils = [
{
"type": "function",
"function": {
"name": "enregistrer_facture",
"description": "Enregistre une facture dans le système comptable",
"parameters": {
"type": "object",
"properties": {
"emetteur": {"type": "string", "description": "Nom de l'émetteur"},
"numero": {"type": "string", "description": "Numéro de facture"},
"date": {"type": "string", "description": "Date d'émission (YYYY-MM-DD)"},
"montant_ttc": {"type": "number", "description": "Montant TTC en euros"},
"tva": {"type": "number", "description": "Montant de la TVA"}
},
"required": ["emetteur", "numero", "date", "montant_ttc"]
}
}
},
{
"type": "function",
"function": {
"name": "signaler_anomalie",
"description": "Signale une anomalie sur une facture (doublons, montants incohérents)",
"parameters": {
"type": "object",
"properties": {
"type_anomalie": {"type": "string"},
"description": {"type": "string"}
},
"required": ["type_anomalie", "description"]
}
}
}
]
# Odoslať obrázok s nástrojmi
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Vous êtes un assistant comptable. Analysez les factures et utilisez les outils appropriés."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Traitez cette facture."},
{"type": "image_url", "image_url": encoder_image("factures/facture-2024-0042.jpg")}
]
}
],
tools=outils,
tool_choice="auto"
)
# Spracovať volanie funkcie
if response.choices[0].message.tool_calls:
appel = response.choices[0].message.tool_calls[0]
nom_fonction = appel.function.name
arguments = json.loads(appel.function.arguments)
print(f"Fonction appelée : {nom_fonction}")
print(f"Arguments : {json.dumps(arguments, indent=2, ensure_ascii=False)}")
Pole description pre každú funkciu starostlivo navrhnij: model sa pri rozhodovaní riadi týmto popisom, nie názvom. Vágny popis vytvorí agenta, ktorý volá nesprávnu funkciu.
Multimodálne pipeline
Multimodálne pipeline spája viacero krokov spracovania kombináciou videnia, textu a nástrojov. Ich hodnota je ekonomická aj organizačná: každý krok využíva presne ten model, ktorý je potrebný.
Príklad: Pipeline na spracovanie pošty
Prichádzajúca pošta pre MSP mieša faktúry, ponuky, zmluvy a reklamy. Ich klasifikácia stojí málo; podrobná analýza stojí viac. Pipeline preto začína triedením pomocou ľahkého modelu a ťažký model nasadí až na dokumenty, ktoré si to vyžadujú.
def mail_pipeline(image_path):
"""Pipeline complet : classification -> extraction -> action."""
# Étape 1 : Classification (modèle léger)
classification = client.chat.complete(
model="mistral-small-latest",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": [
{"type": "text", "text": 'Classifiez ce document : {"type": "facture|devis|contrat|courrier|autre", "urgence": "haute|moyenne|basse"}'},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
info = json.loads(classification.choices[0].message.content)
print(f"Type : {info['type']} | Urgence : {info['urgence']}")
# Étape 2 : Extraction détaillée (modèle puissant, seulement si nécessaire)
if info["type"] == "facture":
extraction = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Extrayez toutes les données de cette facture en JSON : emetteur, numero, date, lignes, total_ht, tva, total_ttc."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
data = json.loads(extraction.choices[0].message.content)
return {"classification": info, "données": data}
# Étape 3 : Résumé pour les autres types
summary = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Résumez le contenu de ce document en 3 phrases maximum."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
return {"classification": info, "summary": summary.choices[0].message.content}
# Traiter un lot de courrier
from pathlib import Path
for file in sorted(Path("courrier/").glob("*.jpg")):
print(f"\n--- {file.name} ---")
result = mail_pipeline(file)
print(json.dumps(result, indent=2, ensure_ascii=False))
V dávke, kde je každá piata položka faktúra, sa štyri z piatich dokumentov nikdy nedostanú k drahému modelu, pričom konečná kvalita zostáva rovnaká.
Zhrnutie kurzu
Počas týchto 12 lekcií si prešiel od mechanizmu k aplikácii. Najprv si pochopil multimodálnu architektúru a to, čo sa skutočne deje, keď obrázok vstúpi do modelu, potom si sa naučil vybrať variant vhodný pre tvoju záťaž – Large, Small alebo Ministral. Následne si sa naučil odosielať obrázky cez URL a Base64, jednotlivo alebo v dávkach. Na tomto základe si sa pustil do použití, ktoré tvoria väčšinu reálnej práce: analýza grafov, čítanie textu cez OCR, extrakcia štruktúrovaných dát, porovnávanie obrázkov pre kontrolu kvality a sledovanie vývoja. Nakoniec si sa naučil optimalizovať svoje volania z hľadiska nákladov, latencie a spoľahlivosti a integrovať videnie do väčších pipeline vďaka volaniu funkcií.
Ďalšie kroky
Štyri smery prirodzene rozširujú túto cestu. Po prvé, Document AI, ktorého OCR 4 zvláda dokumenty, ktoré Vision API nepodporuje. Ďalej agenti, kombinujúci videnie a volanie funkcií na budovanie systémov, ktoré rozhodujú a konajú. Potom jemné doladenie (fine-tuning), ak majú tvoje obrázky špecifiká, ktoré žiadny všeobecný model nepozná – katalóg industriálnych dielov, interný formulár. Nakoniec Batch API, navrhnuté na spracovanie tisícov obrázkov za znížené náklady, keď nie je kritický čas odozvy. Z dlhodobého hľadiska pokročilé multimodálne schopnosti otvoria cestu k videu a audiu, keď budú dostupné.
Kľúčové poznatky
- Document AI (OCR 4) je prirodzeným doplnkom Vision API pre komplexné dokumenty a PDF
- Volanie funkcií mení videnie na autonómneho agenta schopného konať na základe extrahovaných dát
- Multimodálne pipeline kombinuje klasifikáciu (Small) a extrakciu (Large) na optimalizáciu kvality a nákladov
- Mistral Vision API je základným stavebným kameňom pre budovanie moderných AI aplikácií
Over si svoje vedomosti
Videnie cez API: päť otázok na upevnenie pipeline.
1. Ako odošleš obrázok do Mistral API?
Odpoveď: Prostredníctvom URL alebo zakódované v Base64, v správe so zmiešaným obsahom text + obrázok – a viacero obrázkov môže cestovať v tej istej správe na účely porovnania.
2. Čo umožňuje videnie nad rámec popisu?
Odpoveď: Analýzu grafov, OCR (prepis textu z obrázkov) a extrakciu štruktúrovaných dát – obrázok sa stáva zdrojom dát, nie ilustráciou.
3. Ako zabezpečíš spoľahlivú štruktúrovanú extrakciu z obrázka?
Odpoveď: Presne špecifikuj očakávanú schému (polia, formát), požiadaj o úplnosť alebo priznanie neprítomnosti a over kritické hodnoty – s videním sa pracuje podobne ako s textom.
4. Na aké limity by si mal myslieť?
Odpoveď: Kvalita obrázka podmieňuje všetko (rozlíšenie, ostrosť); veľmi malý text a komplexné rozloženia model unavujú – optimalizuj vstup skôr, než obviníš výstup.
5. Aké sú prirodzené nasledujúce kroky po tomto kurze?
Odpoveď: Document AI pre kompletné dokumenty, volanie funkcií na prepojenie extrakcie s tvojimi systémami a multimodálne pipeline, ktoré to všetko spájajú.
URL alebo Base64, presné prompty, starostlivé vstupy: pipeline videnia je pripravené – ďalšie kroky ho integrujú do tvojich aplikácií.