Pașii următori: Document AI, apelarea de funcții și fluxuri de lucru multimodale
Pe această pagină
Actualizat la 3 noiembrie 2026 pe baza paginii Mistral Document QnA și a SDK-ului
mistralai3.7.0: exemplul interoghează un document folosind un model de chat (mistral-small-latest), nu modelul OCR, iardocument_image_limitnu este un parametru pentruchat.complete(apelul ar fi eșuat); limitele de pagină se stabilesc înclient.ocr.process. Sursă: Document QnA.
Dincolo de API-ul Vision
Ați stăpânit acum fundamentele API-ului Mistral Vision: trimiterea de imagini prin URL și Base64, analiza graficelor, efectuarea OCR-ului, extragerea de date structurate și compararea imaginilor. Această fundație are o limită naturală—până acum, modelul s-a uitat mereu la o imagine și a returnat text, fără a întreprinde nicio acțiune. Această lecție finală depășește această barieră în trei etape: serviciul specializat pentru documente, apelarea de funcții care transformă analiza în acțiune și fluxurile de lucru (pipelines) care le înlănțuie.
Mistral Document AI (OCR 4)
Pentru nevoi avansate de OCR, Mistral oferă Document AI, un serviciu specializat în procesarea documentelor. În timp ce API-ul Vision gestionează imagini individuale, Document AI raționează la scara documentului: gestionează PDF-uri cu mai multe pagini și analizează fișiere lungi într-o singură trecere. Gestionează layout-uri complexe—coloane, anteturi și subsoluri, tabele imbricate—și păstrează structura, rezultatul menținând ierarhia documentului de titluri, paragrafe și liste. În final, precizia sa OCR este optimizată atât pentru textul tipărit, cât și pentru cel scris de mână.
Exemplu de apel Document AI
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Analiza unui PDF cu Document AI
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extract the full content of this document while preserving the structure."
},
{
"type": "document_url",
"document_url": "https://example.com/annual-report.pdf"
}
]
}
]
)
print(response.choices[0].message.content)
Diferența față de tot ce ați scris până acum constă în tipul elementului: document_url în loc de image_url, citit de un model de chat standard (mistral-small-latest în documentația Mistral). Documentul nu trebuie să depășească 50 MB și să conțină cel mult 1.000 de pagini. Pentru a procesa doar o parte dintr-un raport anual de 300 de pagini, utilizați în schimb endpoint-ul OCR (client.ocr.process), unde parametrii pages și image_limit delimitează lucrul.
Când să utilizați Document AI vs. API-ul Vision
| Nevoie | API Vision | Document AI |
|---|---|---|
| Fotografie cu o factură | Suficient | Exagerat |
| PDF de 50 de pagini | Nu este suportat | Ideal |
| Tabel complex imbricat | Aproximativ | Preciz |
| Captură de ecran a interfeței | Ideal | Nepotrivit |
| Document scris de mână | De bază | Optimizat |
Rețineți regula de bază: utilizați API-ul Vision pentru ceea ce s-a născut ca imagine și Document AI pentru ceea ce s-a născut ca document.
Vision + Apelarea de funcții (Function Calling)
Până acum, codul dumneavoastră primea un răspuns și decidea ce să facă cu el. Apelarea de funcții inversează această relație: furnizați modelului o listă de acțiuni disponibile, iar acesta alege pe care să o apeleze pe baza imaginii. Aceasta este cheia pentru construirea de agenți vizuali autonomi.
Ciclul are patru pași:
- Trimiteți o imagine + definițiile funcțiilor
- Modelul analizează imaginea și decide ce funcție să apeleze
- Executați funcția și returnați rezultatul
- Modelul formulează un răspuns final
Exemplu: Agent de procesare a facturilor
Să luăm în considerare un departament de contabilitate care primește facturi prin poștă. Sunt posibile două rezultate: factura este validă și trebuie înregistrată, sau prezintă o anomalie și trebuie semnalată. Definim astfel două instrumente, cu parametrii și câmpurile lor obligatorii.
import json
# Definirea instrumentelor disponibile
outils = [
{
"type": "function",
"function": {
"name": "enregistrer_facture",
"description": "Enregistre une facture dans le système comptable",
"parameters": {
"type": "object",
"properties": {
"emetteur": {"type": "string", "description": "Nom de l'émetteur"},
"numero": {"type": "string", "description": "Numéro de facture"},
"date": {"type": "string", "description": "Date d'émission (YYYY-MM-DD)"},
"montant_ttc": {"type": "number", "description": "Montant TTC en euros"},
"tva": {"type": "number", "description": "Montant de la TVA"}
},
"required": ["emetteur", "numero", "date", "montant_ttc"]
}
}
},
{
"type": "function",
"function": {
"name": "signaler_anomalie",
"description": "Signale une anomalie sur une facture (doublons, montants incohérents)",
"parameters": {
"type": "object",
"properties": {
"type_anomalie": {"type": "string"},
"description": {"type": "string"}
},
"required": ["type_anomalie", "description"]
}
}
}
]
# Trimiterea imaginii cu instrumentele
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Vous êtes un assistant comptable. Analysez les factures et utilisez les outils appropriés."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Traitez cette facture."},
{"type": "image_url", "image_url": encoder_image("factures/facture-2024-0042.jpg")}
]
}
],
tools=outils,
tool_choice="auto"
)
# Gestionarea apelului de funcție
if response.choices[0].message.tool_calls:
appel = response.choices[0].message.tool_calls[0]
nom_fonction = appel.function.name
arguments = json.loads(appel.function.arguments)
print(f"Fonction appelée : {nom_fonction}")
print(f"Arguments : {json.dumps(arguments, indent=2, ensure_ascii=False)}")
Redactați cu grijă câmpul description pentru fiecare funcție: modelul își bazează alegerea pe acesta, nu pe nume. O descriere vagă produce un agent care apelează funcția greșită.
Fluxuri de lucru multimodale (Multimodal Pipelines)
Un flux de lucru multimodal înlănțuie mai mulți pași de procesare combinând viziunea, textul și instrumentele. Valoarea sa este atât economică, cât și organizațională: fiecare pas utilizează strict modelul necesar.
Exemplu: Flux de procesare a corespondenței
Corespondența incoming pentru un IMM amestecă facturi, oferte, contracte și reclame. Clasificarea lor costă puțin; analizarea lor în detaliu costă mai mult. Fluxul începe therefore cu o sortare folosind un model ușor și angajează modelul Large doar pentru documentele care justifică acest lucru.
def mail_pipeline(image_path):
"""Pipeline complet : classification -> extraction -> action."""
# Étape 1 : Classification (modèle léger)
classification = client.chat.complete(
model="mistral-small-latest",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": [
{"type": "text", "text": 'Classifiez ce document : {"type": "facture|devis|contrat|courrier|autre", "urgence": "haute|moyenne|basse"}'},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
info = json.loads(classification.choices[0].message.content)
print(f"Type : {info['type']} | Urgence : {info['urgence']}")
# Étape 2 : Extraction détaillée (modèle puissant, seulement si nécessaire)
if info["type"] == "facture":
extraction = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Extrayez toutes les données de cette facture en JSON : emetteur, numero, date, lignes, total_ht, tva, total_ttc."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
data = json.loads(extraction.choices[0].message.content)
return {"classification": info, "données": data}
# Étape 3 : Résumé pour les autres types
summary = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Résumez le contenu de ce document en 3 phrases maximum."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
return {"classification": info, "summary": summary.choices[0].message.content}
# Traiter un lot de courrier
from pathlib import Path
for file in sorted(Path("courrier/").glob("*.jpg")):
print(f"\n--- {file.name} ---")
result = mail_pipeline(file)
print(json.dumps(result, indent=2, ensure_ascii=False))
Într-un lot unde unul din cinci elemente este o factură, patru din cinci documente nu văd niciodată modelul scump, pentru o calitate finală identică.
Rezumatul cursului
De-a lungul acestor 12 lecții, ați trecut de la mecanism la aplicație. Ați înțeles mai întâi arhitectura multimodală și ceea ce se întâmplă efectiv când o imagine intră în model, apoi ați învățat să alegeți varianta potrivită sarcinii dumneavoastră—Large, Small sau Ministral. Ați învățat apoi să trimiteți imagini prin URL și Base64, individual sau în loturi. Pe această bază, ați abordat utilizările care constituie grosul muncii reale: analiza graficelor, citirea textului prin OCR, extragerea de date structurate, compararea imaginilor pentru controlul calității și urmărirea evoluției. În final, ați învățat să vă optimizați apelurile pentru cost, latență și fiabilitate și să integrați viziunea în fluxuri de lucru mai mari datorită apelării de funcții.
Pașii următori
Patru direcții extind natural această cale. În primul rând, Document AI, al cărui OCR 4 gestionează documente pe care API-ul Vision nu le poate suporta. Apoi, agenții, care combină viziunea și apelarea de funcții pentru a construi sisteme care decid și acționează. Apoi, fine-tuning-ul, dacă imaginile dumneavoastră au specificități pe care niciun model generalist nu le cunoaște—un catalog de piese industriale, un formular intern. În final, API-ul Batch, conceput pentru a procesa mii de imagini la un cost redus atunci când timpul de răspuns nu este critic. Pe termen lung, capacitățile multimodale avansate vor deschide calea către video și audio atunci când vor fi disponibile.
Puncte cheie
- Document AI (OCR 4) este complementul natural al API-ului Vision pentru documente complexe și PDF-uri
- Apelarea de funcții transformă viziunea într-un agent autonom capabil să acționeze asupra datelor extrase
- Un flux de lucru multimodal combină clasificarea (Small) și extragerea (Large) pentru a optimiza calitatea și costul
- API-ul Mistral Vision este un bloc fundamental pentru construirea aplicațiilor AI moderne
Testați-vă cunoștințele
Viziune prin API: cinci întrebări pentru a ancora fluxul de lucru.
1. Cum trimiteți o imagine către API-ul Mistral?
Răspuns: Prin URL sau codificat Base64, într-un mesaj cu conținut mixt text + imagine—și mai multe imagini pot călători în același mesaj pentru comparare.
2. Ce permite viziunea dincolo de descriere?
Răspuns: Analiza graficelor, OCR (transcrierea textului din imagini) și extragerea de date structurate—imaginea devine o sursă de date, nu o ilustrație.
3. Cum faceți extragerea structurată dintr-o imagine fiabilă?
Răspuns: Specificați schema așteptată cu precizie (câmpuri, format), solicitați completitudinea sau admiterea absenței și verificați valorile critice—viziunea este promptată ca textul.
4. Ce limite trebuie să aveți în vedere?
Răspuns: Calitatea imaginii condiționează totul (rezoluție, claritate); textul foarte mic și layout-urile complexe obosesc modelul—optimizați input-ul înainte de a da vina pe output.
5. Care sunt continuările naturale ale acestui curs?
Răspuns: Document AI pentru documente complete, apelarea de funcții pentru a conecta extragerea la sistemele dumneavoastră și fluxurile de lucru multimodale care le combină pe toate.
URL sau Base64, prompturi precise, input-uri atent pregătite: fluxul de lucru de viziune este gata—pașii următori îl integrează în aplicațiile dumneavoastră.