Следващи стъпки: Document AI, извикване на функции и многомодови конвейери
На тази страница
Обновено на 3 ноември 2026 г. въз основа на страницата Document QnA на Mistral и SDK
mistralaiверсия 3.7.0: примерът заявява документ, използвайки чат модел (mistral-small-latest), а не OCR модела, иdocument_image_limitне е параметър заchat.complete(извикването би се провалило); лимитите на страниците се задават вclient.ocr.process. Източник: Document QnA.
Отвъд Vision API
Сега вече сте усвоили основите на Mistral Vision API: изпращане на изображения чрез URL и Base64, анализиране на графики, изпълнение на OCR, извличане на структурирани данни и сравняване на изображения. Тази основа има естествена граница – досега моделът винаги е разглеждал изображение и е връщал текст, без никога да предприема действие. Този последен урок преминава тази граница на три етапа: специализираната услуга за документи, извикването на функции, което превръща анализа в действие, и конвейерите, които ги свързват във верига.
Mistral Document AI (OCR 4)
За напреднали нужди от OCR, Mistral предлага Document AI, услуга, специализирана в обработката на документи. Докато Vision API обработва отделни изображения, Document AI разсъждава в мащаба на целия документ: той обработва PDF файлове с множество страници и анализира дълги файлове с едно единствено преминаване. Управлява сложни оформления – колони, горни и долни колонтитули, вложени таблици – и запазва структурата, като изходните данни поддържат йерархията на документа от заглавия, параграфи и списъци. Накрая, неговата OCR точност е оптимизирана както за печатен, така и за ръкописен текст.
Пример за извикване на Document AI
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Analyze a PDF with Document AI
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extract the full content of this document while preserving the structure."
},
{
"type": "document_url",
"document_url": "https://example.com/annual-report.pdf"
}
]
}
]
)
print(response.choices[0].message.content)
Разликата спрямо всичко, което сте писали досега, се крие в типа на елемента: document_url вместо image_url, прочетено от стандартен чат модел (mistral-small-latest според документацията на Mistral). Документът не трябва да надвишава 50 MB и да съдържа най-много 1000 страници. За да обработите само част от годишен отчет от 300 страници, използвайте вместо това OCR крайната точка (client.ocr.process), където параметрите pages и image_limit ограничават работата.
Кога да използвате Document AI спрямо Vision API
| Нужда | Vision API | Document AI |
|---|---|---|
| Снимка на фактура | Достатъчно | Прекалено сложно |
| PDF от 50 страници | Не се поддържа | Идеално |
| Сложна вложена таблица | Приблизително | Прецизно |
| Снимка на интерфейс | Идеално | Не е подходящо |
| Ръкописен документ | Базово | Оптимизирано |
Запомнете правилото: използвайте Vision API за това, което е родено като изображение, и Document AI за това, което е родено като документ.
Vision + Извикване на функции
Досега Вашият код получаваше отговор и Вие решавахте какво да правите с него. Извикването на функции обръща тази връзка: предоставяте на модела списък с налични действия и той избира кое да извика въз основа на изображението. Това е ключът към изграждането на автономни визуални агенти.
Цикълът има четири стъпки:
- Изпращате изображение + дефиниции на функции
- Моделът анализира изображението и решава коя функция да извика
- Вие изпълнявате функцията и връщате резултата
- Моделът формулира окончателен отговор
Пример: Агент за обработка на фактури
Разгледайте счетоводен отдел, който получава фактури по пощата. Възможни са два резултата: фактурата е валидна и трябва да бъде записана, или има аномалия и трябва да бъде маркирана. Затова дефинираме два инструмента с техните параметри и задължителни полета.
import json
# Define available tools
outils = [
{
"type": "function",
"function": {
"name": "enregistrer_facture",
"description": "Enregistre une facture dans le système comptable",
"parameters": {
"type": "object",
"properties": {
"emetteur": {"type": "string", "description": "Nom de l'émetteur"},
"numero": {"type": "string", "description": "Numéro de facture"},
"date": {"type": "string", "description": "Date d'émission (YYYY-MM-DD)"},
"montant_ttc": {"type": "number", "description": "Montant TTC en euros"},
"tva": {"type": "number", "description": "Montant de la TVA"}
},
"required": ["emetteur", "numero", "date", "montant_ttc"]
}
}
},
{
"type": "function",
"function": {
"name": "signaler_anomalie",
"description": "Signale une anomalie sur une facture (doublons, montants incohérents)",
"parameters": {
"type": "object",
"properties": {
"type_anomalie": {"type": "string"},
"description": {"type": "string"}
},
"required": ["type_anomalie", "description"]
}
}
}
]
# Send the image with the tools
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Vous êtes un assistant comptable. Analysez les factures et utilisez les outils appropriés."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Traitez cette facture."},
{"type": "image_url", "image_url": encoder_image("factures/facture-2024-0042.jpg")}
]
}
],
tools=outils,
tool_choice="auto"
)
# Handle the function call
if response.choices[0].message.tool_calls:
appel = response.choices[0].message.tool_calls[0]
nom_fonction = appel.function.name
arguments = json.loads(appel.function.arguments)
print(f"Fonction appelée : {nom_fonction}")
print(f"Arguments : {json.dumps(arguments, indent=2, ensure_ascii=False)}")
Изградете полето description за всяка функция внимателно: моделът базира своя избор на него, а не на името. Едно неясно описание води до агент, който извиква грешната функция.
Многомодови конвейери
Многомодовият конвейер свързва множество стъпки за обработка, комбинирайки визия, текст и инструменти. Неговата стойност е както икономическа, така и организационна: всяка стъпка използва строго необходимия модел.
Пример: Конвейер за обработка на поща
Входящата поща за малки и средни предприятия смесва фактури, оферти, договори и реклами. Класифицирането им струва малко; детайлният им анализ струва повече. Затова конвейерът започва със сортиране, използващо лек модел, и ангажира Large само за документи, които го оправдават.
def mail_pipeline(image_path):
"""Pipeline complet : classification -> extraction -> action."""
# Étape 1 : Classification (modèle léger)
classification = client.chat.complete(
model="mistral-small-latest",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": [
{"type": "text", "text": 'Classifiez ce document : {"type": "facture|devis|contrat|courrier|autre", "urgence": "haute|moyenne|basse"}'},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
info = json.loads(classification.choices[0].message.content)
print(f"Type : {info['type']} | Urgence : {info['urgence']}")
# Étape 2 : Extraction détaillée (modèle puissant, seulement si nécessaire)
if info["type"] == "facture":
extraction = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Extrayez toutes les données de cette facture en JSON : emetteur, numero, date, lignes, total_ht, tva, total_ttc."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
data = json.loads(extraction.choices[0].message.content)
return {"classification": info, "données": data}
# Étape 3 : Résumé pour les autres types
summary = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Résumez le contenu de ce document en 3 phrases maximum."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
return {"classification": info, "summary": summary.choices[0].message.content}
# Traiter un lot de courrier
from pathlib import Path
for file in sorted(Path("courrier/").glob("*.jpg")):
print(f"\n--- {file.name} ---")
result = mail_pipeline(file)
print(json.dumps(result, indent=2, ensure_ascii=False))
В партида, където един на всеки пет елемента е фактура, четири от петте документа никога не виждат скъпия модел, при еднакво крайно качество.
Обобщение на курса
През тези 12 урока Вие преминахте от механизъм към приложение. Първо разбрахте многомодовата архитектура и какво всъщност се случва, когато изображение влезе в модела, след което се научихте да избирате варианта, подходящ за Вашето натоварване – Large, Small или Ministral. След това се научихте да изпращате изображения чрез URL и Base64, поединично или на партиди. Въз основа на това се справихте с употребите, които съставляват по-голямата част от реалната работа: анализиране на графики, четене на текст чрез OCR, извличане на структурирани данни, сравняване на изображения за контрол на качеството и проследяване на еволюцията. Накрая, се научихте да оптимизирате Вашите извиквания за цена, латентност и надеждност, както и да интегрирате визията в по-големи конвейери благодарение на извикването на функции.
Следващи стъпки
Четири направления естествено разширяват този път. Първо, Document AI, чийто OCR 4 обработва документи, които Vision API не може да поддържа. След това, агентите, комбиниращи визия и извикване на функции за изграждане на системи, които вземат решения и действат. После фина настройка (fine-tuning), ако Вашите изображения имат специфики, които никой общ модел не познава – каталог с индустриални части, вътрешен формуляр. Накрая, Batch API, проектиран да обработва хиляди изображения с намалена цена, когато времето за отговор не е критично. В по-дългосрочен план, напредналите многомодови възможности ще отворят пътя към видео и аудио, когато станат налични.
Ключови изводи
- Document AI (OCR 4) е естественото допълнение към Vision API за сложни документи и PDF файлове
- Извикването на функции превръща визията в автономен агент, способен да действа върху извлечените данни
- Многомодовият конвейер комбинира класификация (Small) и извличане (Large), за да оптимизира качеството и разходите
- Mistral Vision API е фундаментален градивен елемент за изграждане на съвременни AI приложения
Проверете знанията си
Визия чрез API: пет въпроса за затвърждаване на конвейера.
1. Как изпращате изображение към Mistral API?
Отговор: Чрез URL или кодирано в Base64, в съобщение със смесено съдържание текст + изображение – и множество изображения могат да пътуват в едно и също съобщение за сравнение.
2. Какво позволява визията отвъд описанието?
Отговор: Анализ на графики, OCR (транскрибиране на текст от изображения) и извличане на структурирани данни – изображението става източник на данни, а не илюстрация.
3. Как правите структурираното извличане от изображение надеждно?
Отговор: Посочете очакваната схема прецизно (полета, формат), поискайте пълнота или признаване на липса и проверете критичните стойности – визията се подканва (prompt) като текст.
4. Какви ограничения трябва да имате предвид?
Отговор: Качеството на изображението обуславя всичко (резолюция, острота); много малкият текст и сложните оформления уморяват модела – оптимизирайте входа, преди да обвинявате изхода.
5. Кои са естествените продължения на този курс?
Отговор: Document AI за пълни документи, извикване на функции за свързване на извличането с Вашите системи и многомодови конвейери, които комбинират всичко това.
URL или Base64, прецизни подкани, внимателни входове: конвейерът за визия е готов – следващите стъпки го интегрират във Вашите приложения.