Премини към основното съдържание
Български— Изберете език
Меню

Следващи стъпки: Document AI, извикване на функции и многомодови конвейери

Урок 12 от 12 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Отвъд Vision API
  2. Mistral Document AI (OCR 4)
  3. Vision + Извикване на функции
  4. Многомодови конвейери
  5. Обобщение на курса
  6. Следващи стъпки
  7. Ключови изводи
  8. Проверете знанията си

Обновено на 3 ноември 2026 г. въз основа на страницата Document QnA на Mistral и SDK mistralai версия 3.7.0: примерът заявява документ, използвайки чат модел (mistral-small-latest), а не OCR модела, и document_image_limit не е параметър за chat.complete (извикването би се провалило); лимитите на страниците се задават в client.ocr.process. Източник: Document QnA.

Отвъд Vision API

Сега вече сте усвоили основите на Mistral Vision API: изпращане на изображения чрез URL и Base64, анализиране на графики, изпълнение на OCR, извличане на структурирани данни и сравняване на изображения. Тази основа има естествена граница – досега моделът винаги е разглеждал изображение и е връщал текст, без никога да предприема действие. Този последен урок преминава тази граница на три етапа: специализираната услуга за документи, извикването на функции, което превръща анализа в действие, и конвейерите, които ги свързват във верига.

Mistral Document AI (OCR 4)

За напреднали нужди от OCR, Mistral предлага Document AI, услуга, специализирана в обработката на документи. Докато Vision API обработва отделни изображения, Document AI разсъждава в мащаба на целия документ: той обработва PDF файлове с множество страници и анализира дълги файлове с едно единствено преминаване. Управлява сложни оформления – колони, горни и долни колонтитули, вложени таблици – и запазва структурата, като изходните данни поддържат йерархията на документа от заглавия, параграфи и списъци. Накрая, неговата OCR точност е оптимизирана както за печатен, така и за ръкописен текст.

Пример за извикване на Document AI

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Analyze a PDF with Document AI
response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Extract the full content of this document while preserving the structure."
                },
                {
                    "type": "document_url",
                    "document_url": "https://example.com/annual-report.pdf"
                }
            ]
        }
    ]
)

print(response.choices[0].message.content)

Разликата спрямо всичко, което сте писали досега, се крие в типа на елемента: document_url вместо image_url, прочетено от стандартен чат модел (mistral-small-latest според документацията на Mistral). Документът не трябва да надвишава 50 MB и да съдържа най-много 1000 страници. За да обработите само част от годишен отчет от 300 страници, използвайте вместо това OCR крайната точка (client.ocr.process), където параметрите pages и image_limit ограничават работата.

Кога да използвате Document AI спрямо Vision API

НуждаVision APIDocument AI
Снимка на фактураДостатъчноПрекалено сложно
PDF от 50 странициНе се поддържаИдеално
Сложна вложена таблицаПриблизителноПрецизно
Снимка на интерфейсИдеалноНе е подходящо
Ръкописен документБазовоОптимизирано

Запомнете правилото: използвайте Vision API за това, което е родено като изображение, и Document AI за това, което е родено като документ.

Vision + Извикване на функции

Досега Вашият код получаваше отговор и Вие решавахте какво да правите с него. Извикването на функции обръща тази връзка: предоставяте на модела списък с налични действия и той избира кое да извика въз основа на изображението. Това е ключът към изграждането на автономни визуални агенти.

Цикълът има четири стъпки:

  1. Изпращате изображение + дефиниции на функции
  2. Моделът анализира изображението и решава коя функция да извика
  3. Вие изпълнявате функцията и връщате резултата
  4. Моделът формулира окончателен отговор

Пример: Агент за обработка на фактури

Разгледайте счетоводен отдел, който получава фактури по пощата. Възможни са два резултата: фактурата е валидна и трябва да бъде записана, или има аномалия и трябва да бъде маркирана. Затова дефинираме два инструмента с техните параметри и задължителни полета.

import json

# Define available tools
outils = [
    {
        "type": "function",
        "function": {
            "name": "enregistrer_facture",
            "description": "Enregistre une facture dans le système comptable",
            "parameters": {
                "type": "object",
                "properties": {
                    "emetteur": {"type": "string", "description": "Nom de l'émetteur"},
                    "numero": {"type": "string", "description": "Numéro de facture"},
                    "date": {"type": "string", "description": "Date d'émission (YYYY-MM-DD)"},
                    "montant_ttc": {"type": "number", "description": "Montant TTC en euros"},
                    "tva": {"type": "number", "description": "Montant de la TVA"}
                },
                "required": ["emetteur", "numero", "date", "montant_ttc"]
            }
        }
    },
    {
        "type": "function",
        "function": {
            "name": "signaler_anomalie",
            "description": "Signale une anomalie sur une facture (doublons, montants incohérents)",
            "parameters": {
                "type": "object",
                "properties": {
                    "type_anomalie": {"type": "string"},
                    "description": {"type": "string"}
                },
                "required": ["type_anomalie", "description"]
            }
        }
    }
]

# Send the image with the tools
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Vous êtes un assistant comptable. Analysez les factures et utilisez les outils appropriés."
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Traitez cette facture."},
                {"type": "image_url", "image_url": encoder_image("factures/facture-2024-0042.jpg")}
            ]
        }
    ],
    tools=outils,
    tool_choice="auto"
)

# Handle the function call
if response.choices[0].message.tool_calls:
    appel = response.choices[0].message.tool_calls[0]
    nom_fonction = appel.function.name
    arguments = json.loads(appel.function.arguments)
    print(f"Fonction appelée : {nom_fonction}")
    print(f"Arguments : {json.dumps(arguments, indent=2, ensure_ascii=False)}")

Изградете полето description за всяка функция внимателно: моделът базира своя избор на него, а не на името. Едно неясно описание води до агент, който извиква грешната функция.

Многомодови конвейери

Многомодовият конвейер свързва множество стъпки за обработка, комбинирайки визия, текст и инструменти. Неговата стойност е както икономическа, така и организационна: всяка стъпка използва строго необходимия модел.

Пример: Конвейер за обработка на поща

Входящата поща за малки и средни предприятия смесва фактури, оферти, договори и реклами. Класифицирането им струва малко; детайлният им анализ струва повече. Затова конвейерът започва със сортиране, използващо лек модел, и ангажира Large само за документи, които го оправдават.

def mail_pipeline(image_path):
    """Pipeline complet : classification -> extraction -> action."""

    # Étape 1 : Classification (modèle léger)
    classification = client.chat.complete(
        model="mistral-small-latest",
        response_format={"type": "json_object"},
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": 'Classifiez ce document : {"type": "facture|devis|contrat|courrier|autre", "urgence": "haute|moyenne|basse"}'},
                {"type": "image_url", "image_url": encoder_image(image_path)}
            ]
        }]
    )
    info = json.loads(classification.choices[0].message.content)
    print(f"Type : {info['type']} | Urgence : {info['urgence']}")

    # Étape 2 : Extraction détaillée (modèle puissant, seulement si nécessaire)
    if info["type"] == "facture":
        extraction = client.chat.complete(
            model="mistral-large-latest",
            response_format={"type": "json_object"},
            messages=[{
                "role": "user",
                "content": [
                    {"type": "text", "text": "Extrayez toutes les données de cette facture en JSON : emetteur, numero, date, lignes, total_ht, tva, total_ttc."},
                    {"type": "image_url", "image_url": encoder_image(image_path)}
                ]
            }]
        )
        data = json.loads(extraction.choices[0].message.content)
        return {"classification": info, "données": data}

    # Étape 3 : Résumé pour les autres types
    summary = client.chat.complete(
        model="mistral-small-latest",
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": "Résumez le contenu de ce document en 3 phrases maximum."},
                {"type": "image_url", "image_url": encoder_image(image_path)}
            ]
        }]
    )
    return {"classification": info, "summary": summary.choices[0].message.content}

# Traiter un lot de courrier
from pathlib import Path

for file in sorted(Path("courrier/").glob("*.jpg")):
    print(f"\n--- {file.name} ---")
    result = mail_pipeline(file)
    print(json.dumps(result, indent=2, ensure_ascii=False))

В партида, където един на всеки пет елемента е фактура, четири от петте документа никога не виждат скъпия модел, при еднакво крайно качество.

Обобщение на курса

През тези 12 урока Вие преминахте от механизъм към приложение. Първо разбрахте многомодовата архитектура и какво всъщност се случва, когато изображение влезе в модела, след което се научихте да избирате варианта, подходящ за Вашето натоварване – Large, Small или Ministral. След това се научихте да изпращате изображения чрез URL и Base64, поединично или на партиди. Въз основа на това се справихте с употребите, които съставляват по-голямата част от реалната работа: анализиране на графики, четене на текст чрез OCR, извличане на структурирани данни, сравняване на изображения за контрол на качеството и проследяване на еволюцията. Накрая, се научихте да оптимизирате Вашите извиквания за цена, латентност и надеждност, както и да интегрирате визията в по-големи конвейери благодарение на извикването на функции.

Следващи стъпки

Четири направления естествено разширяват този път. Първо, Document AI, чийто OCR 4 обработва документи, които Vision API не може да поддържа. След това, агентите, комбиниращи визия и извикване на функции за изграждане на системи, които вземат решения и действат. После фина настройка (fine-tuning), ако Вашите изображения имат специфики, които никой общ модел не познава – каталог с индустриални части, вътрешен формуляр. Накрая, Batch API, проектиран да обработва хиляди изображения с намалена цена, когато времето за отговор не е критично. В по-дългосрочен план, напредналите многомодови възможности ще отворят пътя към видео и аудио, когато станат налични.

Ключови изводи

  • Document AI (OCR 4) е естественото допълнение към Vision API за сложни документи и PDF файлове
  • Извикването на функции превръща визията в автономен агент, способен да действа върху извлечените данни
  • Многомодовият конвейер комбинира класификация (Small) и извличане (Large), за да оптимизира качеството и разходите
  • Mistral Vision API е фундаментален градивен елемент за изграждане на съвременни AI приложения

Проверете знанията си

Визия чрез API: пет въпроса за затвърждаване на конвейера.

1. Как изпращате изображение към Mistral API?

Отговор: Чрез URL или кодирано в Base64, в съобщение със смесено съдържание текст + изображение – и множество изображения могат да пътуват в едно и също съобщение за сравнение.

2. Какво позволява визията отвъд описанието?

Отговор: Анализ на графики, OCR (транскрибиране на текст от изображения) и извличане на структурирани данни – изображението става източник на данни, а не илюстрация.

3. Как правите структурираното извличане от изображение надеждно?

Отговор: Посочете очакваната схема прецизно (полета, формат), поискайте пълнота или признаване на липса и проверете критичните стойности – визията се подканва (prompt) като текст.

4. Какви ограничения трябва да имате предвид?

Отговор: Качеството на изображението обуславя всичко (резолюция, острота); много малкият текст и сложните оформления уморяват модела – оптимизирайте входа, преди да обвинявате изхода.

5. Кои са естествените продължения на този курс?

Отговор: Document AI за пълни документи, извикване на функции за свързване на извличането с Вашите системи и многомодови конвейери, които комбинират всичко това.

URL или Base64, прецизни подкани, внимателни входове: конвейерът за визия е готов – следващите стъпки го интегрират във Вашите приложения.