Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Prochází kroky: Document AI, volání funkcí a multimodální pipeline

Lekce 12 z 12 Aktualizováno 3. listopadu 2026 Vývojář
Na této stránce
  1. Za hranicemi Vision API
  2. Mistral Document AI (OCR 4)
  3. Vision + Volání funkcí
  4. Multimodální pipeline
  5. Shrnutí kurzu
  6. Další kroky
  7. Klíčové poznatky
  8. Ověř si své znalosti

Aktualizováno 3. listopadu 2026 na základě stránky Mistral Document QnA a SDK mistralai 3.7.0: příklad dotazuje dokument pomocí chatovacího modelu (mistral-small-latest), nikoliv modelu OCR, a document_image_limit není parametr pro chat.complete (volání by selhalo); limity stránek se nastavují v client.ocr.process. Zdroj: Document QnA.

Za hranicemi Vision API

Nyní jsi zvládl základy Mistral Vision API: odesílání obrázků přes URL a Base64, analýzu grafů, provádění OCR, extrakci strukturovaných dat a porovnávání obrázků. Tento základ má přirozenou hranici – až doposud se model vždy díval na obrázek a vracel text, nikdy nepodnikl žádnou akci. Tato závěrečná lekce tuto hranici překračuje ve třech fázích: specializovaná služba pro dokumenty, volání funkcí, které mění analýzu v akci, a pipeline, které je řetězí dohromady.

Mistral Document AI (OCR 4)

Pro pokročilé potřeby OCR nabízí Mistral Document AI, službu specializovanou na zpracování dokumentů. Zatímco Vision API zpracovává jednotlivé obrázky, Document AI uvažuje v měřítku celého dokumentu: zvládá vícestránkové PDF a analyzuje dlouhé soubory v jediném průchodu. Zvládá složité rozložení – sloupce, záhlaví a zápatí, vnořené tabulky – a zachovává strukturu, přičemž výstup udržuje hierarchii dokumentu s názvy, odstavci a seznamy. Nakonec je jeho přesnost OCR optimalizována jak pro tištěný, tak pro rukopisný text.

Příklad volání Document AI

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Analyzovat PDF pomocí Document AI
response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Extract the full content of this document while preserving the structure."
                },
                {
                    "type": "document_url",
                    "document_url": "https://example.com/annual-report.pdf"
                }
            ]
        }
    ]
)

print(response.choices[0].message.content)

Rozdíl oproti všemu, co jsi doposud psal, spočívá v typu prvku: document_url místo image_url, čteno standardním chatovacím modelem (mistral-small-latest v dokumentaci Mistral). Dokument nesmí být větší než 50 MB a musí obsahovat maximálně 1 000 stránek. Chcete-li zpracovat pouze část 300stránkové výroční zprávy, použijte místo toho koncový bod OCR (client.ocr.process), kde parametry pages a image_limit omezují práci.

Kdy použít Document AI versus Vision API

PotřebaVision APIDocument AI
Fotografie fakturyPostačujícíZbytečně složité
50stránkové PDFNepodporovánoIdeální
Složitá vnořená tabulkaPřibližnéPřesné
Snímek obrazovky rozhraníIdeálníNevhodné
Rukopisný dokumentZákladníOptimalizované

Pamatuj si pravidlo: použij Vision API pro to, co vzniklo jako obrázek, a Document AI pro to, co vzniklo jako dokument.

Vision + Volání funkcí

Až doposud tvůj kód obdržel odpověď a rozhodl se, co s ní udělat. Volání funkcí tento vztah obrací: modelu poskytneš seznam dostupných akcí a on se na základě obrázku rozhodne, kterou zavolat. To je klíč k budování autonomních vizuálních agentů.

Cyklus má čtyři kroky:

  1. Odešleš obrázek + definice funkcí
  2. Model analyzuje obrázek a rozhodne se, kterou funkci zavolat
  3. Ty funkci provedeš a vrátíš výsledek
  4. Model formuluje konečnou odpověď

Příklad: Agent pro zpracování faktur

Představ si účetní oddělení, které přijímá faktury poštou. Možné jsou dva výsledky: faktura je platná a musí být zaúčtována, nebo má anomálii a musí být označena. Definujeme tedy dva nástroje s jejich parametry a požadovanými poli.

import json

# Definovat dostupné nástroje
outils = [
    {
        "type": "function",
        "function": {
            "name": "enregistrer_facture",
            "description": "Enregistre une facture dans le système comptable",
            "parameters": {
                "type": "object",
                "properties": {
                    "emetteur": {"type": "string", "description": "Nom de l'émetteur"},
                    "numero": {"type": "string", "description": "Numéro de facture"},
                    "date": {"type": "string", "description": "Date d'émission (YYYY-MM-DD)"},
                    "montant_ttc": {"type": "number", "description": "Montant TTC en euros"},
                    "tva": {"type": "number", "description": "Montant de la TVA"}
                },
                "required": ["emetteur", "numero", "date", "montant_ttc"]
            }
        }
    },
    {
        "type": "function",
        "function": {
            "name": "signaler_anomalie",
            "description": "Signale une anomalie sur une facture (doublons, montants incohérents)",
            "parameters": {
                "type": "object",
                "properties": {
                    "type_anomalie": {"type": "string"},
                    "description": {"type": "string"}
                },
                "required": ["type_anomalie", "description"]
            }
        }
    }
]

# Odeslat obrázek s nástroji
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Vous êtes un assistant comptable. Analysez les factures et utilisez les outils appropriés."
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Traitez cette facture."},
                {"type": "image_url", "image_url": encoder_image("factures/facture-2024-0042.jpg")}
            ]
        }
    ],
    tools=outils,
    tool_choice="auto"
)

# Zpracovat volání funkce
if response.choices[0].message.tool_calls:
    appel = response.choices[0].message.tool_calls[0]
    nom_fonction = appel.function.name
    arguments = json.loads(appel.function.arguments)
    print(f"Fonction appelée : {nom_fonction}")
    print(f"Arguments : {json.dumps(arguments, indent=2, ensure_ascii=False)}")

Pole description pro každou funkci pečlivě vytvoř: model se při svém rozhodování řídí tímto popisem, nikoliv názvem. Vágní popis vytvoří agenta, který volá špatnou funkci.

Multimodální pipeline

Multimodální pipeline řetězí více kroků zpracování kombinací vision, textu a nástrojů. Její hodnota je ekonomická i organizační: každý krok využívá přesně ten model, který je nezbytný.

Příklad: Pipeline pro zpracování pošty

Příchozí pošta pro malé a střední podniky mixuje faktury, nabídky, smlouvy a reklamy. Jejich klasifikace stojí málo; jejich podrobná analýza stojí více. Pipeline proto začíná tříděním pomocí lehkého modelu a nákladný model Large zapojuje pouze u dokumentů, které to ospravedlňují.

def mail_pipeline(image_path):
    """Pipeline complet : classification -> extraction -> action."""

    # Étape 1 : Classification (modèle léger)
    classification = client.chat.complete(
        model="mistral-small-latest",
        response_format={"type": "json_object"},
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": 'Classifiez ce document : {"type": "facture|devis|contrat|courrier|autre", "urgence": "haute|moyenne|basse"}'},
                {"type": "image_url", "image_url": encoder_image(image_path)}
            ]
        }]
    )
    info = json.loads(classification.choices[0].message.content)
    print(f"Type : {info['type']} | Urgence : {info['urgence']}")

    # Étape 2 : Extraction détaillée (modèle puissant, seulement si nécessaire)
    if info["type"] == "facture":
        extraction = client.chat.complete(
            model="mistral-large-latest",
            response_format={"type": "json_object"},
            messages=[{
                "role": "user",
                "content": [
                    {"type": "text", "text": "Extrayez toutes les données de cette facture en JSON : emetteur, numero, date, lignes, total_ht, tva, total_ttc."},
                    {"type": "image_url", "image_url": encoder_image(image_path)}
                ]
            }]
        )
        data = json.loads(extraction.choices[0].message.content)
        return {"classification": info, "données": data}

    # Étape 3 : Résumé pour les autres types
    summary = client.chat.complete(
        model="mistral-small-latest",
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": "Résumez le contenu de ce document en 3 phrases maximum."},
                {"type": "image_url", "image_url": encoder_image(image_path)}
            ]
        }]
    )
    return {"classification": info, "summary": summary.choices[0].message.content}

# Traiter un lot de courrier
from pathlib import Path

for file in sorted(Path("courrier/").glob("*.jpg")):
    print(f"\n--- {file.name} ---")
    result = mail_pipeline(file)
    print(json.dumps(result, indent=2, ensure_ascii=False))

V dávce, kde je každá pátá položka faktura, čtyři z pěti dokumentů nikdy neuvidí drahý model, přičemž konečná kvalita zůstává stejná.

Shrnutí kurzu

Během těchto 12 lekcí jsi přešel od mechanismu k aplikaci. Nejprve jsi pochopil multimodální architekturu a co se skutečně děje, když obrázek vstoupí do modelu, poté ses naučil vybrat variantu vhodnou pro tvou zátěž – Large, Small nebo Ministral. Dále ses naučil odesílat obrázky přes URL a Base64, jednotlivě nebo v dávkách. Na tomto základě jsi tackled použití, která tvoří většinu reálné práce: analýza grafů, čtení textu přes OCR, extrakce strukturovaných dat, porovnávání obrázků pro kontrolu kvality a sledování vývoje. Nakonec ses naučil optimalizovat svá volání z hlediska nákladů, latence a spolehlivosti a integrovat vision do větších pipeline díky volání funkcí.

Další kroky

Čtyři směry přirozeně rozšiřují tuto cestu. Zaprvé, Document AI, jehož OCR 4 zpracovává dokumenty, které Vision API nepodporuje. Zadruhé, agenti, kombinující vision a volání funkcí k budování systémů, které rozhodují a jednají. Zatřetí, jemné ladění (fine-tuning), pokud mají tvé obrázky specifika, která žádný obecný model nezná – katalog průmyslových dílů, interní formulář. A konečně, Batch API, navržené ke zpracování tisíců obrázků za snížené náklady, když není kritická doba odezvy. Z dlouhodobého hlediska pokročilé multimodální schopnosti otevřou cestu k videu a audiu, jakmile budou k dispozici.

Klíčové poznatky

  • Document AI (OCR 4) je přirozeným doplňkem Vision API pro složité dokumenty a PDF
  • Volání funkcí mění vision v autonomního agenta schopného jednat na základě extrahovaných dat
  • Multimodální pipeline kombinuje klasifikaci (Small) a extrakci (Large) pro optimalizaci kvality a nákladů
  • Mistral Vision API je základním stavebním kamenem pro budování moderních AI aplikací

Ověř si své znalosti

Vision přes API: pět otázek k ukotvení pipeline.

1. Jak odešleš obrázek do Mistral API?

Odpověď: Prostřednictvím URL nebo zakódováno v Base64, ve zprávě se smíšeným obsahem text + obrázek – a pro porovnání může ve stejné zprávě cestovat více obrázků.

2. Co vision umožňuje nad rámec popisu?

Odpověď: Analýzu grafů, OCR (přepis textu z obrázků) a extrakci strukturovaných dat – obrázek se stává zdrojem dat, nikoliv ilustrací.

3. Jak zajistíš spolehlivost strukturované extrakce z obrázku?

Odpověď: Přesně specifikuj očekávané schéma (pole, formát), požaduj úplnost nebo přiznání absence a ověř kritické hodnoty – vision se promptuje stejně jako text.

4. Jaká omezení bys měl mít na paměti?

Odpověď: Kvalita obrázku podmíní vše (rozlišení, ostrost); velmi malý text a složité rozložení model unavují – optimalizuj vstup předtím, než obviníš výstup.

5. Jaké jsou přirozené návaznosti tohoto kurzu?

Odpověď: Document AI pro kompletní dokumenty, volání funkcí pro propojení extrakce s tvými systémy a multimodální pipeline, které vše kombinují.

URL nebo Base64, přesné prompty, pečlivé vstupy: pipeline vision je připravena – další kroky ji integrují do tvých aplikací.