Kolejne kroki: Document AI, wywoływanie funkcji i potoki multimodalne
Na tej stronie
Zaktualizowano 3 listopada 2026 na podstawie strony Mistral Document QnA oraz SDK
mistralaiw wersji 3.7.0: przykładowe zapytanie odwołuje się do dokumentu za pomocą modelu czatu (mistral-small-latest), a nie modelu OCR, zaśdocument_image_limitnie jest parametrem dlachat.complete(wywołanie zakończyłoby się błędem); limity stron ustawia się wclient.ocr.process. Źródło: Document QnA.
Poza interfejsem Vision API
Opanowałeś już fundamenty interfejsu Mistral Vision API: wysyłanie obrazów przez URL i Base64, analizę wykresów, wykonywanie OCR, ekstrakcję danych strukturalnych oraz porównywanie obrazów. Ta baza ma swoją naturalną granicę – do tej pory model zawsze patrzył na obraz i zwracał tekst, nigdy nie podejmując działania. Ta ostatnia lekcja przekracza tę granicę w trzech etapach: specjalistyczna usługa dla dokumentów, wywoływanie funkcji zamieniające analizę w działanie oraz potoki łączące je ze sobą.
Mistral Document AI (OCR 4)
Do zaawansowanych potrzeb związanych z OCR Mistral oferuje Document AI, usługę wyspecjalizowaną w przetwarzaniu dokumentów. Podczas gdy Vision API obsługuje pojedyncze obrazy, Document AI rozumuje w skali całego dokumentu: obsługuje wielostronicowe pliki PDF i analizuje długie pliki w jednym przebiegu. Zarządza złożonymi układami – kolumnami, nagłówkami i stopkami, zagnieżdżonymi tabelami – zachowując strukturę, przy czym wynik końcowy utrzymuje hierarchię dokumentu (tytuły, akapity, listy). Co więcej, jego dokładność OCR jest zoptymalizowana zarówno dla tekstu drukowanego, jak i odręcznego.
Przykład wywołania Document AI
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Analiza pliku PDF za pomocą Document AI
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extract the full content of this document while preserving the structure."
},
{
"type": "document_url",
"document_url": "https://example.com/annual-report.pdf"
}
]
}
]
)
print(response.choices[0].message.content)
Różnica względem wszystkiego, co napisałeś do tej pory, tkwi w typie elementu: document_url zamiast image_url, odczytywany przez standardowy model czatu (mistral-small-latest zgodnie z dokumentacją Mistral). Dokument nie może być większy niż 50 MB i zawierać maksymalnie 1000 stron. Aby przetworzyć tylko fragment 300-stronicowego raportu rocznego, użyj zamiast tego punktu końcowego OCR (client.ocr.process), gdzie parametry pages i image_limit ograniczają zakres pracy.
Kiedy używać Document AI, a kiedy Vision API
| Potrzeba | Vision API | Document AI |
|---|---|---|
| Zdjęcie faktury | Wystarczające | Przesada |
| 50-stronicowy PDF | Nieobsługiwane | Idealne |
| Złożona tabela zagnieżdżona | Przybliżone | Precyzyjne |
| Zrzut ekranu interfejsu | Idealne | Nieodpowiednie |
| Dokument odręczny | Podstawowe | Zoptymalizowane |
Pamiętaj o zasadzie ogólnej: używaj Vision API do tego, co powstało jako obraz, a Document AI do tego, co powstało jako dokument.
Vision + Wywoływanie funkcji
Do tej pory Twój kod otrzymywał odpowiedź i sam decydował, co z nią zrobić. Wywoływanie funkcji odwraca tę zależność: udostępniasz modelowi listę dostępnych działań, a on wybiera, które z nich wywołać na podstawie obrazu. To klucz do budowania autonomicznych agentów wizualnych.
Cykl składa się z czterech kroków:
- Wysyłasz obraz + definicje funkcji
- Model analizuje obraz i decyduje, którą funkcję wywołać
- Wykonujesz funkcję i zwracasz wynik
- Model formułuje ostateczną odpowiedź
Przykład: Agent przetwarzania faktur
Rozważ dział księgowości otrzymujący faktury pocztą. Możliwe są dwa scenariusze: faktura jest ważna i musi zostać zaksięgowana, lub zawiera anomalie i musi zostać oznaczona. Definiujemy zatem dwa narzędzia wraz z ich parametrami i wymaganymi polami.
import json
# Definicja dostępnych narzędzi
outils = [
{
"type": "function",
"function": {
"name": "enregistrer_facture",
"description": "Enregistre une facture dans le système comptable",
"parameters": {
"type": "object",
"properties": {
"emetteur": {"type": "string", "description": "Nom de l'émetteur"},
"numero": {"type": "string", "description": "Numéro de facture"},
"date": {"type": "string", "description": "Date d'émission (YYYY-MM-DD)"},
"montant_ttc": {"type": "number", "description": "Montant TTC en euros"},
"tva": {"type": "number", "description": "Montant de la TVA"}
},
"required": ["emetteur", "numero", "date", "montant_ttc"]
}
}
},
{
"type": "function",
"function": {
"name": "signaler_anomalie",
"description": "Signale une anomalie sur une facture (doublons, montants incohérents)",
"parameters": {
"type": "object",
"properties": {
"type_anomalie": {"type": "string"},
"description": {"type": "string"}
},
"required": ["type_anomalie", "description"]
}
}
}
]
# Wysyłanie obrazu wraz z narzędziami
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Vous êtes un assistant comptable. Analysez les factures et utilisez les outils appropriés."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Traitez cette facture."},
{"type": "image_url", "image_url": encoder_image("factures/facture-2024-0042.jpg")}
]
}
],
tools=outils,
tool_choice="auto"
)
# Obsługa wywołania funkcji
if response.choices[0].message.tool_calls:
appel = response.choices[0].message.tool_calls[0]
nom_fonction = appel.function.name
arguments = json.loads(appel.function.arguments)
print(f"Fonction appelée : {nom_fonction}")
print(f"Arguments : {json.dumps(arguments, indent=2, ensure_ascii=False)}")
Starannie opracuj pole description dla każdej funkcji: model bazuje na nim przy wyborze, a nie na nazwie. Niejasny opis sprawi, że agent będzie wywoływał niewłaściwe funkcje.
Potoki multimodalne
Potok multimodalny łączy ze sobą wiele kroków przetwarzania, integrując wizję, tekst i narzędzia. Jego wartość ma wymiar zarówno ekonomiczny, jak i organizacyjny: każdy krok wykorzystuje ściśle niezbędny model.
Przykład: Potok przetwarzania poczty
Poczta przychodząca do MŚP to mieszanka faktur, ofert, umów i reklam. Ich klasyfikacja kosztuje niewiele; szczegółowa analiza jest droższa. Potok zaczyna się zatem od sortowania przy użyciu lekkiego modelu, a angażuje model Large tylko w przypadku dokumentów, które tego wymagają.
def mail_pipeline(image_path):
"""Pipeline complet : classification -> extraction -> action."""
# Étape 1 : Classification (modèle léger)
classification = client.chat.complete(
model="mistral-small-latest",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": [
{"type": "text", "text": 'Classifiez ce document : {"type": "facture|devis|contrat|courrier|autre", "urgence": "haute|moyenne|basse"}'},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
info = json.loads(classification.choices[0].message.content)
print(f"Type : {info['type']} | Urgence : {info['urgence']}")
# Étape 2 : Extraction détaillée (modèle puissant, seulement si nécessaire)
if info["type"] == "facture":
extraction = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Extrayez toutes les données de cette facture en JSON : emetteur, numero, date, lignes, total_ht, tva, total_ttc."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
data = json.loads(extraction.choices[0].message.content)
return {"classification": info, "données": data}
# Étape 3 : Résumé pour les autres types
summary = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Résumez le contenu de ce document en 3 phrases maximum."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
return {"classification": info, "summary": summary.choices[0].message.content}
# Traiter un lot de courrier
from pathlib import Path
for file in sorted(Path("courrier/").glob("*.jpg")):
print(f"\n--- {file.name} ---")
result = mail_pipeline(file)
print(json.dumps(result, indent=2, ensure_ascii=False))
W partii, gdzie co piąty element to faktura, cztery na pięć dokumentów nigdy nie trafiają do drogiego modelu, przy zachowaniu identycznej jakości wyniku końcowego.
Podsumowanie kursu
Przez tych 12 lekcji przeszedłeś od mechanizmów do zastosowań. Najpierw zrozumiałeś architekturę multimodalną i to, co faktycznie dzieje się, gdy obraz trafia do modelu, a następnie nauczyłeś się dobierać wariant odpowiedni do swojego obciążenia – Large, Small lub Ministral. Kolejnym krokiem było nauczenie się wysyłania obrazów przez URL i Base64, pojedynczo lub wsadowo. Na tej podstawie zająłeś się zastosowaniami stanowiącymi większość pracy w rzeczywistości: analizą wykresów, odczytem tekstu przez OCR, ekstrakcją danych strukturalnych, porównywaniem obrazów pod kątem kontroli jakości i śledzenia zmian. Na koniec nauczyłeś się optymalizować wywołania pod kątem kosztów, opóźnień i niezawodności oraz integrować wizję z większymi potokami dzięki wywoływaniu funkcji.
Następne kroki
Cztery kierunki naturalnie rozwijają tę ścieżkę. Po pierwsze, Document AI, którego OCR 4 obsługuje dokumenty, których Vision API nie wspiera. Następnie agenci, łączący wizję i wywoływanie funkcji do budowania systemów, które podejmują decyzje i działają. Potem dostrajanie (fine-tuning), jeśli Twoje obrazy mają specyfikę, której żaden model ogólny nie zna – np. katalog części przemysłowych czy formularz wewnętrzny. Wreszcie Batch API, zaprojektowany do przetwarzania tysięcy obrazów po niższym koszcie, gdy czas odpowiedzi nie jest krytyczny. W dłuższej perspektywie zaawansowane możliwości multimodalne otworzą drogę do wideo i dźwięku, gdy tylko będą dostępne.
Kluczowe wnioski
- Document AI (OCR 4) to naturalne uzupełnienie Vision API dla złożonych dokumentów i plików PDF
- Wywoływanie funkcji zamienia wizję w autonomicznego agenta zdolnego działać na podstawie wydobytych danych
- Potok multimodalny łączy klasyfikację (Small) i ekstrakcję (Large), aby zoptymalizować jakość i koszt
- Mistral Vision API to fundamentalny element budowy nowoczesnych aplikacji AI
Sprawdź swoją wiedzę
Wizja przez API: pięć pytań utrwalających działanie potoku.
1. Jak wysłać obraz do API Mistral?
Odpowiedź: Przez URL lub zakodowany w Base64, w wiadomości zawierającej mieszany контент tekst + obraz – w tej samej wiadomości można przesłać wiele obrazów do porównania.
2. Co umożliwia wizja poza opisem?
Odpowiedź: Analizę wykresów, OCR (transkrypcję tekstu z obrazów) i ekstrakcję danych strukturalnych – obraz staje się źródłem danych, a nie ilustracją.
3. Jak uczynić strukturalną ekstrakcję z obrazu niezawodną?
Odpowiedź: Precyzyjnie określ oczekiwany schemat (pola, format), żądaj kompletności lub przyznania się do braku danych i weryfikuj wartości krytyczne – wizję promptuje się tak samo jak tekst.
4. Jakie limity należy mieć na uwadze?
Odpowiedź: Jakość obrazu warunkuje wszystko (rozdzielczość, ostrość); bardzo mały tekst i złożone układy męczą model – optymalizuj dane wejściowe, zanim obwinisz wynik.
5. Jakie są naturalne kontynuacje tego kursu?
Odpowiedź: Document AI dla kompletnych dokumentów, wywoływanie funkcji do połączenia ekstrakcji z Twoimi systemami oraz potoki multimodalne łączące to wszystko.
URL lub Base64, precyzyjne prompty, staranne dane wejściowe: potok wizji jest gotowy – kolejne kroki integrują go z Twoimi aplikacjami.