Seuraavat askeleet: Document AI, funktiokutsut ja multimodaaliset putket
Tällä sivulla
Päivitetty 3. marraskuuta 2026 Mistralin Document QnA -sivun ja
mistralaiSDK 3.7.0:n perusteella: esimerkkikysely hakee tietoa asiakirjasta keskustelumallilla (mistral-small-latest), ei OCR-mallilla, eikädocument_image_limitole parametrichat.complete-kutsulle (kutsu olisi epäonnistunut); sivurajoitukset määritetään kohdassaclient.ocr.process. Lähde: Document QnA.
Vision API:n tuolla puolen
Olet nyt hallinnut Mistral Vision API:n perusteet: kuvien lähettäminen URL-osoitteen ja Base64:n kautta, kaavioiden analysointi, OCR:n suorittaminen, jäsennetyn datan purkaminen ja kuvien vertailu. Tällä perustalla on luonteva rajansa – tähän asti malli on aina tarkastellut kuvaa ja palauttanut tekstiä, mutta ei ole ryhtynyt toimiin. Tämä viimeinen oppitunti ylittää rajan kolmessa vaiheessa: asiakirjoille erikoistunut palvelu, funktiokutsut, jotka muuttavat analyysin toiminnaksi, sekä niitä ketjuttavat putket.
Mistral Document AI (OCR 4)
Vaativampiin OCR-tarpeisiin Mistral tarjoaa Document AI -palvelun, joka on erikoistunut asiakirjojen käsittelyyn. Kun Vision API käsittelee yksittäisiä kuvia, Document AI pystyy päättelyyn koko asiakirjan laajuudessa: se hallitsee monisivuisia PDF-tiedostoja ja analysoi pitkät tiedostot yhdellä läpimenolla. Se hallitsee monimutkaiset asettelut – sarakkeet, ylä- ja alatunnisteet, sisäkkäiset taulukot – ja säilyttää rakenteen siten, että tuloste noudattaa asiakirjan hierarkiaa otsikoineen, kappaleineen ja luetteloineen. Lopuksi sen OCR-tarkkuus on optimoitu sekä painetulle että käsinkirjoitetulle tekstille.
Document AI -kutsuesimerkki
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Analysoi PDF Document AI:lla
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extract the full content of this document while preserving the structure."
},
{
"type": "document_url",
"document_url": "https://example.com/annual-report.pdf"
}
]
}
]
)
print(response.choices[0].message.content)
Ero kaikkeen tähänastiseen koodiisi piilee elementtityypissä: document_url image_url:n sijaan, ja sen lukee vakio keskustelumalli (Mistralin dokumentaation mukaan mistral-small-latest). Asiakirjan koko saa olla enintään 50 Mt ja siinä saa olla korkeintaan 1 000 sivua. Jos haluat käsitellä vain osan 300-sivuisesta vuosikertomuksesta, käytä sen sijaan OCR-päätepistettä (client.ocr.process), jossa parametrit pages ja image_limit rajaavat työtä.
Milloin käyttää Document AI:ta vs. Vision API:ta
| Tarve | Vision API | Document AI |
|---|---|---|
| Valokuva laskusta | Riittävä | Liiallista |
| 50-sivuinen PDF | Ei tuettu | Ihanteellinen |
| Monimutkainen sisäkkäinen taulukko | Suunnilleen | Tarkka |
| Käyttöliittymän kuvakaappaus | Ihanteellinen | Ei sovellu |
| Käsinkirjoitettu asiakirja | Perustaso | Optimoitu |
Muista nyrkkisääntö: käytä Vision API:ta siihen, mikä on syntynyt kuvana, ja Document AI:ta siihen, mikä on syntynyt asiakirjana.
Vision + funktiokutsut
Tähän asti koodisi on vastaanottanut vastauksen ja päättänyt, mitä sillä tehdään. Funktiokutsut kääntävät tämän suhteen: tarjoat mallille luettelon käytettävissä olevista toimista, ja se valitsee kuvan perusteella, mitä niistä kutsutaan. Tämä on avain autonomisten visuaalisten agenttien rakentamiseen.
Sykli koostuu neljästä vaiheesta:
- Lähetät kuvan ja funktiomääritelmät
- Malli analysoi kuvan ja päättää, mitä funktiota kutsua
- Suoritat funktion ja palautat tuloksen
- Malli muotoilee lopullisen vastauksen
Esimerkki: Laskujen käsittelyagentti
Kuvittele kirjanpito-osasto, joka vastaanottaa laskuja postitse. Kaksi lopputulosta on mahdollinen: lasku on kelvollinen ja se on kirjattava, tai siinä on poikkeama ja se on merkittävä. Määrittelemme siksi kaksi työkalua parametreineen ja vaadittuine kenttineen.
import json
# Määritä käytettävissä olevat työkalut
outils = [
{
"type": "function",
"function": {
"name": "enregistrer_facture",
"description": "Enregistre une facture dans le système comptable",
"parameters": {
"type": "object",
"properties": {
"emetteur": {"type": "string", "description": "Nom de l'émetteur"},
"numero": {"type": "string", "description": "Numéro de facture"},
"date": {"type": "string", "description": "Date d'émission (YYYY-MM-DD)"},
"montant_ttc": {"type": "number", "description": "Montant TTC en euros"},
"tva": {"type": "number", "description": "Montant de la TVA"}
},
"required": ["emetteur", "numero", "date", "montant_ttc"]
}
}
},
{
"type": "function",
"function": {
"name": "signaler_anomalie",
"description": "Signale une anomalie sur une facture (doublons, montants incohérents)",
"parameters": {
"type": "object",
"properties": {
"type_anomalie": {"type": "string"},
"description": {"type": "string"}
},
"required": ["type_anomalie", "description"]
}
}
}
]
# Lähetä kuva työkalujen kanssa
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Vous êtes un assistant comptable. Analysez les factures et utilisez les outils appropriés."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Traitez cette facture."},
{"type": "image_url", "image_url": encoder_image("factures/facture-2024-0042.jpg")}
]
}
],
tools=outils,
tool_choice="auto"
)
# Käsittele funktiokutsu
if response.choices[0].message.tool_calls:
appel = response.choices[0].message.tool_calls[0]
nom_fonction = appel.function.name
arguments = json.loads(appel.function.arguments)
print(f"Fonction appelée : {nom_fonction}")
print(f"Arguments : {json.dumps(arguments, indent=2, ensure_ascii=False)}")
Muotoile kunkin funktion description-kenttä huolellisesti: malli perustaa valintansa tähän, ei nimeen. Epämääräinen kuvaus tuottaa agentin, joka kutsuu väärää funktiota.
Multimodaaliset putket
Multimodaalinen putki ketjuttaa useita käsittelyvaiheita yhdistämällä vision, tekstin ja työkalut. Sen arvo on sekä taloudellinen että organisatorinen: jokaisessa vaiheessa käytetään täsmälleen tarvittavaa mallia.
Esimerkki: Postinkäsittelyputki
Pienyrityksen saapuva posti sekoittaa laskuja, tarjouksia, sopimuksia ja mainoksia. Luokittelu maksaa vähän; yksityiskohtainen analyysi maksaa enemmän. Putki aloittaakin kevyellä mallilla tehtävällä lajittelulla ja ottaa Large-mallin käyttöön vain niille asiakirjoille, jotka sitä perustellusti vaativat.
def mail_pipeline(image_path):
"""Pipeline complet : classification -> extraction -> action."""
# Étape 1 : Classification (modèle léger)
classification = client.chat.complete(
model="mistral-small-latest",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": [
{"type": "text", "text": 'Classifiez ce document : {"type": "facture|devis|contrat|courrier|autre", "urgence": "haute|moyenne|basse"}'},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
info = json.loads(classification.choices[0].message.content)
print(f"Type : {info['type']} | Urgence : {info['urgence']}")
# Étape 2 : Extraction détaillée (modèle puissant, seulement si nécessaire)
if info["type"] == "facture":
extraction = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Extrayez toutes les données de cette facture en JSON : emetteur, numero, date, lignes, total_ht, tva, total_ttc."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
data = json.loads(extraction.choices[0].message.content)
return {"classification": info, "données": data}
# Étape 3 : Résumé pour les autres types
summary = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Résumez le contenu de ce document en 3 phrases maximum."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
return {"classification": info, "summary": summary.choices[0].message.content}
# Traiter un lot de courrier
from pathlib import Path
for file in sorted(Path("courrier/").glob("*.jpg")):
print(f"\n--- {file.name} ---")
result = mail_pipeline(file)
print(json.dumps(result, indent=2, ensure_ascii=False))
Erässä, jossa joka viides kohde on lasku, neljä viidestä asiakirjasta ei koskaan kohtaa kallista mallia, vaikka lopputulos on laadultaan sama.
Kurssin yhteenveto
Näiden 12 oppitunnin aikana siirryit mekanismista sovellukseen. Ymmärsit ensin multimodaalisen arkkitehtuurin ja sen, mitä todella tapahtuu, kun kuva syötetään malliin, ja opit valitsemaan kuormitukseesi sopivan variantin – Large, Small tai Ministral. Opit sitten lähettämään kuvia URL-osoitteen ja Base64:n kautta, yksittäin tai erissä. Tälle pohjalle rakennit ne käyttötavat, jotka muodostavat suurimman osan todellisesta työstä: kaavioiden analysointi, tekstin lukeminen OCR:n avulla, jäsennetyn datan purkaminen, kuvien vertailu laadunvalvontaan ja kehityksen seurantaan. Lopuksi opit optimoimaan kutsujasi kustannusten, viiveen ja luotettavuuden kannalta sekä integroimaan vision laajempiin putkiin funktiokutsujen ansiosta.
Seuraavat askeleet
Neljä suuntaa jatkaa tätä polkua luontevasti. Ensinnäkin Document AI, jonka OCR 4 käsittelee asiakirjoja, joita Vision API ei tue. Seuraavaksi agentit, jotka yhdistävät vision ja funktiokutsut rakentaakseen järjestelmiä, jotka päättävät ja toimivat. Sitten hienosäätö (fine-tuning), jos kuville on ominaisuuksia, joita yleismalli ei tunne – kuten teollisten osien luettelo tai sisäinen lomake. Viimeisenä Batch API, joka on suunniteltu käsittelemään tuhansia kuvia edullisemmin, kun vasteaika ei ole kriittinen. Pidemmällä aikavälillä edistyneet multimodaaliset ominaisuudet avaavat tien videolle ja äänelle niiden saatavuuden myötä.
Keskeiset asiat
- Document AI (OCR 4) on Vision API:n luonteva täydennys monimutkaisille asiakirjoille ja PDF-tiedostoille
- Funktiokutsut muuttavat vision autonomiseksi agentiksi, joka pystyy toimimaan puretun datan perusteella
- Multimodaalinen putki yhdistää luokittelun (Small) ja purkamisen (Large) laadun ja kustannusten optimoimiseksi
- Mistral Vision API on perusrakennuspalikka nykyaikaisten tekoälysovellusten rakentamisessa
Testaa tietosi
Vision API:n kautta: viisi kysymystä putken ankkuroimiseksi.
1. Miten lähetät kuvan Mistral API:lle?
Vastaus: URL-osoitteen tai Base64-koodatun kautta viestissä, jossa on sekaisin tekstiä ja kuvia – ja samaan viestiin mahtuu useita kuvia vertailua varten.
2. Mitä vision mahdollistaa pelkän kuvauksen lisäksi?
Vastaus: Kaavioiden analyysin, OCR:n (tekstin transkriptio kuvista) ja jäsennetyn datan purkamisen – kuvasta tulee datalähde, ei vain havainnollistus.
3. Miten teet kuvasta tehtävän jäsennetyn purkamisen luotettavaksi?
Vastaus: Määritä odotettu skeema tarkasti (kentät, muoto), pyydä täydellisyyttä tai puuttumisen myöntämistä ja varmista kriittiset arvot – visionia kehotetaan samoin kuin tekstiä.
4. Mitä rajoituksia sinun tulee pitää mielessäsi?
Vastaus: Kuvan laatu ehdollistaa kaiken (resoluutio, terävyys); hyvin pieni teksti ja monimutkaiset asettelut rasittavat mallia – optimoi syöte ennen kuin syytät tulostetta.
5. Mitkä ovat tämän kurssin luontevat jatkot?
Vastaus: Document AI kokonaisille asiakirjoille, funktiokutsut purkamisen yhdistämiseksi järjestelmiisi ja multimodaaliset putket, jotka yhdistävät kaiken.
URL tai Base64, tarkat kehotteet, huolelliset syötteet: vision-putki on valmis – seuraavat askeleet integroivat sen sovelluksiisi.