Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Næste skridt: Document AI, funktionskald og multimodale pipelines

Lektion 12 af 12 Opdateret 3. november 2026 Udvikler
På denne side
  1. Ud over Vision API
  2. Mistral Document AI (OCR 4)
  3. Vision + Funktionskald
  4. Multimodale pipelines
  5. Opsamling på kurset
  6. Næste skridt
  7. Vigtige pointer
  8. Test din viden

Opdateret 3. november 2026 baseret på Mistral-siden Document QnA og mistralai SDK 3.7.0: Eksemplet spørger et dokument ved hjælp af en chat-model (mistral-small-latest), ikke OCR-modellen, og document_image_limit er ikke en parameter for chat.complete (kaldet ville være fejlet); sidegrænser sættes i client.ocr.process. Kilde: Document QnA.

Ud over Vision API

Du har nu mestret grundprincipperne i Mistral Vision API: sending af billeder via URL og Base64, analyse af diagrammer, udførelse af OCR, udtrækning af strukturerede data og sammenligning af billeder. Dette fundament har en naturlig grænse – indtil nu har modellen altid kigget på et billede og returneret tekst, uden nogensinde at handle. Denne sidste lektion overskrider den grænse i tre faser: den specialiserede tjeneste til dokumenter, funktionskald der omdanner analyse til handling, og pipelines der kæder dem sammen.

Mistral Document AI (OCR 4)

Til avancerede OCR-behov tilbyder Mistral Document AI, en tjeneste specialiseret i dokumentbehandling. Hvor Vision API håndterer enkelte billeder, ræsonnerer Document AI på dokumentskala: det håndterer PDF-filer med flere sider og analyserer lange filer i én enkelt gennemgang. Det styrer komplekse layouts – kolonner, sidehoveder og sidefødder, nestede tabeller – og bevarer strukturen, hvor outputtet vedligeholder dokumentets hierarki af titler, afsnit og lister. Endelig er OCR-nøjagtigheden optimeret til både trykt og håndskrevet tekst.

Eksempel på Document AI-kald

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Analyser en PDF med Document AI
response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Extract the full content of this document while preserving the structure."
                },
                {
                    "type": "document_url",
                    "document_url": "https://example.com/annual-report.pdf"
                }
            ]
        }
    ]
)

print(response.choices[0].message.content)

Forskellen fra alt, hvad du har skrevet hidtil, ligger i elementtypen: document_url i stedet for image_url, læst af en standard chat-model (mistral-small-latest ifølge Mistrals dokumentation). Dokumentet må højst være 50 MB og indeholde maksimalt 1.000 sider. For kun at behandle en del af en årsrapport på 300 sider skal du i stedet bruge OCR-endpointet (client.ocr.process), hvor parametrene pages og image_limit afgrænser arbejdet.

Hvornår skal du bruge Document AI kontra Vision API?

BehovVision APIDocument AI
Foto af en fakturaTilstrækkeligtOverkill
PDF på 50 siderIkke understøttetIdeelt
Kompleks nested tabelOmtrentligPræcis
Skærmbillede af grænsefladeIdeeltIkke egnet
Håndskrevet dokumentBasaltOptimeret

Husk tommelfingerreglen: Brug Vision API til det, der er født som et billede, og Document AI til det, der er født som et dokument.

Vision + Funktionskald

Indtil nu har din kode modtaget et svar og selv besluttet, hvad der skulle gøres med det. Funktionskald vender dette forhold på hovedet: du giver modellen en liste over tilgængelige handlinger, og den vælger, hvilken der skal kaldes baseret på billedet. Dette er nøglen til at bygge autonome visuelle agenter.

Cyklussen har fire trin:

  1. Du sender et billede + funktionsdefinitioner
  2. Modellen analyserer billedet og beslutter, hvilken funktion der skal kaldes
  3. Du udfører funktionen og returnerer resultatet
  4. Modellen formulerer et endeligt svar

Eksempel: Agent til fakturabehandling

Overvej en regnskabsafdeling, der modtager fakturaer med posten. To udfald er mulige: fakturaen er gyldig og skal registreres, eller den har en anomali og skal flagges. Vi definerer derfor to værktøjer med deres parametre og påkrævede felter.

import json

# Definer tilgængelige værktøjer
outils = [
    {
        "type": "function",
        "function": {
            "name": "enregistrer_facture",
            "description": "Enregistre une facture dans le système comptable",
            "parameters": {
                "type": "object",
                "properties": {
                    "emetteur": {"type": "string", "description": "Nom de l'émetteur"},
                    "numero": {"type": "string", "description": "Numéro de facture"},
                    "date": {"type": "string", "description": "Date d'émission (YYYY-MM-DD)"},
                    "montant_ttc": {"type": "number", "description": "Montant TTC en euros"},
                    "tva": {"type": "number", "description": "Montant de la TVA"}
                },
                "required": ["emetteur", "numero", "date", "montant_ttc"]
            }
        }
    },
    {
        "type": "function",
        "function": {
            "name": "signaler_anomalie",
            "description": "Signale une anomalie sur une facture (doublons, montants incohérents)",
            "parameters": {
                "type": "object",
                "properties": {
                    "type_anomalie": {"type": "string"},
                    "description": {"type": "string"}
                },
                "required": ["type_anomalie", "description"]
            }
        }
    }
]

# Send billedet med værktøjerne
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Vous êtes un assistant comptable. Analysez les factures et utilisez les outils appropriés."
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Traitez cette facture."},
                {"type": "image_url", "image_url": encoder_image("factures/facture-2024-0042.jpg")}
            ]
        }
    ],
    tools=outils,
    tool_choice="auto"
)

# Håndter funktionskaldet
if response.choices[0].message.tool_calls:
    appel = response.choices[0].message.tool_calls[0]
    nom_fonction = appel.function.name
    arguments = json.loads(appel.function.arguments)
    print(f"Fonction appelée : {nom_fonction}")
    print(f"Arguments : {json.dumps(arguments, indent=2, ensure_ascii=False)}")

Udform description-feltet for hver funktion omhyggeligt: modellen baserer sit valg på dette, ikke på navnet. En vag beskrivelse producerer en agent, der kalder den forkerte funktion.

Multimodale pipelines

En multimodal pipeline kæder flere behandlingstrin sammen ved at kombinere vision, tekst og værktøjer. Dens værdi er både økonomisk og organisatorisk: hvert trin bruger nøjagtig den model, der er nødvendig.

Eksempel: Pipeline til postbehandling

Indgående post til en SME blander fakturaer, tilbud, kontrakter og reklamer. Det koster lidt at klassificere dem; det koster mere at analysere dem i detaljer. Pipelinen starter derfor med en sortering ved hjælp af en letvægtsmodel og engagerer først Large på dokumenter, der berettiger det.

def mail_pipeline(image_path):
    """Pipeline complet : classification -> extraction -> action."""

    # Étape 1 : Classification (modèle léger)
    classification = client.chat.complete(
        model="mistral-small-latest",
        response_format={"type": "json_object"},
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": 'Classifiez ce document : {"type": "facture|devis|contrat|courrier|autre", "urgence": "haute|moyenne|basse"}'},
                {"type": "image_url", "image_url": encoder_image(image_path)}
            ]
        }]
    )
    info = json.loads(classification.choices[0].message.content)
    print(f"Type : {info['type']} | Urgence : {info['urgence']}")

    # Étape 2 : Extraction détaillée (modèle puissant, seulement si nécessaire)
    if info["type"] == "facture":
        extraction = client.chat.complete(
            model="mistral-large-latest",
            response_format={"type": "json_object"},
            messages=[{
                "role": "user",
                "content": [
                    {"type": "text", "text": "Extrayez toutes les données de cette facture en JSON : emetteur, numero, date, lignes, total_ht, tva, total_ttc."},
                    {"type": "image_url", "image_url": encoder_image(image_path)}
                ]
            }]
        )
        data = json.loads(extraction.choices[0].message.content)
        return {"classification": info, "données": data}

    # Étape 3 : Résumé pour les autres types
    summary = client.chat.complete(
        model="mistral-small-latest",
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": "Résumez le contenu de ce document en 3 phrases maximum."},
                {"type": "image_url", "image_url": encoder_image(image_path)}
            ]
        }]
    )
    return {"classification": info, "summary": summary.choices[0].message.content}

# Traiter un lot de courrier
from pathlib import Path

for file in sorted(Path("courrier/").glob("*.jpg")):
    print(f"\n--- {file.name} ---")
    result = mail_pipeline(file)
    print(json.dumps(result, indent=2, ensure_ascii=False))

I en batch, hvor hver femte vare er en faktura, ser fire ud af fem dokumenter aldrig den dyre model, for identisk endelig kvalitet.

Opsamling på kurset

Gennem disse 12 lektioner er du gået fra mekanisme til anvendelse. Du forstod først den multimodale arkitektur og hvad der faktisk sker, når et billede enters modellen, og lærte derefter at vælge den variant, der passer til din arbejdsmængde – Large, Small eller Ministral. Derefter lærte du at sende billeder via URL og Base64, enkeltvis eller i batches. På dette grundlag kastede du dig over de anvendelser, der udgør hovedparten af det virkelige arbejde: analyse af diagrammer, læsning af tekst via OCR, udtrækning af strukturerede data, sammenligning af billeder til kvalitetskontrol og sporing af udvikling. Endelig lærte du at optimere dine kald for omkostninger, ventetid og pålidelighed samt at integrere vision i større pipelines takket være funktionskald.

Næste skridt

Fire retninger udvider naturligt denne vej. Først Document AI, hvis OCR 4 håndterer dokumenter, som Vision API ikke kan understøtte. Dernæst agenter, der kombinerer vision og funktionskald til at bygge systemer, der beslutter og handler. Så fine-tuning, hvis dine billeder har specifikationer, som ingen generalistmodel kender – et katalog over industrielle dele, en intern formular. Endelig Batch API, designet til at behandle tusindvis af billeder til reducerede omkostninger, når svartid ikke er kritisk. På længere sigt vil avancerede multimodale funktioner åbne vejen til video og lyd, når de bliver tilgængelige.

Vigtige pointer

  • Document AI (OCR 4) er det naturlige supplement til Vision API til komplekse dokumenter og PDF-filer
  • Funktionskald omdanner vision til en autonom agent, der er i stand til at handle på udtrukne data
  • En multimodal pipeline kombinerer klassificering (Small) og udtrækning (Large) for at optimere kvalitet og omkostninger
  • Mistral Vision API er en grundlæggende byggesten til opbygning af moderne AI-applikationer

Test din viden

Vision via API: fem spørgsmål til at forankre pipelinen.

1. Hvordan sender du et billede til Mistral API?

Svar: Via URL eller Base64-kodet, i en besked med blandet tekst + billede-indhold – og flere billeder kan rejse i samme besked til sammenligning.

2. Hvad muliggør vision udover beskrivelse?

Svar: Diagramanalyse, OCR (transskribering af tekst fra billeder) og udtrækning af strukturerede data – billedet bliver en datakilde, ikke en illustration.

3. Hvordan gør du struktureret udtrækning fra et billede pålideligt?

Svar: Angiv det forventede skema præcist (felter, format), anmod om fuldstændighed eller indrømmelse af fravær, og verificér kritiske værdier – vision promptes ligesom tekst.

4. Hvilke grænser skal du holde i mente?

Svar: Billedkvalitet betinger alt (opløsning, skarphed); meget lille tekst og komplekse layouts trætter modellen – optimer inputtet før du bebrejder outputtet.

5. Hvad er de naturlige opfølgere på dette kursus?

Svar: Document AI til komplette dokumenter, funktionskald for at forbinde udtrækning til dine systemer og multimodale pipelines, der kombinerer det hele.

URL eller Base64, præcise prompts, omhyggelige inputs: vision-pipelinen er klar – de næste skridt integrerer den i dine applikationer.