Extraheer gestructureerde gegevens uit afbeeldingen
Op deze pagina
Van afbeeldingen naar bruikbare gegevens
De vorige les richtte zich op het transcriberen van tekst; deze les gaat een stap verder door gestructureerde gegevens te produceren. Het extraheren van gestructureerde gegevens betekent dat u de visuele inhoud van een afbeelding—een tabel, formulier, visitekaartje of label—omzet naar JSON, CSV of een ander formaat dat uw code direct kan verwerken, zonder handmatige controle.
De stakes zijn hoger. Een bij benadering juiste transcriptie kan een menselijke lezer nog helpen, maar het ontbreken van een enkele sleutel in een JSON-respons laat het programma dat deze verwerkt crashen. Deze les behandelt de twee garanties die u moet implementeren: de JSON-modus van de API voor syntactische geldigheid, en schemavalidatie voor naleving van bedrijfsregels.
De JSON-modus van de API
Mistral biedt een parameter response_format waarmee u het model dwingt om geldige JSON terug te geven. Zonder deze parameter verspilt u tijd aan het opschonen van responsen die zijn verpakt in Markdown-blokken of voorafgegaan door beleefde inleidende zinnen.
from mistralai.client import Mistral
import os
import json
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Always return a valid JSON object with the data extracted from the image."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extract the following data from this business card as JSON: name, title, company, email, phone, address."
},
{"type": "image_url", "image_url": data_uri_carte}
]
}
]
)
# The result is directly parsable
donnees = json.loads(response.choices[0].message.content)
print(json.dumps(donnees, indent=2, ensure_ascii=False))
De aanroep json.loads verloopt zonder speciale voorzorgsmaatregelen: response_format={"type": "json_object"} garandeert syntactisch geldige JSON-uitvoer. Het garandeert echter niet welke sleutels aanwezig zijn. Daarom moet u het verwachte formaat in de prompt zelf beschrijven, zoals in de onderstaande voorbeelden wordt getoond.
Een tabel uit een afbeelding extraheren
Gefotografeerde tabellen of screenshots zijn een veelvoorkomende use-case, en dit is waar een expliciet schema het meest rendeert. Zonder duidelijke instructies bedenkt het model zijn eigen structuur, die bij elke aanroep kan verschillen.
prompt_tableau = """Extract the content of this table as JSON.
Expected format:
{
"columns": ["Column1", "Column2", ...],
"rows": [
{"Column1": "value", "Column2": "value"},
...
]
}
Read all visible rows. If a cell is empty, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_tableau},
{"type": "image_url", "image_url": encoder_image("captures/tableau-excel.png")}
]
}
]
)
donnees = json.loads(response.choices[0].message.content)
print(f"Columns: {donnees['columns']}")
print(f"Number of rows: {len(donnees['rows'])}")
De instructie over lege cellen is cruciaal. Zonder deze instructie kan het model waarden verschuiven om gaten op te vullen, waardoor de tabel wordt vervormd. Het weergeven van het aantal rijen biedt een directe sanity check: als de afbeelding twaalf rijen toont maar het script er acht meldt, is de extractie onvolledig.
Formulieren en administratieve documenten
Ingevulde formulieren introduceren twee uitdagingen: handschrift en selectievakjes, die geen tekstuele waarde hebben. Uw schema moet daarom specifieke velden voor deze elementen bevatten.
prompt_formulaire = """Analyze this filled form and extract all fields and their values.
Expected JSON format:
{
"form_type": "...",
"fields": {
"field_name": "entered_value",
...
},
"checked_boxes": ["field1", "field2"],
"signature_present": true/false
}
If a field is empty or illegible, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a precise form extractor. Return structured JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": prompt_formulaire},
{"type": "image_url", "image_url": encoder_image("formulaires/cerfa-12345.jpg")}
]
}
]
)
Gegevens van productlabels extraheren
Etiketten van levensmiddelen volgen een standaardstructuur: een voedingswaardetabel per 100 g, een lijst met ingrediënten en allergenen. U kunt het schema definiëren tot op het niveau van de eenheidsnaam, zodat u later niet hoeft te raden of “12” verwees naar gram of kilocalorieën.
prompt_etiquette = """Extract the nutritional information from this label.
JSON format:
{
"product_name": "...",
"net_weight": "...",
"nutrition_per_100g": {
"energy_kcal": ...,
"fat_g": ...,
"saturated_fat_g": ...,
"carbohydrates_g": ...,
"sugars_g": ...,
"protein_g": ...,
"salt_g": ...
},
"ingredients": "...",
"allergens": ["..."]
}"""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_etiquette},
{"type": "image_url", "image_url": encoder_image("produits/etiquette.jpg")}
]
}
]
)
produit = json.loads(response.choices[0].message.content)
Extractiepijplijn met validatie
In productieomgevingen zijn syntactische garanties niet voldoende. Het model kan perfect geldige JSON teruggeven waarin email ontbreekt, of waarin phone een integer bevat in plaats van een string. Pydantic zet deze gevallen om in expliciete uitzonderingen tijdens de extractiefase, in plaats van drie stappen verderop in uw pijplijn.
from pydantic import BaseModel, Field
from typing import Optional
import json
class BusinessCard(BaseModel):
last_name: str
first_name: str
title: Optional[str] = None
company: Optional[str] = None
email: Optional[str] = None
phone: Optional[str] = None
address: Optional[str] = None
website: Optional[str] = None
def extract_business_card(image_path):
"""Extract and validate business card data."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Extract data from this business card. Fields: last_name, first_name, title, company, email, phone, address, website. Return JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Extract information from this business card."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}
]
)
# Parse and validate with Pydantic
raw_data = json.loads(response.choices[0].message.content)
card = BusinessCard(**raw_data)
return card
# Usage
card = extract_business_card("cartes/contact-dupont.jpg")
print(f"Contact: {card.first_name} {card.last_name} - {card.email}")
Let op het onderscheid tussen last_name: str en title: Optional[str] = None. Een kaartje zonder naam is een mislukte extractie; een kaartje zonder functietitel is een normaal geval. U trekt die lijn, en Pydantic handhaaft deze.
Converteren naar CSV of DataFrame
De laatste stap is het voeden van uw gegevensverwerkingspijplijn. De hierboven geproduceerde JSON converteert direct:
import pandas as pd
# From an extracted table
donnees = json.loads(response.choices[0].message.content)
# Create a pandas DataFrame
df = pd.DataFrame(donnees["rows"])
print(df.to_string())
# Export to CSV
df.to_csv("export/tableau_extrait.csv", index=False, encoding="utf-8")
Het argument encoding="utf-8" tijdens het exporteren is verplicht wanneer uw gegevens tekens met accenten of valutasymbolen bevat.
Belangrijkste punten
- De parameter
response_format={"type": "json_object"}garandeert geldige JSON-uitvoer - Geef altijd een verwacht JSON-schema op in uw prompt om de extractie te sturen
- Gebruik Pydantic om geëxtraheerde gegevens in productieomgevingen te valideren
- Tabellen, formulieren, labels en visitekaartjes zijn ideale doelen
- Combineer extractie met pandas voor directe integratie in uw gegevensworkflows