Udtræk strukturerede data fra billeder
På denne side
Gør billeder til handlingsdygtige data
Den forrige lektion fokuserede på at transskribere tekst; denne går et skridt videre ved at producere strukturerede data. At udtrække strukturerede data betyder at transformere det visuelle indhold i et billede – en tabel, en formular, et visitkort eller en etiket – til JSON, CSV eller ethvert andet format, som din kode kan manipulere direkte uden manuel gennemgang.
Indsatsen er højere. En omtrentlig transskription kan måske stadig hjælpe en menneskelig læser, men mangler du en enkelt nøgle i et JSON-svar, vil programmet, der bruger det, crashe. Denne lektion dækker de to garantier, du skal implementere: API’ets JSON-tilstand for syntaktisk gyldighed og skemavalidering for overholdelse af forretningsregler.
API’ets JSON-tilstand
Mistral tilbyder en parameter response_format, der tvinger modellen til at returnere gyldig JSON. Uden den vil du spilde tid på at rydde op i svar, der er pakket ind i Markdown-blokke eller indledt af høflige introduktionssætninger.
from mistralai.client import Mistral
import os
import json
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Always return a valid JSON object with the data extracted from the image."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extract the following data from this business card as JSON: name, title, company, email, phone, address."
},
{"type": "image_url", "image_url": data_uri_carte}
]
}
]
)
# The result is directly parsable
donnees = json.loads(response.choices[0].message.content)
print(json.dumps(donnees, indent=2, ensure_ascii=False))
Kaldet json.loads kører uden særlige forholdsregler: response_format={"type": "json_object"} garanterer syntaktisk gyldigt JSON-output. Det garanterer dog ikke, hvilke nøgler der er til stede. Derfor skal du beskrive det forventede format selve prompten, som vist i eksemplerne nedenfor.
Udtræk en tabel fra et billede
Fotograferede tabeller eller screenshots er et almindeligt brugstilfælde, og det er her, et eksplicit skema betaler sig mest. Uden klare instrukser vil modellen opfinde sin egen struktur, som kan variere ved hvert kald.
prompt_tableau = """Extract the content of this table as JSON.
Expected format:
{
"columns": ["Column1", "Column2", ...],
"rows": [
{"Column1": "value", "Column2": "value"},
...
]
}
Read all visible rows. If a cell is empty, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_tableau},
{"type": "image_url", "image_url": encoder_image("captures/tableau-excel.png")}
]
}
]
)
donnees = json.loads(response.choices[0].message.content)
print(f"Columns: {donnees['columns']}")
print(f"Number of rows: {len(donnees['rows'])}")
Instruksen vedrørende tomme celler er afgørende. Uden den kan modellen flytte værdier for at udfylde huller, hvilket fordrejer tabellen. At vise antallet af rækker giver en øjeblikkelig sanity check: Hvis billedet viser tolv rækker, men scriptet rapporterer otte, er udtrækningen ufuldstændig.
Formularer og administrative dokumenter
Udfyldte formularer introducerer to udfordringer: håndskrift og afkrydsningsfelter, som ikke har nogen tekstværdi. Dit skema skal derfor indeholde dedikerede felter til disse.
prompt_formulaire = """Analyze this filled form and extract all fields and their values.
Expected JSON format:
{
"form_type": "...",
"fields": {
"field_name": "entered_value",
...
},
"checked_boxes": ["field1", "field2"],
"signature_present": true/false
}
If a field is empty or illegible, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a precise form extractor. Return structured JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": prompt_formulaire},
{"type": "image_url", "image_url": encoder_image("formulaires/cerfa-12345.jpg")}
]
}
]
)
Udtræk data fra produktetiketter
Fødevareetiketter følger en standardstruktur: en næringsdeklaration pr. 100 g, en ingrediensliste og allergener. Du kan definere skemaet helt ned til enhedsnavnet og undgå gætterier senere om, hvorvidt „12” refererede til gram eller kilokalorier.
prompt_etiquette = """Extract the nutritional information from this label.
JSON format:
{
"product_name": "...",
"net_weight": "...",
"nutrition_per_100g": {
"energy_kcal": ...,
"fat_g": ...,
"saturated_fat_g": ...,
"carbohydrates_g": ...,
"sugars_g": ...,
"protein_g": ...,
"salt_g": ...
},
"ingredients": "...",
"allergens": ["..."]
}"""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_etiquette},
{"type": "image_url", "image_url": encoder_image("produits/etiquette.jpg")}
]
}
]
)
produit = json.loads(response.choices[0].message.content)
Udtrækningspipeline med validering
I produktion er syntaktiske garantier ikke nok. Modellen kan returnere perfekt gyldig JSON, hvor email mangler, eller hvor phone indeholder et heltal i stedet for en streng. Pydantic omdanner disse tilfælde til eksplicitte undtagelser på udtrækningstidspunktet i stedet for tre trin længere nede i din pipeline.
from pydantic import BaseModel, Field
from typing import Optional
import json
class BusinessCard(BaseModel):
last_name: str
first_name: str
title: Optional[str] = None
company: Optional[str] = None
email: Optional[str] = None
phone: Optional[str] = None
address: Optional[str] = None
website: Optional[str] = None
def extract_business_card(image_path):
"""Extract and validate business card data."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Extract data from this business card. Fields: last_name, first_name, title, company, email, phone, address, website. Return JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Extract information from this business card."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}
]
)
# Parse and validate with Pydantic
raw_data = json.loads(response.choices[0].message.content)
card = BusinessCard(**raw_data)
return card
# Usage
card = extract_business_card("cartes/contact-dupont.jpg")
print(f"Contact: {card.first_name} {card.last_name} - {card.email}")
Bemærk forskellen mellem last_name: str og title: Optional[str] = None. Et kort uden navn er en mislykket udtrækning; et kort uden jobtitel er en normal situation. Du trækker den grænse, og Pydantic håndhæver den.
Konverter til CSV eller DataFrame
Det sidste skridt er at fodre din dataprocesseringspipeline. JSON’en produceret ovenfor konverteres direkte:
import pandas as pd
# From an extracted table
donnees = json.loads(response.choices[0].message.content)
# Create a pandas DataFrame
df = pd.DataFrame(donnees["rows"])
print(df.to_string())
# Export to CSV
df.to_csv("export/tableau_extrait.csv", index=False, encoding="utf-8")
Argumentet encoding="utf-8" under eksport er obligatorisk, når dine data indeholder accenterede tegn eller valutasymboler.
Vigtige pointer
- Parameteren
response_format={"type": "json_object"}garanterer gyldigt JSON-output - Angiv altid et forventet JSON-skema i din prompt for at styre udtrækningen
- Brug Pydantic til at validere udtrukne data i produktion
- Tabeller, formularer, etiketter og visitkort er ideelle mål
- Kombiner udtrækning med pandas for direkte integration i dine data-workflows