Extrahování strukturovaných dat z obrázků
Na této stránce
Proměna obrázků na použitelná data
Minulá lekce se zaměřovala na přepis textu; tato jde ještě dál a vytváří strukturovaná data. Extrakce strukturovaných dat znamená transformaci vizuálního obsahu obrázku – tabulky, formuláře, vizitky nebo štítku – do formátu JSON, CSV nebo jakéhokoli jiného formátu, se kterým může tvůj kód přímo pracovat bez nutnosti ruční kontroly.
Sázky jsou vyšší. Přibližný přepis může člověku stále pomoci, ale chybějící jediný klíč v odpovědi JSON shodí program, který ji zpracovává. Tato lekce pokrývá dvě záruky, které musíš implementovat: režim JSON API pro syntaktickou platnost a validaci schématu pro soulad s obchodními pravidly.
Režim JSON v API
Mistral nabízí parametr response_format, který vynutí, aby model vrátil platné JSON. Bez něj budeš ztrácet čas čištěním odpovědí zabalených v blocích Markdown nebo uvozených zdvořilostními úvodními větami.
from mistralai.client import Mistral
import os
import json
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Always return a valid JSON object with the data extracted from the image."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extract the following data from this business card as JSON: name, title, company, email, phone, address."
},
{"type": "image_url", "image_url": data_uri_carte}
]
}
]
)
# The result is directly parsable
donnees = json.loads(response.choices[0].message.content)
print(json.dumps(donnees, indent=2, ensure_ascii=False))
Volání json.loads proběhne bez zvláštních opatření: response_format={"type": "json_object"} garantuje syntakticky platný výstup JSON. Nezaručuje však, které klíče budou přítomny. Proto musíš očekávaný formát popsat přímo v promptu, jak ukazují níže uvedené příklady.
Extrakce tabulky z obrázku
Fotografované tabulky nebo snímky obrazovky jsou častým případem použití a právě zde se nejvíce vyplatí explicitní schéma. Bez jasných pokynů si model vymyslí vlastní strukturu, která se může při každém volání lišit.
prompt_tableau = """Extract the content of this table as JSON.
Expected format:
{
"columns": ["Column1", "Column2", ...],
"rows": [
{"Column1": "value", "Column2": "value"},
...
]
}
Read all visible rows. If a cell is empty, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_tableau},
{"type": "image_url", "image_url": encoder_image("captures/tableau-excel.png")}
]
}
]
)
donnees = json.loads(response.choices[0].message.content)
print(f"Columns: {donnees['columns']}")
print(f"Number of rows: {len(donnees['rows'])}")
Pokyn týkající se prázdných buněk je zásadní. Bez něj může model posunout hodnoty, aby vyplnil mezery, a tím zkreslit tabulku. Zobrazení počtu řádků poskytuje okamžitou kontrolu sanity: pokud obrázek zobrazuje dvanáct řádků, ale skript hlásí osm, je extrakce neúplná.
Formuláře a úřední dokumenty
Vyplněné formuláře přinášejí dva problémy: rukopis a zaškrtávací políčka, která nemají textovou hodnotu. Tvé schéma proto musí zahrnovat vyhrazená pole pro tyto prvky.
prompt_formulaire = """Analyze this filled form and extract all fields and their values.
Expected JSON format:
{
"form_type": "...",
"fields": {
"field_name": "entered_value",
...
},
"checked_boxes": ["field1", "field2"],
"signature_present": true/false
}
If a field is empty or illegible, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a precise form extractor. Return structured JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": prompt_formulaire},
{"type": "image_url", "image_url": encoder_image("formulaires/cerfa-12345.jpg")}
]
}
]
)
Extrakce dat ze štítků produktů
Potravinářské štítky mají standardní strukturu: tabulku nutričních hodnot na 100 g, seznam složek a alergeny. Schéma můžeš definovat až na úrovni názvů jednotek, čímž se vyhneš pozdějším dohadům o tom, zda „12“ znamenalo gramy nebo kilokalorie.
prompt_etiquette = """Extract the nutritional information from this label.
JSON format:
{
"product_name": "...",
"net_weight": "...",
"nutrition_per_100g": {
"energy_kcal": ...,
"fat_g": ...,
"saturated_fat_g": ...,
"carbohydrates_g": ...,
"sugars_g": ...,
"protein_g": ...,
"salt_g": ...
},
"ingredients": "...",
"allergens": ["..."]
}"""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_etiquette},
{"type": "image_url", "image_url": encoder_image("produits/etiquette.jpg")}
]
}
]
)
produit = json.loads(response.choices[0].message.content)
Extrakční pipeline s validací
V produkčním prostředí syntaktické záruky nestačí. Model může vrátit dokonale platné JSON, kde chybí email, nebo kde phone obsahuje celé číslo místo řetězce. Pydantic promění tyto případy v explicitní výjimky již ve fázi extrakce, nikoli až o tři kroky dál v tvé pipeline.
from pydantic import BaseModel, Field
from typing import Optional
import json
class BusinessCard(BaseModel):
last_name: str
first_name: str
title: Optional[str] = None
company: Optional[str] = None
email: Optional[str] = None
phone: Optional[str] = None
address: Optional[str] = None
website: Optional[str] = None
def extract_business_card(image_path):
"""Extract and validate business card data."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Extract data from this business card. Fields: last_name, first_name, title, company, email, phone, address, website. Return JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Extract information from this business card."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}
]
)
# Parse and validate with Pydantic
raw_data = json.loads(response.choices[0].message.content)
card = BusinessCard(**raw_data)
return card
# Usage
card = extract_business_card("cartes/contact-dupont.jpg")
print(f"Contact: {card.first_name} {card.last_name} - {card.email}")
Všimni si rozdílu mezi last_name: str a title: Optional[str] = None. Vizitka bez jména znamená neúspěšnou extrakci; vizitka bez pracovního titulu je běžný případ. Tuto hranici určuješ ty a Pydantic ji vynucuje.
Převod do CSV nebo DataFrame
Posledním krokem je předání dat do tvé pipeline pro zpracování dat. Výše vytvořené JSON lze přímo převést:
import pandas as pd
# From an extracted table
donnees = json.loads(response.choices[0].message.content)
# Create a pandas DataFrame
df = pd.DataFrame(donnees["rows"])
print(df.to_string())
# Export to CSV
df.to_csv("export/tableau_extrait.csv", index=False, encoding="utf-8")
Argument encoding="utf-8" při exportu je povinný, kdykoli tvoje data obsahují diakritiku nebo symboly měn.
Klíčové poznatky
- Parametr
response_format={"type": "json_object"}garantuje platný výstup JSON - Vždy uveď očekávané schéma JSON ve svém promptu, abys naváděl extrakci
- Použij Pydantic k validaci extrahovaných dat v produkci
- Tabulky, formuláře, štítky a vizitky jsou ideálními cíli
- Zkombinuj extrakci s knihovnou pandas pro přímou integraci do svých datových workflow