Extrahovanie štruktúrovaných dát z obrázkov
Na tejto strane
Premena obrázkov na použiteľné dáta
Predchádzajúca lekcia sa sústredila na prepis textu; táto ide ďalej produkciou štruktúrovaných dát. Extrakcia štruktúrovaných dát znamená transformáciu vizuálneho obsahu obrázka – či už tabuľky, formulára, vizitky alebo štítku – do formátu JSON, CSV alebo akéhokoľvek iného formátu, ktorý dokáže tvoj kód priamo spracovať bez potreby manuálnej kontroly.
Stávky sú vyššie. Približný prepis môže stále pomôcť ľudskému čitateľovi, ale chýbajúci kľúč v odpovedi JSON zhodí program, ktorý tieto dáta spracúva. Táto lekcia pokrýva dve záruky, ktoré musíš implementovať: režim JSON API pre syntaktickú platnosť a validáciu schémy pre súlad s obchodnými pravidlami.
Režim JSON v API
Mistral ponúka parameter response_format, ktorý prinúti model vrátiť platný JSON. Bez neho budeš strácať čas čistením odpovedí zabalených v blokoch Markdown alebo predchádzaných zdvorilostnými úvodnými vetami.
from mistralai.client import Mistral
import os
import json
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Always return a valid JSON object with the data extracted from the image."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extract the following data from this business card as JSON: name, title, company, email, phone, address."
},
{"type": "image_url", "image_url": data_uri_carte}
]
}
]
)
# The result is directly parsable
donnees = json.loads(response.choices[0].message.content)
print(json.dumps(donnees, indent=2, ensure_ascii=False))
Volanie json.loads prebehne bez špeciálnych opatrení: response_format={"type": "json_object"} garantuje syntakticky platný výstup JSON. Nezaručuje však, ktoré kľúče budú prítomné. Preto musíš očakávaný formát popísať priamo v prompte, ako ukazujú nasledujúce príklady.
Extrakcia tabuľky z obrázka
Odfotené tabuľky alebo snímky obrazovky sú bežným prípadom použitia a práve tu sa najviac vyplatí explicitná schéma. Bez jasných inštrukcií si model vymyslí vlastnú štruktúru, ktorá sa môže líšiť pri každom volaní.
prompt_tableau = """Extract the content of this table as JSON.
Expected format:
{
"columns": ["Column1", "Column2", ...],
"rows": [
{"Column1": "value", "Column2": "value"},
...
]
}
Read all visible rows. If a cell is empty, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_tableau},
{"type": "image_url", "image_url": encoder_image("captures/tableau-excel.png")}
]
}
]
)
donnees = json.loads(response.choices[0].message.content)
print(f"Columns: {donnees['columns']}")
print(f"Number of rows: {len(donnees['rows'])}")
Inštrukcia týkajúca sa prázdnych buniek je kritická. Bez nej by model mohol posunúť hodnoty, aby vyplnil medzery, čím by skreslil tabuľku. Zobrazenie počtu riadkov poskytuje okamžitú kontrolu správnosti: ak obrázok zobrazuje dvanásť riadkov, ale skript hlási osem, extrakcia je neúplná.
Formuláre a administratívne dokumenty
Vyplnené formuláre prinášajú dve výzvy: rukopis a zaškrtávacie políčka, ktoré nemajú textovú hodnotu. Tvoja schéma preto musí obsahovať vyhradené polia pre tieto prvky.
prompt_formulaire = """Analyze this filled form and extract all fields and their values.
Expected JSON format:
{
"form_type": "...",
"fields": {
"field_name": "entered_value",
...
},
"checked_boxes": ["field1", "field2"],
"signature_present": true/false
}
If a field is empty or illegible, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a precise form extractor. Return structured JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": prompt_formulaire},
{"type": "image_url", "image_url": encoder_image("formulaires/cerfa-12345.jpg")}
]
}
]
)
Extrakcia údajov zo štítkov produktov
Potravinárske štítky majú štandardnú štruktúru: tabuľku nutričných hodnôt na 100 g, zoznam zložiek a alergény. Schému môžeš definovať až po názvy jednotiek, čím sa vyhneš neskorším dohadom o tom, či „12“ znamenalo gramy alebo kilokalórie.
prompt_etiquette = """Extract the nutritional information from this label.
JSON format:
{
"product_name": "...",
"net_weight": "...",
"nutrition_per_100g": {
"energy_kcal": ...,
"fat_g": ...,
"saturated_fat_g": ...,
"carbohydrates_g": ...,
"sugars_g": ...,
"protein_g": ...,
"salt_g": ...
},
"ingredients": "...",
"allergens": ["..."]
}"""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_etiquette},
{"type": "image_url", "image_url": encoder_image("produits/etiquette.jpg")}
]
}
]
)
produit = json.loads(response.choices[0].message.content)
Extraktívny pipeline s validáciou
V produkčnom prostredí syntaktické záruky nestačia. Model môže vrátiť dokonale platný JSON, kde chýba email, alebo kde phone obsahuje celé číslo namiesto reťazca. Pydantic zmení tieto prípady na explicitné výnimky priamo vo fáze extrakcie, namiesto toho, aby sa chyba prejavila až o tri kroky nižšie v tvojom pipelene.
from pydantic import BaseModel, Field
from typing import Optional
import json
class BusinessCard(BaseModel):
last_name: str
first_name: str
title: Optional[str] = None
company: Optional[str] = None
email: Optional[str] = None
phone: Optional[str] = None
address: Optional[str] = None
website: Optional[str] = None
def extract_business_card(image_path):
"""Extract and validate business card data."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Extract data from this business card. Fields: last_name, first_name, title, company, email, phone, address, website. Return JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Extract information from this business card."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}
]
)
# Parse and validate with Pydantic
raw_data = json.loads(response.choices[0].message.content)
card = BusinessCard(**raw_data)
return card
# Usage
card = extract_business_card("cartes/contact-dupont.jpg")
print(f"Contact: {card.first_name} {card.last_name} - {card.email}")
Všimni si rozdiel medzi last_name: str a title: Optional[str] = None. Vizitka bez mena znamená neúspešnú extrakciu; vizitka bez pracovnej pozície je bežný prípad. Túto hranicu určuješ ty a Pydantic ju vynucuje.
Konverzia do CSV alebo DataFrame
Posledným krokom je nasýtenie tvojho pipeline na spracovanie dát. Vyššie vyprodukovaný JSON sa konvertuje priamo:
import pandas as pd
# From an extracted table
donnees = json.loads(response.choices[0].message.content)
# Create a pandas DataFrame
df = pd.DataFrame(donnees["rows"])
print(df.to_string())
# Export to CSV
df.to_csv("export/tableau_extrait.csv", index=False, encoding="utf-8")
Argument encoding="utf-8" počas exportu je povinný vždy, keď tvoje dáta obsahujú diakritiku alebo menové symboly.
Kľúčové poznatky
- Parameter
response_format={"type": "json_object"}garantuje platný výstup JSON - Vždy uveď očakávanú schému JSON v prompte, aby si nasmeroval extrakciu
- Použi Pydantic na validáciu extrahovaných dát v produkcii
- Tabuľky, formuláre, štítky a vizitky sú ideálnymi cieľmi
- Skombinuj extrakciu s knižnicou pandas pre priamu integráciu do tvojich dátových workflow