Extragerea datelor structurate din imagini
Pe această pagină
Transformarea imaginilor în date acționabile
Lecția anterioară s-a concentrat pe transcrierea textului; aceasta merge mai departe prin producerea de date structurate. Extragerea datelor structurate înseamnă transformarea conținutului vizual al unei imagini—un tabel, un formular, o carte de vizită sau o etichetă—în JSON, CSV sau orice alt format pe care codul dumneavoastră îl poate manipula direct, fără revizuire manuală.
Miza este mai mare. O transcriere aproximativă ar putea totuși ajuta un cititor uman, dar lipsa unei singure chei într-un răspuns JSON va bloca programul care îl consumă. Această lecție acoperă cele două garanții pe care trebuie să le implementați: modul JSON al API-ului pentru validitatea sintactică și validarea schemei pentru conformitatea cu regulile de afaceri.
Modul JSON al API-ului
Mistral oferă un parametru response_format care forțează modelul să returneze un JSON valid. Fără acesta, veți pierde timp curățând răspunsuri încadrate în blocuri Markdown sau precedate de propoziții introductive politicoase.
from mistralai.client import Mistral
import os
import json
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Always return a valid JSON object with the data extracted from the image."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extract the following data from this business card as JSON: name, title, company, email, phone, address."
},
{"type": "image_url", "image_url": data_uri_carte}
]
}
]
)
# The result is directly parsable
donnees = json.loads(response.choices[0].message.content)
print(json.dumps(donnees, indent=2, ensure_ascii=False))
Apelul json.loads rulează fără precauții speciale: response_format={"type": "json_object"} garantează un output JSON sintactic valid. Totuși, nu garantează care chei sunt prezente. De aceea, trebuie să descrieți formatul așteptat chiar în prompt, așa cum se arată în exemplele de mai jos.
Extragerea unui tabel dintr-o imagine
Tabelele fotografiate sau capturile de ecran reprezintă un caz de utilizare frecvent, iar aici este locul unde o schemă explicită oferă cele mai mari beneficii. Fără instrucțiuni clare, modelul va inventa propria structură, care se poate modifica la fiecare apel.
prompt_tableau = """Extract the content of this table as JSON.
Expected format:
{
"columns": ["Column1", "Column2", ...],
"rows": [
{"Column1": "value", "Column2": "value"},
...
]
}
Read all visible rows. If a cell is empty, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_tableau},
{"type": "image_url", "image_url": encoder_image("captures/tableau-excel.png")}
]
}
]
)
donnees = json.loads(response.choices[0].message.content)
print(f"Columns: {donnees['columns']}")
print(f"Number of rows: {len(donnees['rows'])}")
Instrucțiunea privind celulele goale este critică. Fără ea, modelul ar putea deplasa valorile pentru a umple golurile, denaturând tabelul. Afișarea numărului de rânduri oferă o verificare imediată a coerenței: dacă imaginea arată doisprezece rânduri, dar scriptul raportează opt, extragerea este incompletă.
Formulare și documente administrative
Formularele completate introduc două provocări: scrisul de mână și casetele de bifat, care nu au o valoare textuală. Schema dumneavoastră trebuie, prin urmare, să includă câmpuri dedicate pentru acestea.
prompt_formulaire = """Analyze this filled form and extract all fields and their values.
Expected JSON format:
{
"form_type": "...",
"fields": {
"field_name": "entered_value",
...
},
"checked_boxes": ["field1", "field2"],
"signature_present": true/false
}
If a field is empty or illegible, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a precise form extractor. Return structured JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": prompt_formulaire},
{"type": "image_url", "image_url": encoder_image("formulaires/cerfa-12345.jpg")}
]
}
]
)
Extragerea datelor de pe etichetele produselor
Etichetele alimentare urmează o structură standard: un tabel cu informații nutriționale la 100 g, o listă de ingrediente și alergeni. Puteți defini schema până la numele unității de măsură, evitând astfel ghicitorile ulterioare privind dacă „12“ se referă la grame sau kilocalorii.
prompt_etiquette = """Extract the nutritional information from this label.
JSON format:
{
"product_name": "...",
"net_weight": "...",
"nutrition_per_100g": {
"energy_kcal": ...,
"fat_g": ...,
"saturated_fat_g": ...,
"carbohydrates_g": ...,
"sugars_g": ...,
"protein_g": ...,
"salt_g": ...
},
"ingredients": "...",
"allergens": ["..."]
}"""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_etiquette},
{"type": "image_url", "image_url": encoder_image("produits/etiquette.jpg")}
]
}
]
)
produit = json.loads(response.choices[0].message.content)
Flux de extragere cu validare
În producție, garanțiile sintactice nu sunt suficiente. Modelul ar putea returna un JSON perfect valid în care lipsește email sau în care phone conține un întreg în loc de un șir de caractere. Pydantic transformă aceste cazuri în excepții explicite chiar în etapa de extragere, și nu cu trei pași mai departe în fluxul dumneavoastră.
from pydantic import BaseModel, Field
from typing import Optional
import json
class BusinessCard(BaseModel):
last_name: str
first_name: str
title: Optional[str] = None
company: Optional[str] = None
email: Optional[str] = None
phone: Optional[str] = None
address: Optional[str] = None
website: Optional[str] = None
def extract_business_card(image_path):
"""Extract and validate business card data."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Extract data from this business card. Fields: last_name, first_name, title, company, email, phone, address, website. Return JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Extract information from this business card."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}
]
)
# Parse and validate with Pydantic
raw_data = json.loads(response.choices[0].message.content)
card = BusinessCard(**raw_data)
return card
# Usage
card = extract_business_card("cartes/contact-dupont.jpg")
print(f"Contact: {card.first_name} {card.last_name} - {card.email}")
Observați distincția dintre last_name: str și title: Optional[str] = None. O carte de vizită fără nume reprezintă o extragere eșuată; o carte de vizită fără funcție este un caz normal. Dumneavoastră trasați această linie, iar Pydantic o impune.
Conversia în CSV sau DataFrame
Pasul final constă în alimentarea fluxului dumneavoastră de procesare a datelor. JSON-ul produs mai sus se convertește direct:
import pandas as pd
# From an extracted table
donnees = json.loads(response.choices[0].message.content)
# Create a pandas DataFrame
df = pd.DataFrame(donnees["rows"])
print(df.to_string())
# Export to CSV
df.to_csv("export/tableau_extrait.csv", index=False, encoding="utf-8")
Argumentul encoding="utf-8" în timpul exportului este obligatoriu ori de câte ori datele dumneavoastră conțin caractere accentuate sau simboluri monetare.
Puncte cheie
- Parametrul
response_format={"type": "json_object"}garantează un output JSON valid - Furnizați întotdeauna o schemă JSON așteptată în prompt pentru a ghida extragerea
- Utilizați Pydantic pentru a valida datele extrase în producție
- Tabelele, formularele, etichetele și cărțile de vizită sunt ținte ideale
- Combinați extragerea cu pandas pentru o integrare directă în fluxurile dumneavoastră de date