Extrahēt strukturētus datus no attēliem
Šajā lapā
Pārvērt attēlus izmantojamos datos
Iepriekšējā nodarbībā fokusējāmies uz teksta transkribēšanu; šī nodarbība iet vēl tālāk, ģenerējot strukturētus datus. Strukturētu datu ieguve nozīmē attēla vizuālā satura — tabulas, veidlapas, vizītkartes vai etiķetes — pārveidošanu formātā JSON, CSV vai jebkurā citā formātā, ko tavs kods var apstrādāt tieši, bez manuālas pārbaudes.
Stakes ir augstākas. Aptuvena transkripcija var vēl palīdzēt cilvēkam lasītājam, bet vienas atslēgas trūkums JSON atbildē izraisīs to programmu kļūmes, kas to patērē. Šajā nodarbībā aplūkotas divas garantijas, kas tev jāievieš: API JSON režīms sintaktiskai derīgumam un shēmas validācija biznesa atbilstībai.
API JSON režīms
Mistral piedāvā parametru response_format, kas piespiež modeli atgriezt derīgu JSON. Bez tā tu tērēsi laiku, tīrot atbildes, kas ietītas Markdown blokos vai kurām priekšā ir pieklājīgi ievadteikumi.
from mistralai.client import Mistral
import os
import json
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Always return a valid JSON object with the data extracted from the image."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extract the following data from this business card as JSON: name, title, company, email, phone, address."
},
{"type": "image_url", "image_url": data_uri_carte}
]
}
]
)
# The result is directly parsable
donnees = json.loads(response.choices[0].message.content)
print(json.dumps(donnees, indent=2, ensure_ascii=False))
Izsaukums json.loads darbojas bez īpašiem piesardzības pasākumiem: response_format={"type": "json_object"} garantē sintaktiski derīgu JSON izvadi. Tomēr tas negarantē, kuras atslēgas būs klāt. Tieši tāpēc tev ir jāapraksta sagaidāmais formāts pašā uzvednē (prompt), kā parādīts tālāk sniegtajos piemēros.
Tabulas ekstrakcija no attēla
No fotografētām tabulām vai ekrānuzņēmumiem iegūti dati ir izplatīts lietojums, un tieši šeit skaidra shēma atmaksājas visvairāk. Bez skaidriem norādījumiem modelis izgudros savu struktūru, kas var atšķirties katrā izsaukumā.
prompt_tableau = """Extract the content of this table as JSON.
Expected format:
{
"columns": ["Column1", "Column2", ...],
"rows": [
{"Column1": "value", "Column2": "value"},
...
]
}
Read all visible rows. If a cell is empty, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_tableau},
{"type": "image_url", "image_url": encoder_image("captures/tableau-excel.png")}
]
}
]
)
donnees = json.loads(response.choices[0].message.content)
print(f"Columns: {donnees['columns']}")
print(f"Number of rows: {len(donnees['rows'])}")
Instrukcija par tukšām šūnām ir kritiska. Bez tās modelis var pārvietot vērtības, lai aizpildītu tukšumus, sagrozot tabulu. Rindu skaita parādīšana nodrošina tūlītēju veseluma pārbaudi: ja attēlā redzamas divpadsmit rindas, bet skripts ziņo par astoņām, ekstrakcija ir nepilnīga.
Veidlapas un administratīvie dokumenti
Aizpildītas veidlapas rada divus izaicinājumus: rokrakstu un izvēles rūtiņas, kurām nav teksta vērtības. Tāpēc tavai shēmai ir jāietver īpaši lauki šiem gadījumiem.
prompt_formulaire = """Analyze this filled form and extract all fields and their values.
Expected JSON format:
{
"form_type": "...",
"fields": {
"field_name": "entered_value",
...
},
"checked_boxes": ["field1", "field2"],
"signature_present": true/false
}
If a field is empty or illegible, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a precise form extractor. Return structured JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": prompt_formulaire},
{"type": "image_url", "image_url": encoder_image("formulaires/cerfa-12345.jpg")}
]
}
]
)
Produktu etiķešu datu ieguve
Pārtikas etiķetes ievēro standarta struktūru: uzturvērtības tabula uz 100 g, sastāvdaļu saraksts un alergēni. Tu vari definēt shēmu līdz pat mērvienību nosaukumiem, izvairoties no turpmākajām minējumiem par to, vai „12” attiecās uz gramiem vai kilokalorijām.
prompt_etiquette = """Extract the nutritional information from this label.
JSON format:
{
"product_name": "...",
"net_weight": "...",
"nutrition_per_100g": {
"energy_kcal": ...,
"fat_g": ...,
"saturated_fat_g": ...,
"carbohydrates_g": ...,
"sugars_g": ...,
"protein_g": ...,
"salt_g": ...
},
"ingredients": "...",
"allergens": ["..."]
}"""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_etiquette},
{"type": "image_url", "image_url": encoder_image("produits/etiquette.jpg")}
]
}
]
)
produit = json.loads(response.choices[0].message.content)
Ekstrakcijas cauruļvads ar validāciju
Produkcijas vidē sintaktiskās garantijas nepietiek. Modelis var atgriezt pilnīgi derīgu JSON, kurā trūkst email vai kur phone satur veselu skaitli virknes vietā. Pydantic pārvērš šos gadījumus par skaidriem izņēmumiem jau ekstrakcijas posmā, nevis trīs soļus tālāk tavā cauruļvadā.
from pydantic import BaseModel, Field
from typing import Optional
import json
class BusinessCard(BaseModel):
last_name: str
first_name: str
title: Optional[str] = None
company: Optional[str] = None
email: Optional[str] = None
phone: Optional[str] = None
address: Optional[str] = None
website: Optional[str] = None
def extract_business_card(image_path):
"""Extract and validate business card data."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Extract data from this business card. Fields: last_name, first_name, title, company, email, phone, address, website. Return JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Extract information from this business card."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}
]
)
# Parse and validate with Pydantic
raw_data = json.loads(response.choices[0].message.content)
card = BusinessCard(**raw_data)
return card
# Usage
card = extract_business_card("cartes/contact-dupont.jpg")
print(f"Contact: {card.first_name} {card.last_name} - {card.email}")
Ņem vērā atšķirību starp last_name: str un title: Optional[str] = None. Vizītkarte bez uzvārda ir neizdevusies ekstrakcija; vizītkarte bez amata nosaukuma ir normāls gadījums. Tu nosaki šo robežu, un Pydantic to izpilda.
Konvertēšana uz CSV vai DataFrame
Pēdējais solis ir datu apstrādes cauruļvada barošana. Iepriekš iegūto JSON var konvertēt tieši:
import pandas as pd
# From an extracted table
donnees = json.loads(response.choices[0].message.content)
# Create a pandas DataFrame
df = pd.DataFrame(donnees["rows"])
print(df.to_string())
# Export to CSV
df.to_csv("export/tableau_extrait.csv", index=False, encoding="utf-8")
Arguments encoding="utf-8" eksportēšanas laikā ir obligāts, ja tavi dati satur diakritiskās zīmes vai valūtas simbolus.
Galvenās atziņas
- Parametrs
response_format={"type": "json_object"}garantē derīgu JSON izvadi - Vienmēr norādi sagaidāmo JSON shēmu savā uzvednē (prompt), lai vadītu ekstrakciju
- Izmanto Pydantic, lai validētu iegūtos datus produkcijas vidē
- Tabulas, veidlapas, etiķetes un vizītkartes ir ideāli mērķi
- Apvieno ekstrakciju ar pandas, lai tieši integrētu datus savos datu darba plūsmos