Rakenteisen datan purkaminen kuvista
Tällä sivulla
Muuta kuvat toimintakelpoiseksi dataksi
Edellinen oppitunti keskittyi tekstin transkriptioon; tämä menee pidemmälle tuottamalla rakenteista dataa. Rakenteisen datan purkaminen tarkoittaa kuvan visuaalisen sisällön – olipa kyseessä taulukko, lomake, käyntikortti tai tuoteseloste – muuntamista JSON-, CSV- tai mihin tahansa muuhun formaattiin, jota koodisi voi käsitellä suoraan ilman manuaalista tarkastusta.
Panokset ovat korkeammat. Epätarkka transkriptio saattaa vielä auttaa ihmislukijaa, mutta yhden avaimen puuttuminen JSON-vastauksesta kaataa sen kuluttavan ohjelman. Tämä oppitunti kattaa kaksi toteuttamaasi takuuta: API:n JSON-tilan syntaktista validiteettia varten ja skeeman validoinnin liiketoimintasääntöjen noudattamiseksi.
API:n JSON-tila
Mistral tarjoaa response_format-parametrin, joka pakottaa mallin palauttamaan validia JSONia. Ilman sitä hukkaat aikaa siivoamalla vastauksia, jotka on kääritty Markdown-lohkoihin tai joita edeltävät kohteliaat johdantolauseet.
from mistralai.client import Mistral
import os
import json
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Always return a valid JSON object with the data extracted from the image."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extract the following data from this business card as JSON: name, title, company, email, phone, address."
},
{"type": "image_url", "image_url": data_uri_carte}
]
}
]
)
# The result is directly parsable
donnees = json.loads(response.choices[0].message.content)
print(json.dumps(donnees, indent=2, ensure_ascii=False))
json.loads-kutsu suoritetaan ilman erityisiä varotoimia: response_format={"type": "json_object"} takaa syntaktisesti validin JSON-tulosteen. Se ei kuitenkaan takaa, mitkä avaimet ovat läsnä. Siksi sinun on kuvattava odotettu formaatti itse kehotteessa, kuten alla olevissa esimerkeissä näytetään.
Taulukon purkaminen kuvasta
Valokuvatut taulukot tai kuvakaappaukset ovat yleinen käyttötapaus, ja juuri tässä eksplisiittinen skeema tuottaa suurimman hyödyn. Ilman selkeitä ohjeita malli keksii oman rakenteensa, joka voi vaihdella jokaisella kutsulla.
prompt_tableau = """Extract the content of this table as JSON.
Expected format:
{
"columns": ["Column1", "Column2", ...],
"rows": [
{"Column1": "value", "Column2": "value"},
...
]
}
Read all visible rows. If a cell is empty, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_tableau},
{"type": "image_url", "image_url": encoder_image("captures/tableau-excel.png")}
]
}
]
)
donnees = json.loads(response.choices[0].message.content)
print(f"Columns: {donnees['columns']}")
print(f"Number of rows: {len(donnees['rows'])}")
Ohjeistus tyhjien solujen käsittelystä on kriittinen. Ilman sitä malli saattaa siirtää arvoja täyttääkseen aukot, mikä vääristää taulukkoa. Rivimäärän näyttö tarjoaa välittömän järkevyystarkistuksen: jos kuvassa näkyy kaksitoista riviä, mutta skripti ilmoittaa kahdeksan, purkaus on epätäydellinen.
Lomakkeet ja hallinnolliset asiakirjat
Täytetyt lomakkeet tuovat mukanaan kaksi haastetta: käsinkirjoituksen ja valintaruutujen, joilla ei ole tekstiarvoa. Skeemasi on siksi sisällettävä omat kenttänsä näille.
prompt_formulaire = """Analyze this filled form and extract all fields and their values.
Expected JSON format:
{
"form_type": "...",
"fields": {
"field_name": "entered_value",
...
},
"checked_boxes": ["field1", "field2"],
"signature_present": true/false
}
If a field is empty or illegible, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a precise form extractor. Return structured JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": prompt_formulaire},
{"type": "image_url", "image_url": encoder_image("formulaires/cerfa-12345.jpg")}
]
}
]
)
Tuoteselosteen datan purkaminen
Elintarvikkeiden selosteet noudattavat vakiomaista rakennetta: ravintoarvotaulukko per 100 g, ainesosaluettelo ja allergeenit. Voit määritellä skeeman aina yksikön nimeä myöten, välttäen myöhemmän arvailun siitä, viittasiko “12” grammoihin vai kilokaloreihin.
prompt_etiquette = """Extract the nutritional information from this label.
JSON format:
{
"product_name": "...",
"net_weight": "...",
"nutrition_per_100g": {
"energy_kcal": ...,
"fat_g": ...,
"saturated_fat_g": ...,
"carbohydrates_g": ...,
"sugars_g": ...,
"protein_g": ...,
"salt_g": ...
},
"ingredients": "...",
"allergens": ["..."]
}"""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_etiquette},
{"type": "image_url", "image_url": encoder_image("produits/etiquette.jpg")}
]
}
]
)
produit = json.loads(response.choices[0].message.content)
Validoinnilla varustettu purkuputki
Tuotantoympäristössä syntaktiset takuut eivät riitä. Malli saattaa palauttaa täysin validia JSONia, jossa email puuttuu tai jossa phone sisältää kokonaisluvun merkkijonon sijaan. Pydantic muuttaa nämä tapaukset eksplisiittisiksi poikkeuksiksi jo purkusvaiheessa eikä vasta kolme askelta myöhemmin putkessasi.
from pydantic import BaseModel, Field
from typing import Optional
import json
class BusinessCard(BaseModel):
last_name: str
first_name: str
title: Optional[str] = None
company: Optional[str] = None
email: Optional[str] = None
phone: Optional[str] = None
address: Optional[str] = None
website: Optional[str] = None
def extract_business_card(image_path):
"""Extract and validate business card data."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Extract data from this business card. Fields: last_name, first_name, title, company, email, phone, address, website. Return JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Extract information from this business card."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}
]
)
# Parse and validate with Pydantic
raw_data = json.loads(response.choices[0].message.content)
card = BusinessCard(**raw_data)
return card
# Usage
card = extract_business_card("cartes/contact-dupont.jpg")
print(f"Contact: {card.first_name} {card.last_name} - {card.email}")
Huomaa ero last_name: str ja title: Optional[str] = None välillä. Kortti, jolta nimi puuttuu, on epäonnistunut purku; kortti, jolta ammattinimike puuttuu, on normaali tilanne. Sinä vedät tämän rajan, ja Pydantic valvoo sitä.
Muuntaminen CSV:ksi tai DataFrameksi
Viimeinen vaihe on syöttää data dataputkeesi. Yllä tuotettu JSON muuntuu suoraan:
import pandas as pd
# From an extracted table
donnees = json.loads(response.choices[0].message.content)
# Create a pandas DataFrame
df = pd.DataFrame(donnees["rows"])
print(df.to_string())
# Export to CSV
df.to_csv("export/tableau_extrait.csv", index=False, encoding="utf-8")
encoding="utf-8"-argumentti vientivaiheessa on pakollinen aina, kun datassasi on tarkkeellisia merkkejä tai valuuttasymboleita.
Keskeiset asiat
response_format={"type": "json_object"}-parametri takaa validin JSON-tulosteen- Anna aina odotettu JSON-skeema kehotteessasi ohjataksesi purkamista
- Käytä Pydanticia puretun datan validointiin tuotannossa
- Taulukot, lomakkeet, selosteet ja käyntikortit ovat ihanteellisia kohteita
- Yhdistä purkaminen pandas-kirjastoon integroidaksesi datan suoraan työskentelyvirtaasi