Estrazzjoni ta' Data Strutturata minn Immaġnijiet
F'din il-paġna
Ibiddel l-Immaġnijiet f’Data Azzjonabbli
Il-lezzjoni preċedenti ffukat fuq it-traskrizzjoni tat-test; din il-waħda tmur pass ‘il quddiem billi tipproduċi data strutturata. L-estrazzjoni ta’ data strutturata tfisser li tittrasforma l-kontenut viżiv ta’ immaġni—tabella, formola, karta tan-negozju, jew tikketta—f’JSON, CSV, jew kwalunkwe format ieħor li l-kodiċi tiegħek jista’ jimmanipula direttament, mingħajr reviżjoni manwali.
L-impatt huwa akbar. Traskrizzjoni approssimattiva tista’ xorta tgħin lil qarrej uman, iżda n-nuqqas ta’ ċavetta waħda f’reazzjoni JSON se jwaqqa’ l-programm li jikkonsmah. Din il-lezzjoni tkopri ż-żewġ garanziji li għandek bżonn timplimenta: il-modalità JSON tal-API għall-validità sintattika, u l-validazzjoni tal-iskema għall-konformità man-negozju.
Il-Modalità JSON tal-API
Mistral joffri parametru response_format li jfurza l-mudell biex jirritorna JSON validu. Mingħajru, se titlef il-ħin tnaddaf ir-reazzjonijiet imgeżwra f’blokki Markdown jew preċeduti minn frażijiet introduttorji kortiżi.
from mistralai.client import Mistral
import os
import json
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Always return a valid JSON object with the data extracted from the image."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extract the following data from this business card as JSON: name, title, company, email, phone, address."
},
{"type": "image_url", "image_url": data_uri_carte}
]
}
]
)
# The result is directly parsable
donnees = json.loads(response.choices[0].message.content)
print(json.dumps(donnees, indent=2, ensure_ascii=False))
Is-sejħa json.loads taħdem mingħajr prekawzjonijiet speċjali: response_format={"type": "json_object"} tiggarantixxi output JSON sintattikament validu. Madankollu, ma tiggarantixxix liema ċwievet ikunu preżenti. Għalhekk għandek tiddeskrivi l-format mistenni fil-prompt innifsu, kif muri fl-eżempji hawn taħt.
Estrai Tabella minn Immaġni
Tabelli f’ritratti jew screenshots huma każ ta’ użu komuni, u hawnhekk fejn skema espliċita tagħmel l-akbar differenza. Mingħajr istruzzjonijiet ċari, il-mudell se jinventa l-istruttura tiegħu stess, li tista’ tkun differenti ma’ kull sejħa.
prompt_tableau = """Extract the content of this table as JSON.
Expected format:
{
"columns": ["Column1", "Column2", ...],
"rows": [
{"Column1": "value", "Column2": "value"},
...
]
}
Read all visible rows. If a cell is empty, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_tableau},
{"type": "image_url", "image_url": encoder_image("captures/tableau-excel.png")}
]
}
]
)
donnees = json.loads(response.choices[0].message.content)
print(f"Columns: {donnees['columns']}")
print(f"Number of rows: {len(donnees['rows'])}")
L-istruzzjoni dwar iċ-ċelloli vojta hija kritika. Mingħajrha, il-mudell jista’ jċaqlaq il-valuri biex jimla l-vojt, u jħassar it-tabella. Li turi n-numru ta’ ringieli jipprovdi verifika immedjata tas-saħħa: jekk l-immaġni turi tnax-il ringiela iżda l-iskript jirrapporta tmienja, l-estrazzjoni mhix kompluta.
Formoli u Dokumenti Amministrattivi
Formoli mimlija jintroduċu żewġ sfidi: il-kitba bl-idejn u l-kaxxi tal-għażla (checkboxes), li m’għandhom l-ebda valur ta’ test. Għalhekk, l-iskema tiegħek trid tinkludi oqsma ddedikati għal dawn.
prompt_formulaire = """Analyze this filled form and extract all fields and their values.
Expected JSON format:
{
"form_type": "...",
"fields": {
"field_name": "entered_value",
...
},
"checked_boxes": ["field1", "field2"],
"signature_present": true/false
}
If a field is empty or illegible, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a precise form extractor. Return structured JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": prompt_formulaire},
{"type": "image_url", "image_url": encoder_image("formulaires/cerfa-12345.jpg")}
]
}
]
)
Estrai Data minn Tikketta ta’ Prodott
It-tikketti tal-ikel isegwu struttura standard: tabella ta’ fatti nutrittjonali kull 100 g, lista ta’ ingredjenti, u allerġeni. Tista’ tiddefinixxi l-iskema sa isem l-unità, u tevita li aktar tard tgħid x’inhu jekk “12” kienx jirreferi għal grammi jew kilokaloriji.
prompt_etiquette = """Extract the nutritional information from this label.
JSON format:
{
"product_name": "...",
"net_weight": "...",
"nutrition_per_100g": {
"energy_kcal": ...,
"fat_g": ...,
"saturated_fat_g": ...,
"carbohydrates_g": ...,
"sugars_g": ...,
"protein_g": ...,
"salt_g": ...
},
"ingredients": "...",
"allergens": ["..."]
}"""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_etiquette},
{"type": "image_url", "image_url": encoder_image("produits/etiquette.jpg")}
]
}
]
)
produit = json.loads(response.choices[0].message.content)
Pipeline ta’ Estrazzjoni b’Validazzjoni
Fil-produzzjoni, il-garanziji sintattiċi mhumiex biżżejjed. Il-mudell jista’ jirritorna JSON perfettament validu fejn email jonqos, jew fejn phone fih numru sħiħ minflok stringa. Pydantic ibiddel dawn il-każijiet f’eċċezzjonijiet espliċiti fl-istadju tal-estrazzjoni, minflok tliet passi ‘l isfel fil-pipeline tiegħek.
from pydantic import BaseModel, Field
from typing import Optional
import json
class BusinessCard(BaseModel):
last_name: str
first_name: str
title: Optional[str] = None
company: Optional[str] = None
email: Optional[str] = None
phone: Optional[str] = None
address: Optional[str] = None
website: Optional[str] = None
def extract_business_card(image_path):
"""Extract and validate business card data."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Extract data from this business card. Fields: last_name, first_name, title, company, email, phone, address, website. Return JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Extract information from this business card."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}
]
)
# Parse and validate with Pydantic
raw_data = json.loads(response.choices[0].message.content)
card = BusinessCard(**raw_data)
return card
# Usage
card = extract_business_card("cartes/contact-dupont.jpg")
print(f"Contact: {card.first_name} {card.last_name} - {card.email}")
Innota d-distinzjoni bejn last_name: str u title: Optional[str] = None. Karta mingħajr isem hija estrazzjoni falluta; karta mingħajr titolu tax-xogħol hija każ normali. Inti tirregola din il-linja, u Pydantic tinforzaha.
Ikkonverti għal CSV jew DataFrame
L-aħħar pass huwa li tgħaqqad id-data mal-pipeline tal-ipproċessar tiegħek. Il-JSON prodott hawn fuq jikkonverti direttament:
import pandas as pd
# From an extracted table
donnees = json.loads(response.choices[0].message.content)
# Create a pandas DataFrame
df = pd.DataFrame(donnees["rows"])
print(df.to_string())
# Export to CSV
df.to_csv("export/tableau_extrait.csv", index=False, encoding="utf-8")
L-argumentu encoding="utf-8" waqt l-esportazzjoni huwa obbligatorju kull meta d-data tiegħek fiha karattri aċċentwati jew simboli tal-munita.
Punti Ewlenin
- Il-parametru
response_format={"type": "json_object"}jiggarantixxi output JSON validu - Dejjem ipprovdi skema JSON mistennija fil-prompt tiegħek biex tiggwida l-estrazzjoni
- Uża Pydantic biex tivvalida d-data estratta fil-produzzjoni
- Tabelli, formoli, tikketta, u karti tan-negozju huma miri ideali
- Għaqqad l-estrazzjoni ma’ pandas għal integrazzjoni diretta fil-flussi tax-xogħol tad-data tiegħek