Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Estrazzjoni ta' Data Strutturata minn Immaġnijiet

Lezzjoni 9 / 12 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Ibiddel l-Immaġnijiet f’Data Azzjonabbli
  2. Il-Modalità JSON tal-API
  3. Estrai Tabella minn Immaġni
  4. Formoli u Dokumenti Amministrattivi
  5. Estrai Data minn Tikketta ta’ Prodott
  6. Pipeline ta’ Estrazzjoni b’Validazzjoni
  7. Ikkonverti għal CSV jew DataFrame
  8. Punti Ewlenin

Ibiddel l-Immaġnijiet f’Data Azzjonabbli

Il-lezzjoni preċedenti ffukat fuq it-traskrizzjoni tat-test; din il-waħda tmur pass ‘il quddiem billi tipproduċi data strutturata. L-estrazzjoni ta’ data strutturata tfisser li tittrasforma l-kontenut viżiv ta’ immaġni—tabella, formola, karta tan-negozju, jew tikketta—f’JSON, CSV, jew kwalunkwe format ieħor li l-kodiċi tiegħek jista’ jimmanipula direttament, mingħajr reviżjoni manwali.

L-impatt huwa akbar. Traskrizzjoni approssimattiva tista’ xorta tgħin lil qarrej uman, iżda n-nuqqas ta’ ċavetta waħda f’reazzjoni JSON se jwaqqa’ l-programm li jikkonsmah. Din il-lezzjoni tkopri ż-żewġ garanziji li għandek bżonn timplimenta: il-modalità JSON tal-API għall-validità sintattika, u l-validazzjoni tal-iskema għall-konformità man-negozju.

Il-Modalità JSON tal-API

Mistral joffri parametru response_format li jfurza l-mudell biex jirritorna JSON validu. Mingħajru, se titlef il-ħin tnaddaf ir-reazzjonijiet imgeżwra f’blokki Markdown jew preċeduti minn frażijiet introduttorji kortiżi.

from mistralai.client import Mistral
import os
import json

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": "Always return a valid JSON object with the data extracted from the image."
        },
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Extract the following data from this business card as JSON: name, title, company, email, phone, address."
                },
                {"type": "image_url", "image_url": data_uri_carte}
            ]
        }
    ]
)

# The result is directly parsable
donnees = json.loads(response.choices[0].message.content)
print(json.dumps(donnees, indent=2, ensure_ascii=False))

Is-sejħa json.loads taħdem mingħajr prekawzjonijiet speċjali: response_format={"type": "json_object"} tiggarantixxi output JSON sintattikament validu. Madankollu, ma tiggarantixxix liema ċwievet ikunu preżenti. Għalhekk għandek tiddeskrivi l-format mistenni fil-prompt innifsu, kif muri fl-eżempji hawn taħt.

Estrai Tabella minn Immaġni

Tabelli f’ritratti jew screenshots huma każ ta’ użu komuni, u hawnhekk fejn skema espliċita tagħmel l-akbar differenza. Mingħajr istruzzjonijiet ċari, il-mudell se jinventa l-istruttura tiegħu stess, li tista’ tkun differenti ma’ kull sejħa.

prompt_tableau = """Extract the content of this table as JSON.
Expected format:
{
  "columns": ["Column1", "Column2", ...],
  "rows": [
    {"Column1": "value", "Column2": "value"},
    ...
  ]
}
Read all visible rows. If a cell is empty, use null."""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_tableau},
                {"type": "image_url", "image_url": encoder_image("captures/tableau-excel.png")}
            ]
        }
    ]
)

donnees = json.loads(response.choices[0].message.content)
print(f"Columns: {donnees['columns']}")
print(f"Number of rows: {len(donnees['rows'])}")

L-istruzzjoni dwar iċ-ċelloli vojta hija kritika. Mingħajrha, il-mudell jista’ jċaqlaq il-valuri biex jimla l-vojt, u jħassar it-tabella. Li turi n-numru ta’ ringieli jipprovdi verifika immedjata tas-saħħa: jekk l-immaġni turi tnax-il ringiela iżda l-iskript jirrapporta tmienja, l-estrazzjoni mhix kompluta.

Formoli u Dokumenti Amministrattivi

Formoli mimlija jintroduċu żewġ sfidi: il-kitba bl-idejn u l-kaxxi tal-għażla (checkboxes), li m’għandhom l-ebda valur ta’ test. Għalhekk, l-iskema tiegħek trid tinkludi oqsma ddedikati għal dawn.

prompt_formulaire = """Analyze this filled form and extract all fields and their values.
Expected JSON format:
{
  "form_type": "...",
  "fields": {
    "field_name": "entered_value",
    ...
  },
  "checked_boxes": ["field1", "field2"],
  "signature_present": true/false
}
If a field is empty or illegible, use null."""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": "You are a precise form extractor. Return structured JSON."
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_formulaire},
                {"type": "image_url", "image_url": encoder_image("formulaires/cerfa-12345.jpg")}
            ]
        }
    ]
)

Estrai Data minn Tikketta ta’ Prodott

It-tikketti tal-ikel isegwu struttura standard: tabella ta’ fatti nutrittjonali kull 100 g, lista ta’ ingredjenti, u allerġeni. Tista’ tiddefinixxi l-iskema sa isem l-unità, u tevita li aktar tard tgħid x’inhu jekk “12” kienx jirreferi għal grammi jew kilokaloriji.

prompt_etiquette = """Extract the nutritional information from this label.
JSON format:
{
  "product_name": "...",
  "net_weight": "...",
  "nutrition_per_100g": {
    "energy_kcal": ...,
    "fat_g": ...,
    "saturated_fat_g": ...,
    "carbohydrates_g": ...,
    "sugars_g": ...,
    "protein_g": ...,
    "salt_g": ...
  },
  "ingredients": "...",
  "allergens": ["..."]
}"""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_etiquette},
                {"type": "image_url", "image_url": encoder_image("produits/etiquette.jpg")}
            ]
        }
    ]
)

produit = json.loads(response.choices[0].message.content)

Pipeline ta’ Estrazzjoni b’Validazzjoni

Fil-produzzjoni, il-garanziji sintattiċi mhumiex biżżejjed. Il-mudell jista’ jirritorna JSON perfettament validu fejn email jonqos, jew fejn phone fih numru sħiħ minflok stringa. Pydantic ibiddel dawn il-każijiet f’eċċezzjonijiet espliċiti fl-istadju tal-estrazzjoni, minflok tliet passi ‘l isfel fil-pipeline tiegħek.

from pydantic import BaseModel, Field
from typing import Optional
import json

class BusinessCard(BaseModel):
    last_name: str
    first_name: str
    title: Optional[str] = None
    company: Optional[str] = None
    email: Optional[str] = None
    phone: Optional[str] = None
    address: Optional[str] = None
    website: Optional[str] = None

def extract_business_card(image_path):
    """Extract and validate business card data."""
    response = client.chat.complete(
        model="mistral-large-latest",
        response_format={"type": "json_object"},
        messages=[
            {
                "role": "system",
                "content": "Extract data from this business card. Fields: last_name, first_name, title, company, email, phone, address, website. Return JSON."
            },
            {
                "role": "user",
                "content": [
                    {"type": "text", "text": "Extract information from this business card."},
                    {"type": "image_url", "image_url": encoder_image(image_path)}
                ]
            }
        ]
    )

    # Parse and validate with Pydantic
    raw_data = json.loads(response.choices[0].message.content)
    card = BusinessCard(**raw_data)
    return card

# Usage
card = extract_business_card("cartes/contact-dupont.jpg")
print(f"Contact: {card.first_name} {card.last_name} - {card.email}")

Innota d-distinzjoni bejn last_name: str u title: Optional[str] = None. Karta mingħajr isem hija estrazzjoni falluta; karta mingħajr titolu tax-xogħol hija każ normali. Inti tirregola din il-linja, u Pydantic tinforzaha.

Ikkonverti għal CSV jew DataFrame

L-aħħar pass huwa li tgħaqqad id-data mal-pipeline tal-ipproċessar tiegħek. Il-JSON prodott hawn fuq jikkonverti direttament:

import pandas as pd

# From an extracted table
donnees = json.loads(response.choices[0].message.content)

# Create a pandas DataFrame
df = pd.DataFrame(donnees["rows"])
print(df.to_string())

# Export to CSV
df.to_csv("export/tableau_extrait.csv", index=False, encoding="utf-8")

L-argumentu encoding="utf-8" waqt l-esportazzjoni huwa obbligatorju kull meta d-data tiegħek fiha karattri aċċentwati jew simboli tal-munita.

Punti Ewlenin

  • Il-parametru response_format={"type": "json_object"} jiggarantixxi output JSON validu
  • Dejjem ipprovdi skema JSON mistennija fil-prompt tiegħek biex tiggwida l-estrazzjoni
  • Uża Pydantic biex tivvalida d-data estratta fil-produzzjoni
  • Tabelli, formoli, tikketta, u karti tan-negozju huma miri ideali
  • Għaqqad l-estrazzjoni ma’ pandas għal integrazzjoni diretta fil-flussi tax-xogħol tad-data tiegħek