Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Extrahēt strukturētus datus no attēliem

Nodarbība 9 no 12 Atjaunota 2026. gada 2. novembris Programmētājs
Šajā lapā
  1. Pārvērt attēlus izmantojamos datos
  2. API JSON režīms
  3. Tabulas ekstrakcija no attēla
  4. Veidlapas un administratīvie dokumenti
  5. Produktu etiķešu datu ieguve
  6. Ekstrakcijas cauruļvads ar validāciju
  7. Konvertēšana uz CSV vai DataFrame
  8. Galvenās atziņas

Pārvērt attēlus izmantojamos datos

Iepriekšējā nodarbībā fokusējāmies uz teksta transkribēšanu; šī nodarbība iet vēl tālāk, ģenerējot strukturētus datus. Strukturētu datu ieguve nozīmē attēla vizuālā satura — tabulas, veidlapas, vizītkartes vai etiķetes — pārveidošanu formātā JSON, CSV vai jebkurā citā formātā, ko tavs kods var apstrādāt tieši, bez manuālas pārbaudes.

Stakes ir augstākas. Aptuvena transkripcija var vēl palīdzēt cilvēkam lasītājam, bet vienas atslēgas trūkums JSON atbildē izraisīs to programmu kļūmes, kas to patērē. Šajā nodarbībā aplūkotas divas garantijas, kas tev jāievieš: API JSON režīms sintaktiskai derīgumam un shēmas validācija biznesa atbilstībai.

API JSON režīms

Mistral piedāvā parametru response_format, kas piespiež modeli atgriezt derīgu JSON. Bez tā tu tērēsi laiku, tīrot atbildes, kas ietītas Markdown blokos vai kurām priekšā ir pieklājīgi ievadteikumi.

from mistralai.client import Mistral
import os
import json

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": "Always return a valid JSON object with the data extracted from the image."
        },
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Extract the following data from this business card as JSON: name, title, company, email, phone, address."
                },
                {"type": "image_url", "image_url": data_uri_carte}
            ]
        }
    ]
)

# The result is directly parsable
donnees = json.loads(response.choices[0].message.content)
print(json.dumps(donnees, indent=2, ensure_ascii=False))

Izsaukums json.loads darbojas bez īpašiem piesardzības pasākumiem: response_format={"type": "json_object"} garantē sintaktiski derīgu JSON izvadi. Tomēr tas negarantē, kuras atslēgas būs klāt. Tieši tāpēc tev ir jāapraksta sagaidāmais formāts pašā uzvednē (prompt), kā parādīts tālāk sniegtajos piemēros.

Tabulas ekstrakcija no attēla

No fotografētām tabulām vai ekrānuzņēmumiem iegūti dati ir izplatīts lietojums, un tieši šeit skaidra shēma atmaksājas visvairāk. Bez skaidriem norādījumiem modelis izgudros savu struktūru, kas var atšķirties katrā izsaukumā.

prompt_tableau = """Extract the content of this table as JSON.
Expected format:
{
  "columns": ["Column1", "Column2", ...],
  "rows": [
    {"Column1": "value", "Column2": "value"},
    ...
  ]
}
Read all visible rows. If a cell is empty, use null."""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_tableau},
                {"type": "image_url", "image_url": encoder_image("captures/tableau-excel.png")}
            ]
        }
    ]
)

donnees = json.loads(response.choices[0].message.content)
print(f"Columns: {donnees['columns']}")
print(f"Number of rows: {len(donnees['rows'])}")

Instrukcija par tukšām šūnām ir kritiska. Bez tās modelis var pārvietot vērtības, lai aizpildītu tukšumus, sagrozot tabulu. Rindu skaita parādīšana nodrošina tūlītēju veseluma pārbaudi: ja attēlā redzamas divpadsmit rindas, bet skripts ziņo par astoņām, ekstrakcija ir nepilnīga.

Veidlapas un administratīvie dokumenti

Aizpildītas veidlapas rada divus izaicinājumus: rokrakstu un izvēles rūtiņas, kurām nav teksta vērtības. Tāpēc tavai shēmai ir jāietver īpaši lauki šiem gadījumiem.

prompt_formulaire = """Analyze this filled form and extract all fields and their values.
Expected JSON format:
{
  "form_type": "...",
  "fields": {
    "field_name": "entered_value",
    ...
  },
  "checked_boxes": ["field1", "field2"],
  "signature_present": true/false
}
If a field is empty or illegible, use null."""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": "You are a precise form extractor. Return structured JSON."
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_formulaire},
                {"type": "image_url", "image_url": encoder_image("formulaires/cerfa-12345.jpg")}
            ]
        }
    ]
)

Produktu etiķešu datu ieguve

Pārtikas etiķetes ievēro standarta struktūru: uzturvērtības tabula uz 100 g, sastāvdaļu saraksts un alergēni. Tu vari definēt shēmu līdz pat mērvienību nosaukumiem, izvairoties no turpmākajām minējumiem par to, vai „12” attiecās uz gramiem vai kilokalorijām.

prompt_etiquette = """Extract the nutritional information from this label.
JSON format:
{
  "product_name": "...",
  "net_weight": "...",
  "nutrition_per_100g": {
    "energy_kcal": ...,
    "fat_g": ...,
    "saturated_fat_g": ...,
    "carbohydrates_g": ...,
    "sugars_g": ...,
    "protein_g": ...,
    "salt_g": ...
  },
  "ingredients": "...",
  "allergens": ["..."]
}"""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_etiquette},
                {"type": "image_url", "image_url": encoder_image("produits/etiquette.jpg")}
            ]
        }
    ]
)

produit = json.loads(response.choices[0].message.content)

Ekstrakcijas cauruļvads ar validāciju

Produkcijas vidē sintaktiskās garantijas nepietiek. Modelis var atgriezt pilnīgi derīgu JSON, kurā trūkst email vai kur phone satur veselu skaitli virknes vietā. Pydantic pārvērš šos gadījumus par skaidriem izņēmumiem jau ekstrakcijas posmā, nevis trīs soļus tālāk tavā cauruļvadā.

from pydantic import BaseModel, Field
from typing import Optional
import json

class BusinessCard(BaseModel):
    last_name: str
    first_name: str
    title: Optional[str] = None
    company: Optional[str] = None
    email: Optional[str] = None
    phone: Optional[str] = None
    address: Optional[str] = None
    website: Optional[str] = None

def extract_business_card(image_path):
    """Extract and validate business card data."""
    response = client.chat.complete(
        model="mistral-large-latest",
        response_format={"type": "json_object"},
        messages=[
            {
                "role": "system",
                "content": "Extract data from this business card. Fields: last_name, first_name, title, company, email, phone, address, website. Return JSON."
            },
            {
                "role": "user",
                "content": [
                    {"type": "text", "text": "Extract information from this business card."},
                    {"type": "image_url", "image_url": encoder_image(image_path)}
                ]
            }
        ]
    )

    # Parse and validate with Pydantic
    raw_data = json.loads(response.choices[0].message.content)
    card = BusinessCard(**raw_data)
    return card

# Usage
card = extract_business_card("cartes/contact-dupont.jpg")
print(f"Contact: {card.first_name} {card.last_name} - {card.email}")

Ņem vērā atšķirību starp last_name: str un title: Optional[str] = None. Vizītkarte bez uzvārda ir neizdevusies ekstrakcija; vizītkarte bez amata nosaukuma ir normāls gadījums. Tu nosaki šo robežu, un Pydantic to izpilda.

Konvertēšana uz CSV vai DataFrame

Pēdējais solis ir datu apstrādes cauruļvada barošana. Iepriekš iegūto JSON var konvertēt tieši:

import pandas as pd

# From an extracted table
donnees = json.loads(response.choices[0].message.content)

# Create a pandas DataFrame
df = pd.DataFrame(donnees["rows"])
print(df.to_string())

# Export to CSV
df.to_csv("export/tableau_extrait.csv", index=False, encoding="utf-8")

Arguments encoding="utf-8" eksportēšanas laikā ir obligāts, ja tavi dati satur diakritiskās zīmes vai valūtas simbolus.

Galvenās atziņas

  • Parametrs response_format={"type": "json_object"} garantē derīgu JSON izvadi
  • Vienmēr norādi sagaidāmo JSON shēmu savā uzvednē (prompt), lai vadītu ekstrakciju
  • Izmanto Pydantic, lai validētu iegūtos datus produkcijas vidē
  • Tabulas, veidlapas, etiķetes un vizītkartes ir ideāli mērķi
  • Apvieno ekstrakciju ar pandas, lai tieši integrētu datus savos datu darba plūsmos