Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Izloži strukturirane podatke iz slik

Lekcija 9 od 12 Posodobljeno 2. november 2026 Razvijalec
Na tej strani
  1. Spremeni slike v uporabne podatke
  2. Način JSON API-ja
  3. Izloči tabelo iz slike
  4. Obrazci in upravni dokumenti
  5. Izloči podatke z etiket izdelkov
  6. Cevovod za izločanje z validacijo
  7. Pretvorba v CSV ali DataFrame
  8. Ključne ugotovitve

Spremeni slike v uporabne podatke

Prejšnja lekcija se je osredotočala na prepis besedila; ta gre korak dlje in proizvaja strukturirane podatke. Izločanje strukturiranih podatkov pomeni pretvorbo vizualne vsebine slike – tabele, obrazca, vizitke ali etikete – v JSON, CSV ali katero koli drugo obliko, s katero lahko tvoja koda neposredno upravlja, brez ročnega pregledovanja.

Stavke so višji. Približen prepis morda še vedno pomaga človeškemu bralcu, vendar bo manjkajoči ključ v odzivu JSON sesul program, ki ga porabi. Ta lekcija pokriva dve jamstvi, ki ju moraš implementirati: način JSON API-ja za sintaktično veljavnost in validacijo sheme za skladnost s poslovnimi pravili.

Način JSON API-ja

Mistral ponuja parameter response_format, ki prisili model, da vrne veljaven JSON. Brez njega boš zapravljal čas s čiščenjem odzivov, ovitih v bloke Markdown ali jim sledijo vljudnostni uvodni stavki.

from mistralai.client import Mistral
import os
import json

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": "Always return a valid JSON object with the data extracted from the image."
        },
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Extract the following data from this business card as JSON: name, title, company, email, phone, address."
                },
                {"type": "image_url", "image_url": data_uri_carte}
            ]
        }
    ]
)

# The result is directly parsable
donnees = json.loads(response.choices[0].message.content)
print(json.dumps(donnees, indent=2, ensure_ascii=False))

Klic json.loads se izvede brez posebnih previdnostnih ukrepov: response_format={"type": "json_object"} zagotavlja sintaktično veljaven izhod JSON. Vendar ne zagotavlja, kateri ključi so prisotni. Zato moraš pričakovano obliko opisati neposredno v pozivu, kot je prikazano v spodnjih primerih.

Izloči tabelo iz slike

Slikane tabele ali posnetki zaslona so pogost primer uporabe in prav tukaj se eksplicitna shema najbolj izplača. Brez jasnih navodil bo model izumil lastno strukturo, ki se lahko razlikuje pri vsakem klicu.

prompt_tableau = """Extract the content of this table as JSON.
Expected format:
{
  "columns": ["Column1", "Column2", ...],
  "rows": [
    {"Column1": "value", "Column2": "value"},
    ...
  ]
}
Read all visible rows. If a cell is empty, use null."""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_tableau},
                {"type": "image_url", "image_url": encoder_image("captures/tableau-excel.png")}
            ]
        }
    ]
)

donnees = json.loads(response.choices[0].message.content)
print(f"Columns: {donnees['columns']}")
print(f"Number of rows: {len(donnees['rows'])}")

Navodilo glede praznih celic je ključno. Brez njega bi model lahko premaknil vrednosti, da zapolni vrzeli, in tako izkrivil tabelo. Prikaz števila vrstic zagotavlja takojšnjo preverjanje smiselnosti: če slika prikazuje dvanajst vrstic, skripta pa poroča o osmih, je izločanje nepopolno.

Obrazci in upravni dokumenti

Izpolnjeni obrazci uvajajo dva izziva: rokopis in potrditvena polja, ki nimajo besedilne vrednosti. Tvoja shema mora zato vključevati namensko polja za te primere.

prompt_formulaire = """Analyze this filled form and extract all fields and their values.
Expected JSON format:
{
  "form_type": "...",
  "fields": {
    "field_name": "entered_value",
    ...
  },
  "checked_boxes": ["field1", "field2"],
  "signature_present": true/false
}
If a field is empty or illegible, use null."""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": "You are a precise form extractor. Return structured JSON."
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_formulaire},
                {"type": "image_url", "image_url": encoder_image("formulaires/cerfa-12345.jpg")}
            ]
        }
    ]
)

Izloči podatke z etiket izdelkov

Živilske etikete sledijo standardni strukturi: tabela hranilnih vrednosti na 100 g, seznam sestavin in alergeni. Shemo lahko definiraš vse do imena enote, s čimer se izogneš kasnejšemu ugibanju, ali se je „12” nanašalo na grame ali kilokalorije.

prompt_etiquette = """Extract the nutritional information from this label.
JSON format:
{
  "product_name": "...",
  "net_weight": "...",
  "nutrition_per_100g": {
    "energy_kcal": ...,
    "fat_g": ...,
    "saturated_fat_g": ...,
    "carbohydrates_g": ...,
    "sugars_g": ...,
    "protein_g": ...,
    "salt_g": ...
  },
  "ingredients": "...",
  "allergens": ["..."]
}"""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_etiquette},
                {"type": "image_url", "image_url": encoder_image("produits/etiquette.jpg")}
            ]
        }
    ]
)

produit = json.loads(response.choices[0].message.content)

Cevovod za izločanje z validacijo

V produkcijskem okolju sintaktična jamstva niso dovolj. Model lahko vrne popolnoma veljaven JSON, kjer manjka email ali kjer phone vsebuje celo število namesto niza. Pydantic te primere spremeni v eksplicitne izjeme že v fazi izločanja, namesto da bi se pojavile tri korake nižje v tvojem cevovodu.

from pydantic import BaseModel, Field
from typing import Optional
import json

class BusinessCard(BaseModel):
    last_name: str
    first_name: str
    title: Optional[str] = None
    company: Optional[str] = None
    email: Optional[str] = None
    phone: Optional[str] = None
    address: Optional[str] = None
    website: Optional[str] = None

def extract_business_card(image_path):
    """Extract and validate business card data."""
    response = client.chat.complete(
        model="mistral-large-latest",
        response_format={"type": "json_object"},
        messages=[
            {
                "role": "system",
                "content": "Extract data from this business card. Fields: last_name, first_name, title, company, email, phone, address, website. Return JSON."
            },
            {
                "role": "user",
                "content": [
                    {"type": "text", "text": "Extract information from this business card."},
                    {"type": "image_url", "image_url": encoder_image(image_path)}
                ]
            }
        ]
    )

    # Parse and validate with Pydantic
    raw_data = json.loads(response.choices[0].message.content)
    card = BusinessCard(**raw_data)
    return card

# Usage
card = extract_business_card("cartes/contact-dupont.jpg")
print(f"Contact: {card.first_name} {card.last_name} - {card.email}")

Upoštevaj razliko med last_name: str in title: Optional[str] = None. Vizitka brez imena pomeni neuspešno izločanje; vizitka brez naziva delovnega mesta je normalen primer. To mejo določiš ti, Pydantic pa jo uveljavi.

Pretvorba v CSV ali DataFrame

Končni korak je napajanje tvojega cevovoda za obdelavo podatkov. Zgoraj proizvedeni JSON se neposredno pretvori:

import pandas as pd

# From an extracted table
donnees = json.loads(response.choices[0].message.content)

# Create a pandas DataFrame
df = pd.DataFrame(donnees["rows"])
print(df.to_string())

# Export to CSV
df.to_csv("export/tableau_extrait.csv", index=False, encoding="utf-8")

Argument encoding="utf-8" med izvozom je obvezen, kadar tvoji podatki vsebujejo naglašene znake ali simbole valut.

Ključne ugotovitve

  • Parameter response_format={"type": "json_object"} zagotavlja veljaven izhod JSON
  • Vedno navedi pričakovano shemo JSON v svojem pozivu, da usmeriš izločanje
  • Uporabi Pydantic za validacijo izločenih podatkov v produkcijskem okolju
  • Tabele, obrazci, etikete in vizitke so idealne tarče
  • Združi izločanje s pandas za neposredno integracijo v tvoje delovne tokove podatkov