Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Adatok kinyerése képekből strukturált formátumban

9. lecke 12 közül Frissítve 2026. november 2. Fejlesztő
Ezen az oldalon
  1. Képek átalakítása használható adatokká
  2. Az API JSON módja
  3. Táblázat kinyerése képből
  4. Űrlapok és hivatalos dokumentumok
  5. Termékcímkék adatainak kinyerése
  6. Kinyerési folyamat validálással
  7. Átalakítás CSV-vé vagy DataFrame-mé
  8. Főbb megállapítások

Képek átalakítása használható adatokká

Az előző lecke a szöveg átírására fókuszált; ez a lecke tovább megy, és strukturált adatokat állít elő. A strukturált adatok kinyerése azt jelenti, hogy egy kép vizuális tartalmát – legyen az táblázat, űrlap, névjegykártya vagy címke – JSON-ná, CSV-vé vagy bármilyen más, a kódod által közvetlenül kezelhető formátummá alakítod át, manuális ellenőrzés nélkül.

A tét nagyobb. Egy hozzávetőleges átírás még segíthet egy emberi olvasónak, de egyetlen kulcs hiánya egy JSON-válaszban összeomlasztja azt a programot, amely feldolgozza azt. Ez a lecke két garanciát fed le, amelyeket meg kell valósítanod: az API JSON módját a szintaktikai érvényesség érdekében, és a sémavalidálást az üzleti szabályoknak való megfeleléshez.

Az API JSON módja

A Mistral kínál egy response_format paramétert, amely arra kényszeríti a modellt, hogy érvényes JSON-t adjon vissza. Enélkül időt pazarolsz arra, hogy megtisztítsd a válaszokat, amelyek Markdown blokkokba vannak csomagolva, vagy udvarias bevezető mondatok előzik meg őket.

from mistralai.client import Mistral
import os
import json

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": "Always return a valid JSON object with the data extracted from the image."
        },
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Extract the following data from this business card as JSON: name, title, company, email, phone, address."
                },
                {"type": "image_url", "image_url": data_uri_carte}
            ]
        }
    ]
)

# The result is directly parsable
donnees = json.loads(response.choices[0].message.content)
print(json.dumps(donnees, indent=2, ensure_ascii=False))

A json.loads hívás különös óvintézkedések nélkül fut le: a response_format={"type": "json_object"} garantálja a szintaktikailag érvényes JSON kimenetet. Azonban nem garantálja, hogy mely kulcsok vannak jelen. Éppen ezért magában a promptban kell leírnod a várt formátumot, ahogy az az alábbi példákban is látható.

Táblázat kinyerése képből

Lefotózott táblázatok vagy képernyőmentések gyakori alkalmazási esetek, és itt térül meg leginkább egy explicit séma használata. Világos utasítások nélkül a modell saját struktúrát talál ki, amely hívásonként eltérő lehet.

prompt_tableau = """Extract the content of this table as JSON.
Expected format:
{
  "columns": ["Column1", "Column2", ...],
  "rows": [
    {"Column1": "value", "Column2": "value"},
    ...
  ]
}
Read all visible rows. If a cell is empty, use null."""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_tableau},
                {"type": "image_url", "image_url": encoder_image("captures/tableau-excel.png")}
            ]
        }
    ]
)

donnees = json.loads(response.choices[0].message.content)
print(f"Columns: {donnees['columns']}")
print(f"Number of rows: {len(donnees['rows'])}")

Az üres cellákra vonatkozó utasítás kritikus fontosságú. Enélkül a modell eltolhatja az értékeket a hézagok kitöltése érdekében, ezzel eltorzítva a táblázatot. A sorok számának kiírása azonnali sanity check-et (józan ész ellenőrzést) biztosít: ha a kép tizenkét sort mutat, de a szkript csak nyolcat jelent, akkor a kinyerés hiányos.

Űrlapok és hivatalos dokumentumok

A kitöltött űrlapok két kihívást jelentenek: a kézírást és a jelölőnégyzeteket, amelyeknek nincs szöveges értéke. A sémádnak ezért dedikált mezőket kell tartalmaznia ezekre.

prompt_formulaire = """Analyze this filled form and extract all fields and their values.
Expected JSON format:
{
  "form_type": "...",
  "fields": {
    "field_name": "entered_value",
    ...
  },
  "checked_boxes": ["field1", "field2"],
  "signature_present": true/false
}
If a field is empty or illegible, use null."""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": "You are a precise form extractor. Return structured JSON."
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_formulaire},
                {"type": "image_url", "image_url": encoder_image("formulaires/cerfa-12345.jpg")}
            ]
        }
    ]
)

Termékcímkék adatainak kinyerése

Az élelmiszer-címkék szabványos szerkezetet követnek: tápértéktáblázat 100 g-ra vetítve, összetevők listája és allergének. A sémát egészen a mértékegységek nevéig meghatározhatod, elkerülve ezzel a későbbi találgatást arról, hogy a „12“ grammot vagy kilokalóriát jelentett-e.

prompt_etiquette = """Extract the nutritional information from this label.
JSON format:
{
  "product_name": "...",
  "net_weight": "...",
  "nutrition_per_100g": {
    "energy_kcal": ...,
    "fat_g": ...,
    "saturated_fat_g": ...,
    "carbohydrates_g": ...,
    "sugars_g": ...,
    "protein_g": ...,
    "salt_g": ...
  },
  "ingredients": "...",
  "allergens": ["..."]
}"""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_etiquette},
                {"type": "image_url", "image_url": encoder_image("produits/etiquette.jpg")}
            ]
        }
    ]
)

produit = json.loads(response.choices[0].message.content)

Kinyerési folyamat validálással

Éles környezetben a szintaktikai garanciák nem elegendőek. A modell visszaadhat tökéletesen érvényes JSON-t, ahol hiányzik az email, vagy ahol a phone egész számot tartalmaz karakterlánc helyett. A Pydantic ezeket az eseteket explicit kivételekké alakítja már a kinyerés szakaszában, nem pedig három lépéssel később a folyamatodban.

from pydantic import BaseModel, Field
from typing import Optional
import json

class BusinessCard(BaseModel):
    last_name: str
    first_name: str
    title: Optional[str] = None
    company: Optional[str] = None
    email: Optional[str] = None
    phone: Optional[str] = None
    address: Optional[str] = None
    website: Optional[str] = None

def extract_business_card(image_path):
    """Extract and validate business card data."""
    response = client.chat.complete(
        model="mistral-large-latest",
        response_format={"type": "json_object"},
        messages=[
            {
                "role": "system",
                "content": "Extract data from this business card. Fields: last_name, first_name, title, company, email, phone, address, website. Return JSON."
            },
            {
                "role": "user",
                "content": [
                    {"type": "text", "text": "Extract information from this business card."},
                    {"type": "image_url", "image_url": encoder_image(image_path)}
                ]
            }
        ]
    )

    # Parse and validate with Pydantic
    raw_data = json.loads(response.choices[0].message.content)
    card = BusinessCard(**raw_data)
    return card

# Usage
card = extract_business_card("cartes/contact-dupont.jpg")
print(f"Contact: {card.first_name} {card.last_name} - {card.email}")

Figyeld meg a különbséget a last_name: str és a title: Optional[str] = None között. Egy név nélküli névjegykártya sikertelen kinyerés; egy beosztás nélküli névjegykártya viszont normális eset. Te húzod meg ezt a határt, és a Pydantic érvényesíti azt.

Átalakítás CSV-vé vagy DataFrame-mé

Az utolsó lépés az adatfeldolgozási folyamatod táplálása. A fent előállított JSON közvetlenül átalakítható:

import pandas as pd

# From an extracted table
donnees = json.loads(response.choices[0].message.content)

# Create a pandas DataFrame
df = pd.DataFrame(donnees["rows"])
print(df.to_string())

# Export to CSV
df.to_csv("export/tableau_extrait.csv", index=False, encoding="utf-8")

Az encoding="utf-8" argumentum az exportálás során kötelező, ha az adatod ékezetes karaktereket vagy pénznem szimbólumokat tartalmaz.

Főbb megállapítások

  • A response_format={"type": "json_object"} paraméter garantálja az érvényes JSON kimenetet
  • Mindig adj meg egy várt JSON sémát a promptodban a kinyerés irányításához
  • Használj Pydanticot a kinyert adatok validálására éles környezetben
  • A táblázatok, űrlapok, címkék és névjegykártyák ideális célpontok
  • Kombináld a kinyerést a pandas-szal az adatfolyamataidba való közvetlen integrációhoz