Премини към основното съдържание
Български— Изберете език
Меню

Извличане на структурирани данни от изображения

Урок 9 от 12 Обновен 2 ноември 2026 г. Програмист
На тази страница
  1. Превръщане на изображенията в полезни данни
  2. JSON режимът на API
  3. Извличане на таблица от изображение
  4. Формуляри и административни документи
  5. Извличане на данни от етикети на продукти
  6. Тръбопровод за извличане с валидиране
  7. Конвертиране в CSV или DataFrame
  8. Ключови изводи

Превръщане на изображенията в полезни данни

Предходният урок се фокусираше върху транскрибирането на текст; настоящият отива по-далеч, като генерира структурирани данни. Извличането на структурирани данни означава трансформиране на визуалното съдържание на едно изображение – таблица, формуляр, визитка или етикет – в JSON, CSV или друг формат, който Вашият код може да обработва директно, без ръчна проверка.

Залогът е по-висок. Приблизителна транскрипция може все още да помогне на човешки читател, но липсата на дори един ключ в JSON отговора ще срине програмата, която го консумира. Този урок обхваща двете гаранции, които трябва да внедрите: JSON режимът на API за синтактична валидност и валидирането на схемата за спазване на бизнес правилата.

JSON режимът на API

Mistral предлага параметър response_format, който принуждава модела да върне валиден JSON. Без него ще губите време в почистване на отговори, обвити в Markdown блокове или предшествани от учтиви въводни изречения.

from mistralai.client import Mistral
import os
import json

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": "Always return a valid JSON object with the data extracted from the image."
        },
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Extract the following data from this business card as JSON: name, title, company, email, phone, address."
                },
                {"type": "image_url", "image_url": data_uri_carte}
            ]
        }
    ]
)

# The result is directly parsable
donnees = json.loads(response.choices[0].message.content)
print(json.dumps(donnees, indent=2, ensure_ascii=False))

Извикването на json.loads протича без специални предпазни мерки: response_format={"type": "json_object"} гарантира синтактично валиден JSON изход. То обаче не гарантира кои ключове ще присъстват. Ето защо трябва да опишете очаквания формат в самия промпт, както е показано в примерите по-долу.

Извличане на таблица от изображение

Сниманите таблици или екранни снимки са често срещан случай на употреба и точно тук изричната схема носи най-голяма полза. Без ясни инструкции моделът ще измисли собствена структура, която може да се различава при всяко извикване.

prompt_tableau = """Extract the content of this table as JSON.
Expected format:
{
  "columns": ["Column1", "Column2", ...],
  "rows": [
    {"Column1": "value", "Column2": "value"},
    ...
  ]
}
Read all visible rows. If a cell is empty, use null."""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_tableau},
                {"type": "image_url", "image_url": encoder_image("captures/tableau-excel.png")}
            ]
        }
    ]
)

donnees = json.loads(response.choices[0].message.content)
print(f"Columns: {donnees['columns']}")
print(f"Number of rows: {len(donnees['rows'])}")

Инструкцията относно празните клетки е от критично значение. Без нея моделът може да премести стойностите, за да запълни празнините, което ще изкриви таблицата. Показването на броя редове осигурява незабавна проверка за здравословно състояние: ако изображението показва дванадесет реда, а скриптът докладва осем, извличането е непълно.

Формуляри и административни документи

Попълнените формуляри въвеждат два предизвикателства: ръкописният текст и отметките (checkboxes), които нямат текстова стойност. Следователно Вашата схема трябва да включва специализирани полета за тях.

prompt_formulaire = """Analyze this filled form and extract all fields and their values.
Expected JSON format:
{
  "form_type": "...",
  "fields": {
    "field_name": "entered_value",
    ...
  },
  "checked_boxes": ["field1", "field2"],
  "signature_present": true/false
}
If a field is empty or illegible, use null."""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "system",
            "content": "You are a precise form extractor. Return structured JSON."
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_formulaire},
                {"type": "image_url", "image_url": encoder_image("formulaires/cerfa-12345.jpg")}
            ]
        }
    ]
)

Извличане на данни от етикети на продукти

Етикетите на хранителните продукти следват стандартна структура: таблица с хранителни стойности на 100 г, списък със съставките и алергени. Можете да дефинирате схемата чак до името на мерната единица, избягвайки по-късни предположения дали „12“ се отнася до грамове или килокалории.

prompt_etiquette = """Extract the nutritional information from this label.
JSON format:
{
  "product_name": "...",
  "net_weight": "...",
  "nutrition_per_100g": {
    "energy_kcal": ...,
    "fat_g": ...,
    "saturated_fat_g": ...,
    "carbohydrates_g": ...,
    "sugars_g": ...,
    "protein_g": ...,
    "salt_g": ...
  },
  "ingredients": "...",
  "allergens": ["..."]
}"""

response = client.chat.complete(
    model="mistral-large-latest",
    response_format={"type": "json_object"},
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_etiquette},
                {"type": "image_url", "image_url": encoder_image("produits/etiquette.jpg")}
            ]
        }
    ]
)

produit = json.loads(response.choices[0].message.content)

Тръбопровод за извличане с валидиране

В производствена среда синтактичните гаранции не са достатъчни. Моделът може да върне перфектно валиден JSON, в който липсва email или където phone съдържа цяло число вместо низ. Pydantic превръща тези случаи в изрични изключения на етапа на извличане, вместо три стъпки по-надолу във Вашия тръбопровод.

from pydantic import BaseModel, Field
from typing import Optional
import json

class BusinessCard(BaseModel):
    last_name: str
    first_name: str
    title: Optional[str] = None
    company: Optional[str] = None
    email: Optional[str] = None
    phone: Optional[str] = None
    address: Optional[str] = None
    website: Optional[str] = None

def extract_business_card(image_path):
    """Extract and validate business card data."""
    response = client.chat.complete(
        model="mistral-large-latest",
        response_format={"type": "json_object"},
        messages=[
            {
                "role": "system",
                "content": "Extract data from this business card. Fields: last_name, first_name, title, company, email, phone, address, website. Return JSON."
            },
            {
                "role": "user",
                "content": [
                    {"type": "text", "text": "Extract information from this business card."},
                    {"type": "image_url", "image_url": encoder_image(image_path)}
                ]
            }
        ]
    )

    # Parse and validate with Pydantic
    raw_data = json.loads(response.choices[0].message.content)
    card = BusinessCard(**raw_data)
    return card

# Usage
card = extract_business_card("cartes/contact-dupont.jpg")
print(f"Contact: {card.first_name} {card.last_name} - {card.email}")

Обърнете внимание на разликата между last_name: str и title: Optional[str] = None. Визитка без име представлява неуспешно извличане; визитка без длъжност е нормален случай. Вие определяте тази граница, а Pydantic я налага.

Конвертиране в CSV или DataFrame

Финалната стъпка е захранването на Вашия тръбопровод за обработка на данни. Генерираният по-горе JSON се конвертира директно:

import pandas as pd

# From an extracted table
donnees = json.loads(response.choices[0].message.content)

# Create a pandas DataFrame
df = pd.DataFrame(donnees["rows"])
print(df.to_string())

# Export to CSV
df.to_csv("export/tableau_extrait.csv", index=False, encoding="utf-8")

Аргументът encoding="utf-8" по време на експорта е задължителен, когато Вашите данни съдържат акцентирани знаци или валутни символи.

Ключови изводи

  • Параметърът response_format={"type": "json_object"} гарантира валиден JSON изход
  • Винаги предоставяйте очаквана JSON схема във Вашия промпт, за да насочите извличането
  • Използвайте Pydantic за валидиране на извлечените данни в производствена среда
  • Таблици, формуляри, етикети и визитки са идеални мишени
  • Комбинирайте извличането с pandas за директна интеграция във Вашите работни потоци с данни