Извличане на структурирани данни от изображения
На тази страница
Превръщане на изображенията в полезни данни
Предходният урок се фокусираше върху транскрибирането на текст; настоящият отива по-далеч, като генерира структурирани данни. Извличането на структурирани данни означава трансформиране на визуалното съдържание на едно изображение – таблица, формуляр, визитка или етикет – в JSON, CSV или друг формат, който Вашият код може да обработва директно, без ръчна проверка.
Залогът е по-висок. Приблизителна транскрипция може все още да помогне на човешки читател, но липсата на дори един ключ в JSON отговора ще срине програмата, която го консумира. Този урок обхваща двете гаранции, които трябва да внедрите: JSON режимът на API за синтактична валидност и валидирането на схемата за спазване на бизнес правилата.
JSON режимът на API
Mistral предлага параметър response_format, който принуждава модела да върне валиден JSON. Без него ще губите време в почистване на отговори, обвити в Markdown блокове или предшествани от учтиви въводни изречения.
from mistralai.client import Mistral
import os
import json
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Always return a valid JSON object with the data extracted from the image."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extract the following data from this business card as JSON: name, title, company, email, phone, address."
},
{"type": "image_url", "image_url": data_uri_carte}
]
}
]
)
# The result is directly parsable
donnees = json.loads(response.choices[0].message.content)
print(json.dumps(donnees, indent=2, ensure_ascii=False))
Извикването на json.loads протича без специални предпазни мерки: response_format={"type": "json_object"} гарантира синтактично валиден JSON изход. То обаче не гарантира кои ключове ще присъстват. Ето защо трябва да опишете очаквания формат в самия промпт, както е показано в примерите по-долу.
Извличане на таблица от изображение
Сниманите таблици или екранни снимки са често срещан случай на употреба и точно тук изричната схема носи най-голяма полза. Без ясни инструкции моделът ще измисли собствена структура, която може да се различава при всяко извикване.
prompt_tableau = """Extract the content of this table as JSON.
Expected format:
{
"columns": ["Column1", "Column2", ...],
"rows": [
{"Column1": "value", "Column2": "value"},
...
]
}
Read all visible rows. If a cell is empty, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_tableau},
{"type": "image_url", "image_url": encoder_image("captures/tableau-excel.png")}
]
}
]
)
donnees = json.loads(response.choices[0].message.content)
print(f"Columns: {donnees['columns']}")
print(f"Number of rows: {len(donnees['rows'])}")
Инструкцията относно празните клетки е от критично значение. Без нея моделът може да премести стойностите, за да запълни празнините, което ще изкриви таблицата. Показването на броя редове осигурява незабавна проверка за здравословно състояние: ако изображението показва дванадесет реда, а скриптът докладва осем, извличането е непълно.
Формуляри и административни документи
Попълнените формуляри въвеждат два предизвикателства: ръкописният текст и отметките (checkboxes), които нямат текстова стойност. Следователно Вашата схема трябва да включва специализирани полета за тях.
prompt_formulaire = """Analyze this filled form and extract all fields and their values.
Expected JSON format:
{
"form_type": "...",
"fields": {
"field_name": "entered_value",
...
},
"checked_boxes": ["field1", "field2"],
"signature_present": true/false
}
If a field is empty or illegible, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a precise form extractor. Return structured JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": prompt_formulaire},
{"type": "image_url", "image_url": encoder_image("formulaires/cerfa-12345.jpg")}
]
}
]
)
Извличане на данни от етикети на продукти
Етикетите на хранителните продукти следват стандартна структура: таблица с хранителни стойности на 100 г, списък със съставките и алергени. Можете да дефинирате схемата чак до името на мерната единица, избягвайки по-късни предположения дали „12“ се отнася до грамове или килокалории.
prompt_etiquette = """Extract the nutritional information from this label.
JSON format:
{
"product_name": "...",
"net_weight": "...",
"nutrition_per_100g": {
"energy_kcal": ...,
"fat_g": ...,
"saturated_fat_g": ...,
"carbohydrates_g": ...,
"sugars_g": ...,
"protein_g": ...,
"salt_g": ...
},
"ingredients": "...",
"allergens": ["..."]
}"""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_etiquette},
{"type": "image_url", "image_url": encoder_image("produits/etiquette.jpg")}
]
}
]
)
produit = json.loads(response.choices[0].message.content)
Тръбопровод за извличане с валидиране
В производствена среда синтактичните гаранции не са достатъчни. Моделът може да върне перфектно валиден JSON, в който липсва email или където phone съдържа цяло число вместо низ. Pydantic превръща тези случаи в изрични изключения на етапа на извличане, вместо три стъпки по-надолу във Вашия тръбопровод.
from pydantic import BaseModel, Field
from typing import Optional
import json
class BusinessCard(BaseModel):
last_name: str
first_name: str
title: Optional[str] = None
company: Optional[str] = None
email: Optional[str] = None
phone: Optional[str] = None
address: Optional[str] = None
website: Optional[str] = None
def extract_business_card(image_path):
"""Extract and validate business card data."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Extract data from this business card. Fields: last_name, first_name, title, company, email, phone, address, website. Return JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Extract information from this business card."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}
]
)
# Parse and validate with Pydantic
raw_data = json.loads(response.choices[0].message.content)
card = BusinessCard(**raw_data)
return card
# Usage
card = extract_business_card("cartes/contact-dupont.jpg")
print(f"Contact: {card.first_name} {card.last_name} - {card.email}")
Обърнете внимание на разликата между last_name: str и title: Optional[str] = None. Визитка без име представлява неуспешно извличане; визитка без длъжност е нормален случай. Вие определяте тази граница, а Pydantic я налага.
Конвертиране в CSV или DataFrame
Финалната стъпка е захранването на Вашия тръбопровод за обработка на данни. Генерираният по-горе JSON се конвертира директно:
import pandas as pd
# From an extracted table
donnees = json.loads(response.choices[0].message.content)
# Create a pandas DataFrame
df = pd.DataFrame(donnees["rows"])
print(df.to_string())
# Export to CSV
df.to_csv("export/tableau_extrait.csv", index=False, encoding="utf-8")
Аргументът encoding="utf-8" по време на експорта е задължителен, когато Вашите данни съдържат акцентирани знаци или валутни символи.
Ключови изводи
- Параметърът
response_format={"type": "json_object"}гарантира валиден JSON изход - Винаги предоставяйте очаквана JSON схема във Вашия промпт, за да насочите извличането
- Използвайте Pydantic за валидиране на извлечените данни в производствена среда
- Таблици, формуляри, етикети и визитки са идеални мишени
- Комбинирайте извличането с pandas за директна интеграция във Вашите работни потоци с данни