OCR и транскрибиране на текст в изображения
На тази страница
Четене на текст в изображения
OCR (Оптично разпознаване на знаци) е един от най-честите случаи на употреба на Vision API. С мултимодалните модели на Mistral можете да извличате текст от снимки, екранни снимки, сканирани документи, фактури или касови бележки, без да инсталирате специализирана OCR библиотека – няма Tesseract, няма езикови модели, няма тръбопровод за предварителна обработка.
Предимството не е само намаляване на зависимостите. Класическият OCR връща символи; мултимодалният модел разбира прочетеното и може в същата заявка да различи номера на фактура от номер на поръчка за покупка. В този урок ще разгледаме често срещани случаи и техники, които конкретно подобряват точността.
Просто OCR: Четене на видим текст
Най-директният подход се свежда до една единствена подкана, стига тя да е недвусмислена:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Transcribe exactly all visible text in this image. Do not comment, do not summarize--return only the text as it appears."},
{"type": "image_url", "image_url": "https://exemple.com/document-scanne.jpg"}
]
}
]
)
print(response.choices[0].message.content)
Ключовата дума е „exactly“ (точно). Без тази инструкция моделът има тенденцията да парафразира или обобщава съдържанието, защото това е това, което един полезен асистент прави спонтанно: тук Вие искате обратното на услуга, а буквално възпроизвеждане.
Извличане на текст от фактура
Фактурите съдържат структурирана информация – издател, получател, суми, дати, – която моделът може да идентифицира по тяхната роля, а не само по позицията им. Това е точно предимството пред OCR с фиксирани зони, който се проваля веднага щом доставчикът промени оформлението:
prompt_facture = """Analyze this invoice and extract the following information:
- Issuer (name, address, SIRET if visible)
- Recipient (name, address)
- Invoice number
- Issue date
- Due date
- Billing lines (description, quantity, unit price, total)
- Subtotal excluding tax
- VAT (rate and amount)
- Total including tax
Return the result as structured JSON."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a certified accountant. Extract billing data with precision. Return only valid JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": prompt_facture},
{"type": "image_url", "image_url": data_uri_facture}
]
}
]
)
Транскрибиране на екранни снимки
Друга честа нужда е извличането на съдържание от интерфейс или терминал, споделен като екранна снимка, обикновено в билет за поддръжка. Тук форматирането е част от информацията: изместен надясно след от терминал става неизползваем.
import base64
def encoder_image(chemin):
with open(chemin, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/png;base64,{b64}"
# Transcribe a terminal screenshot
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Transcribe the terminal output visible in this screenshot. Preserve formatting and indentation."
},
{"type": "image_url", "image_url": encoder_image("captures/terminal.png")}
]
}
]
)
Четене на касови бележки и фишове
Термичните разписки са най-трудният случай: блед печат, смачкана хартия, избледняло мастило. Решаващата техника е изрично да позволите на модела да обяви поражение по даден артикул; в противен случай той ще попълни пропуските с правдоподобни стойности.
prompt_recu = """Read this cash register ticket and extract:
1. Store name
2. Date and time
3. List of items (name, price)
4. Subtotal
5. Payment method
6. Total amount
If an item is illegible, indicate [illegible].
Return the result as JSON."""
response = client.chat.complete(
model="mistral-large-latest", # Large for best reading
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_recu},
{"type": "image_url", "image_url": encoder_image("recu-supermarche.jpg")}
]
}
]
)
Едно [illegible] в резултата е безкрайно по-добро от измислена сума: първото задейства човешка проверка, второто остава незабелязано до счетоводното сверяване. За тези деградирани документи използвайте Mistral Large 3 – разликата в точността спрямо Small е значителна при размазан или частично четим текст.
Пакетна обработка на документи
Мащабирането следва вече видения шаблон: единична функция с параметър за модела, след което цикъл върху папката.
import json
from pathlib import Path
def ocr_document(chemin_image, modele="mistral-small-latest"):
"""Performs OCR on a document and returns the text."""
response = client.chat.complete(
model=modele,
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Transcribe the entire text of this document. Preserve formatting (headings, paragraphs, lists)."
},
{"type": "image_url", "image_url": encoder_image(chemin_image)}
]
}
]
)
return response.choices[0].message.content
# Process a folder
dossier = Path("documents_scannes/")
resultats = {}
for fichier in sorted(dossier.glob("*.jpg")):
print(f"OCR of {fichier.name}...")
resultats[fichier.name] = ocr_document(fichier)
# Save
with open("transcriptions.json", "w", encoding="utf-8") as f:
json.dump(resultats, f, ensure_ascii=False, indent=2)
print(f"{len(resultats)} documents transcribed.")
Параметърът modele в подписа не е козметичен: той Ви позволява да стартирате отново само съмнителните документи с Large, без да пренаписвате функцията.
Подобряване на точността на OCR
Два лоста действат преди модела. Първият е предварителната обработка на изображението: сиво сканиране с нисък контраст става четимо след преобразуване в нюанси на сивото, подобряване на контраста и изостряне.
from PIL import Image, ImageEnhance, ImageFilter
def pretraiter_pour_ocr(chemin):
"""Improves an image for OCR: contrast, sharpness, grayscale."""
img = Image.open(chemin)
# Convert to grayscale
img = img.convert("L")
# Increase contrast
enhancer = ImageEnhance.Contrast(img)
img = enhancer.enhance(2.0)
# Increase sharpness
img = img.filter(ImageFilter.SHARPEN)
return img
Факторът 2.0 работи за избледняло сканиране; ако се увеличи твърде много, той създава артефакти, които влошават четенето. Тествайте върху три представителни документа, преди да фиксирате стойността.
Вторият лост е специализацията на подканата според типа документ. Формуляр изисква „Прочетете всяко поле и съответната му стойност“, писмо – „Транскрибирайте тялото на писмото, запазвайки параграфите“, таблица – „Извлечете данните от таблицата във формат markdown“. Три формулировки, три изходни структури: класифицирайте документите си, преди да ги транскрибирате, и качеството скача с едно ниво нагоре.
Vision API срещу Document AI
За разширено OCR и парсинг на документи, Mistral предлага също Document AI (OCR 4), специализирана услуга. Следващата таблица очертава границата между двете.
| Criterion | Vision API | Document AI (OCR 4) |
|---|---|---|
| Simple OCR | Sufficient | Overqualified |
| Complex documents | Limited | Optimized |
| Nested tables | Approximate | Precise |
| Multi-page PDFs | Not supported | Supported |
| Complex layout | Basic | Advanced |
Решаващата линия е многостраничните PDF файлове: Vision API обработва изображения, а не страницирани документи. Веднага щом източникът Ви е PDF от няколко десетки страници, въпросът вече не стои. Ще разгледаме Document AI в Урок 12 (Следващи стъпки).
Ключови изводи
- Vision API изпълнява адекватно OCR за прости случаи (фактури, екранни снимки, касови бележки)
- Използвайте думата „exactly“ във Вашата подкана, за да избегнете парафразиране
- Mistral Large 3 е значително по-добър от Small за документи с лошо качество
- Предварителната обработка на изображението (контраст, нюанси на сивото) подобрява резултатите
- За разширено OCR и многостранични PDF файлове, обмислете Document AI (OCR 4) на Mistral