Премини към основното съдържание
Български— Изберете език
Меню

OCR и транскрибиране на текст в изображения

Урок 8 от 12 Обновен 2 ноември 2026 г. Програмист
На тази страница
  1. Четене на текст в изображения
  2. Просто OCR: Четене на видим текст
  3. Извличане на текст от фактура
  4. Транскрибиране на екранни снимки
  5. Четене на касови бележки и фишове
  6. Пакетна обработка на документи
  7. Подобряване на точността на OCR
  8. Vision API срещу Document AI
  9. Ключови изводи

Четене на текст в изображения

OCR (Оптично разпознаване на знаци) е един от най-честите случаи на употреба на Vision API. С мултимодалните модели на Mistral можете да извличате текст от снимки, екранни снимки, сканирани документи, фактури или касови бележки, без да инсталирате специализирана OCR библиотека – няма Tesseract, няма езикови модели, няма тръбопровод за предварителна обработка.

Предимството не е само намаляване на зависимостите. Класическият OCR връща символи; мултимодалният модел разбира прочетеното и може в същата заявка да различи номера на фактура от номер на поръчка за покупка. В този урок ще разгледаме често срещани случаи и техники, които конкретно подобряват точността.

Просто OCR: Четене на видим текст

Най-директният подход се свежда до една единствена подкана, стига тя да е недвусмислена:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Transcribe exactly all visible text in this image. Do not comment, do not summarize--return only the text as it appears."},
                {"type": "image_url", "image_url": "https://exemple.com/document-scanne.jpg"}
            ]
        }
    ]
)

print(response.choices[0].message.content)

Ключовата дума е „exactly“ (точно). Без тази инструкция моделът има тенденцията да парафразира или обобщава съдържанието, защото това е това, което един полезен асистент прави спонтанно: тук Вие искате обратното на услуга, а буквално възпроизвеждане.

Извличане на текст от фактура

Фактурите съдържат структурирана информация – издател, получател, суми, дати, – която моделът може да идентифицира по тяхната роля, а не само по позицията им. Това е точно предимството пред OCR с фиксирани зони, който се проваля веднага щом доставчикът промени оформлението:

prompt_facture = """Analyze this invoice and extract the following information:
- Issuer (name, address, SIRET if visible)
- Recipient (name, address)
- Invoice number
- Issue date
- Due date
- Billing lines (description, quantity, unit price, total)
- Subtotal excluding tax
- VAT (rate and amount)
- Total including tax

Return the result as structured JSON."""

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You are a certified accountant. Extract billing data with precision. Return only valid JSON."
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_facture},
                {"type": "image_url", "image_url": data_uri_facture}
            ]
        }
    ]
)

Транскрибиране на екранни снимки

Друга честа нужда е извличането на съдържание от интерфейс или терминал, споделен като екранна снимка, обикновено в билет за поддръжка. Тук форматирането е част от информацията: изместен надясно след от терминал става неизползваем.

import base64

def encoder_image(chemin):
    with open(chemin, "rb") as f:
        b64 = base64.standard_b64encode(f.read()).decode("utf-8")
    return f"data:image/png;base64,{b64}"

# Transcribe a terminal screenshot
response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Transcribe the terminal output visible in this screenshot. Preserve formatting and indentation."
                },
                {"type": "image_url", "image_url": encoder_image("captures/terminal.png")}
            ]
        }
    ]
)

Четене на касови бележки и фишове

Термичните разписки са най-трудният случай: блед печат, смачкана хартия, избледняло мастило. Решаващата техника е изрично да позволите на модела да обяви поражение по даден артикул; в противен случай той ще попълни пропуските с правдоподобни стойности.

prompt_recu = """Read this cash register ticket and extract:
1. Store name
2. Date and time
3. List of items (name, price)
4. Subtotal
5. Payment method
6. Total amount

If an item is illegible, indicate [illegible].
Return the result as JSON."""

response = client.chat.complete(
    model="mistral-large-latest",  # Large for best reading
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": prompt_recu},
                {"type": "image_url", "image_url": encoder_image("recu-supermarche.jpg")}
            ]
        }
    ]
)

Едно [illegible] в резултата е безкрайно по-добро от измислена сума: първото задейства човешка проверка, второто остава незабелязано до счетоводното сверяване. За тези деградирани документи използвайте Mistral Large 3 – разликата в точността спрямо Small е значителна при размазан или частично четим текст.

Пакетна обработка на документи

Мащабирането следва вече видения шаблон: единична функция с параметър за модела, след което цикъл върху папката.

import json
from pathlib import Path

def ocr_document(chemin_image, modele="mistral-small-latest"):
    """Performs OCR on a document and returns the text."""
    response = client.chat.complete(
        model=modele,
        messages=[
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": "Transcribe the entire text of this document. Preserve formatting (headings, paragraphs, lists)."
                    },
                    {"type": "image_url", "image_url": encoder_image(chemin_image)}
                ]
            }
        ]
    )
    return response.choices[0].message.content

# Process a folder
dossier = Path("documents_scannes/")
resultats = {}

for fichier in sorted(dossier.glob("*.jpg")):
    print(f"OCR of {fichier.name}...")
    resultats[fichier.name] = ocr_document(fichier)

# Save
with open("transcriptions.json", "w", encoding="utf-8") as f:
    json.dump(resultats, f, ensure_ascii=False, indent=2)

print(f"{len(resultats)} documents transcribed.")

Параметърът modele в подписа не е козметичен: той Ви позволява да стартирате отново само съмнителните документи с Large, без да пренаписвате функцията.

Подобряване на точността на OCR

Два лоста действат преди модела. Първият е предварителната обработка на изображението: сиво сканиране с нисък контраст става четимо след преобразуване в нюанси на сивото, подобряване на контраста и изостряне.

from PIL import Image, ImageEnhance, ImageFilter

def pretraiter_pour_ocr(chemin):
    """Improves an image for OCR: contrast, sharpness, grayscale."""
    img = Image.open(chemin)

    # Convert to grayscale
    img = img.convert("L")

    # Increase contrast
    enhancer = ImageEnhance.Contrast(img)
    img = enhancer.enhance(2.0)

    # Increase sharpness
    img = img.filter(ImageFilter.SHARPEN)

    return img

Факторът 2.0 работи за избледняло сканиране; ако се увеличи твърде много, той създава артефакти, които влошават четенето. Тествайте върху три представителни документа, преди да фиксирате стойността.

Вторият лост е специализацията на подканата според типа документ. Формуляр изисква „Прочетете всяко поле и съответната му стойност“, писмо – „Транскрибирайте тялото на писмото, запазвайки параграфите“, таблица – „Извлечете данните от таблицата във формат markdown“. Три формулировки, три изходни структури: класифицирайте документите си, преди да ги транскрибирате, и качеството скача с едно ниво нагоре.

Vision API срещу Document AI

За разширено OCR и парсинг на документи, Mistral предлага също Document AI (OCR 4), специализирана услуга. Следващата таблица очертава границата между двете.

CriterionVision APIDocument AI (OCR 4)
Simple OCRSufficientOverqualified
Complex documentsLimitedOptimized
Nested tablesApproximatePrecise
Multi-page PDFsNot supportedSupported
Complex layoutBasicAdvanced

Решаващата линия е многостраничните PDF файлове: Vision API обработва изображения, а не страницирани документи. Веднага щом източникът Ви е PDF от няколко десетки страници, въпросът вече не стои. Ще разгледаме Document AI в Урок 12 (Следващи стъпки).

Ключови изводи

  • Vision API изпълнява адекватно OCR за прости случаи (фактури, екранни снимки, касови бележки)
  • Използвайте думата „exactly“ във Вашата подкана, за да избегнете парафразиране
  • Mistral Large 3 е значително по-добър от Small за документи с лошо качество
  • Предварителната обработка на изображението (контраст, нюанси на сивото) подобрява резултатите
  • За разширено OCR и многостранични PDF файлове, обмислете Document AI (OCR 4) на Mistral