Reconhecimento Ótico de Caracteres e Transcrição de Texto em Imagens
Nesta página
Leitura de Texto em Imagens
O OCR (Reconhecimento Ótico de Caracteres) é um dos casos de uso mais comuns da Vision API. Com os modelos multimodais da Mistral, pode extrair texto de fotografias, capturas de ecrã, documentos digitalizados, faturas ou recibos sem instalar uma biblioteca de OCR dedicada — nada de Tesseract, nem modelos de linguagem, nem pipeline de pré-processamento.
A vantagem não reside apenas em reduzir uma dependência. O OCR clássico devolve caracteres; um modelo multimodal compreende o que lê e consegue, na mesma chamada, distinguir um número de fatura de um número de ordem de compra. Esta lição aborda casos de uso comuns e técnicas que melhoram concretamente a precisão.
OCR Simples: Leitura de Texto Visível
A abordagem mais direta resume-se a um único prompt, desde que seja inequívoco:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Transcribe exactly all visible text in this image. Do not comment, do not summarize--return only the text as it appears."},
{"type": "image_url", "image_url": "https://exemple.com/document-scanne.jpg"}
]
}
]
)
print(response.choices[0].message.content)
A palavra-chave é “exactly” (exatamente). Sem esta instrução, o modelo tende a parafrasear ou resumir o conteúdo, pois é isso que um assistente prestativo faz espontaneamente: aqui, está a pedir o oposto de um serviço, uma restituição literal.
Extração de Texto de uma Fatura
As faturas contêm informações estruturadas — emitente, destinatário, valores, datas — que o modelo pode identificar pela sua função, e não apenas pela sua posição. Esta é precisamente a vantagem face ao OCR de zonas fixas, que falha assim que o fornecedor altera o layout:
prompt_facture = """Analyze this invoice and extract the following information:
- Issuer (name, address, SIRET if visible)
- Recipient (name, address)
- Invoice number
- Issue date
- Due date
- Billing lines (description, quantity, unit price, total)
- Subtotal excluding tax
- VAT (rate and amount)
- Total including tax
Return the result as structured JSON."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a certified accountant. Extract billing data with precision. Return only valid JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": prompt_facture},
{"type": "image_url", "image_url": data_uri_facture}
]
}
]
)
Transcrição de Capturas de Ecrã
Outra necessidade frequente é recuperar o conteúdo de uma interface ou terminal partilhado como captura de ecrã, tipicamente num ticket de suporte. Aqui, a formatação faz parte da informação: um registo de terminal com indentação incorreta torna-se inutilizável.
import base64
def encoder_image(chemin):
with open(chemin, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/png;base64,{b64}"
# Transcribe a terminal screenshot
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Transcribe the terminal output visible in this screenshot. Preserve formatting and indentation."
},
{"type": "image_url", "image_url": encoder_image("captures/terminal.png")}
]
}
]
)
Leitura de Recibos e Tickets de Caixa
Os recibos térmicos são o caso mais difícil: impressão ténue, papel amarrotado, tinta desbotada. A técnica decisiva consiste em autorizar explicitamente o modelo a declarar derrota num item; caso contrário, ele preencherá as lacunas com valores plausíveis.
prompt_recu = """Read this cash register ticket and extract:
1. Store name
2. Date and time
3. List of items (name, price)
4. Subtotal
5. Payment method
6. Total amount
If an item is illegible, indicate [illegible].
Return the result as JSON."""
response = client.chat.complete(
model="mistral-large-latest", # Large for best reading
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_recu},
{"type": "image_url", "image_url": encoder_image("recu-supermarche.jpg")}
]
}
]
)
Um [illegible] no resultado é infinitamente melhor do que um valor inventado: o primeiro desencadeia uma verificação humana, o segundo passa despercebido até à reconciliação contabilística. Para estes documentos degradados, utilize o Mistral Large 3 — a diferença de precisão em relação ao Small é significativa em texto desfocado ou parcialmente legível.
Processamento de Documentos em Lote
A escalabilidade segue o padrão que já vimos: uma função unitária parametrizada pelo modelo, seguida de um ciclo sobre a pasta.
import json
from pathlib import Path
def ocr_document(chemin_image, modele="mistral-small-latest"):
"""Performs OCR on a document and returns the text."""
response = client.chat.complete(
model=modele,
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Transcribe the entire text of this document. Preserve formatting (headings, paragraphs, lists)."
},
{"type": "image_url", "image_url": encoder_image(chemin_image)}
]
}
]
)
return response.choices[0].message.content
# Process a folder
dossier = Path("documents_scannes/")
resultats = {}
for fichier in sorted(dossier.glob("*.jpg")):
print(f"OCR of {fichier.name}...")
resultats[fichier.name] = ocr_document(fichier)
# Save
with open("transcriptions.json", "w", encoding="utf-8") as f:
json.dump(resultats, f, ensure_ascii=False, indent=2)
print(f"{len(resultats)} documents transcribed.")
O parâmetro modele na assinatura não é cosmético: permite-lhe reexecutar apenas os documentos duvidosos com o Large sem reescrever a função.
Melhoria da Precisão do OCR
Duas alavancas atuam a montante do modelo. A primeira é o pré-processamento da imagem: uma digitalização cinzenta e de baixo contraste torna-se legível após conversão para escala de cinzentos, melhoria do contraste e nitidez.
from PIL import Image, ImageEnhance, ImageFilter
def pretraiter_pour_ocr(chemin):
"""Improves an image for OCR: contrast, sharpness, grayscale."""
img = Image.open(chemin)
# Convert to grayscale
img = img.convert("L")
# Increase contrast
enhancer = ImageEnhance.Contrast(img)
img = enhancer.enhance(2.0)
# Increase sharpness
img = img.filter(ImageFilter.SHARPEN)
return img
O fator 2.0 funciona para uma digitalização desbotada; se for empurrado demasiado para cima, cria artefactos que degradam a leitura. Teste em três documentos representativos antes de fixar o valor.
A segunda alavanca é a especialização do prompt por tipo de documento. Um formulário exige “Leia cada campo e o seu valor correspondente”, uma carta pede “Transcreva o corpo da carta preservando os parágrafos”, uma tabela requer “Extraia os dados da tabela em formato markdown”. Três formulações, três estruturas de saída: classifique os seus documentos antes de os transcrever e a qualidade dará um salto.
Vision API vs Document AI
Para OCR avançado e análise de documentos, a Mistral oferece também o Document AI (OCR 4), um serviço especializado. A tabela seguinte delineia a fronteira entre os dois.
| Criterion | Vision API | Document AI (OCR 4) |
|---|---|---|
| Simple OCR | Sufficient | Overqualified |
| Complex documents | Limited | Optimized |
| Nested tables | Approximate | Precise |
| Multi-page PDFs | Not supported | Supported |
| Complex layout | Basic | Advanced |
A linha decisiva são os PDFs de várias páginas: a Vision API processa imagens, não documentos paginados. Assim que a sua fonte for um PDF de várias dezenas de páginas, a questão nem se coloca. Abordaremos o Document AI na Lição 12 (Próximos Passos).
Pontos-chave
- A Vision API realiza um OCR adequado para casos simples (faturas, capturas de ecrã, recibos)
- Utilize a palavra “exactly” no seu prompt para evitar paráfrases
- O Mistral Large 3 é significativamente melhor que o Small para documentos de baixa qualidade
- O pré-processamento de imagem (contraste, escala de cinzentos) melhora os resultados
- Para OCR avançado e PDFs de várias páginas, considere o Document AI (OCR 4) da Mistral