Próximos pasos: Document AI, llamada a funciones y canalizaciones multimodales
En esta página
Actualizado el 3 de noviembre de 2026 según la página Document QnA de Mistral y el SDK
mistralai3.7.0: el ejemplo consulta un documento usando un modelo de chat (mistral-small-latest), no el modelo OCR, ydocument_image_limitno es un parámetro parachat.complete(la llamada habría fallado); los límites de página se establecen enclient.ocr.process. Fuente: Document QnA.
Más allá de la API de Visión
Ya has dominado los fundamentos de la API de Visión de Mistral: envío de imágenes mediante URL y Base64, análisis de gráficos, realización de OCR, extracción de datos estructurados y comparación de imágenes. Esta base tiene un límite natural: hasta ahora, el modelo siempre ha mirado una imagen y devuelto texto, sin llegar a realizar ninguna acción. Esta última lección cruza esa frontera en tres etapas: el servicio especializado para documentos, la llamada a funciones que convierte el análisis en acción y las canalizaciones que los encadenan.
Mistral Document AI (OCR 4)
Para necesidades avanzadas de OCR, Mistral ofrece Document AI, un servicio especializado en el procesamiento de documentos. Mientras que la API de Visión gestiona imágenes individuales, Document AI razona a escala de documento: maneja PDF de varias páginas y analiza archivos extensos en una sola pasada. Gestiona maquetaciones complejas (columnas, cabeceras y pies de página, tablas anidadas) y preserva la estructura, manteniendo en la salida la jerarquía del documento de títulos, párrafos y listas. Por último, su precisión en OCR está optimizada tanto para texto impreso como manuscrito.
Ejemplo de llamada a Document AI
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Analizar un PDF con Document AI
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extrae el contenido completo de este documento conservando la estructura."
},
{
"type": "document_url",
"document_url": "https://example.com/annual-report.pdf"
}
]
}
]
)
print(response.choices[0].message.content)
La diferencia respecto a todo lo que has escrito hasta ahora radica en el tipo de elemento: document_url en lugar de image_url, leído por un modelo de chat estándar (mistral-small-latest en la documentación de Mistral). El documento no debe superar los 50 MB ni contener más de 1.000 páginas. Para procesar solo una parte de un informe anual de 300 páginas, utiliza en su lugar el endpoint de OCR (client.ocr.process), donde los parámetros pages e image_limit acotan el trabajo.
Cuándo usar Document AI frente a la API de Visión
| Necesidad | API de Visión | Document AI |
|---|---|---|
| Foto de una factura | Suficiente | Excesivo |
| PDF de 50 páginas | No compatible | Ideal |
| Tabla anidada compleja | Aproximado | Preciso |
| Captura de interfaz | Ideal | No adecuado |
| Documento manuscrito | Básico | Optimizado |
Recuerda la regla general: usa la API de Visión para lo que nació como imagen y Document AI para lo que nació como documento.
Visión + Llamada a funciones
Hasta ahora, tu código recibía una respuesta y decidía qué hacer con ella. La llamada a funciones invierte esta relación: proporcionas al modelo una lista de acciones disponibles y es él quien elige cuál invocar basándose en la imagen. Esta es la clave para construir agentes visuales autónomos.
El ciclo consta de cuatro pasos:
- Envías una imagen + definiciones de funciones
- El modelo analiza la imagen y decide qué función llamar
- Ejecutas la función y devuelves el resultado
- El modelo formula una respuesta final
Ejemplo: Agente de procesamiento de facturas
Imagina un departamento de contabilidad que recibe facturas por correo. Son posibles dos resultados: la factura es válida y debe registrarse, o presenta una anomalía y debe marcarse. Definimos por tanto dos herramientas, con sus parámetros y campos obligatorios.
import json
# Definir las herramientas disponibles
outils = [
{
"type": "function",
"function": {
"name": "enregistrer_facture",
"description": "Enregistre une facture dans le système comptable",
"parameters": {
"type": "object",
"properties": {
"emetteur": {"type": "string", "description": "Nom de l'émetteur"},
"numero": {"type": "string", "description": "Numéro de facture"},
"date": {"type": "string", "description": "Date d'émission (YYYY-MM-DD)"},
"montant_ttc": {"type": "number", "description": "Montant TTC en euros"},
"tva": {"type": "number", "description": "Montant de la TVA"}
},
"required": ["emetteur", "numero", "date", "montant_ttc"]
}
}
},
{
"type": "function",
"function": {
"name": "signaler_anomalie",
"description": "Signale une anomalie sur une facture (doublons, montants incohérents)",
"parameters": {
"type": "object",
"properties": {
"type_anomalie": {"type": "string"},
"description": {"type": "string"}
},
"required": ["type_anomalie", "description"]
}
}
}
]
# Enviar la imagen con las herramientas
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Vous êtes un assistant comptable. Analysez les factures et utilisez les outils appropriés."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Traitez cette facture."},
{"type": "image_url", "image_url": encoder_image("factures/facture-2024-0042.jpg")}
]
}
],
tools=outils,
tool_choice="auto"
)
# Gestionar la llamada a la función
if response.choices[0].message.tool_calls:
appel = response.choices[0].message.tool_calls[0]
nom_fonction = appel.function.name
arguments = json.loads(appel.function.arguments)
print(f"Fonction appelée : {nom_fonction}")
print(f"Arguments : {json.dumps(arguments, indent=2, ensure_ascii=False)}")
Redacta el campo description de cada función con cuidado: el modelo basa su elección en esto, no en el nombre. Una descripción vaga produce un agente que llama a la función incorrecta.
Canalizaciones multimodales
Una canalización multimodal encadena varios pasos de procesamiento combinando visión, texto y herramientas. Su valor es tanto económico como organizativo: cada paso emplea estrictamente el modelo necesario.
Ejemplo: Canalización de procesamiento de correo
El correo entrante de una pyme mezcla facturas, presupuestos, contratos y publicidad. Clasificarlos cuesta poco; analizarlos en detalle cuesta más. La canalización comienza, por tanto, con una clasificación usando un modelo ligero, y solo recurre a Large para los documentos que lo justifiquen.
def mail_pipeline(image_path):
"""Pipeline complet : classification -> extraction -> action."""
# Étape 1 : Classification (modèle léger)
classification = client.chat.complete(
model="mistral-small-latest",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": [
{"type": "text", "text": 'Classifiez ce document : {"type": "facture|devis|contrat|courrier|autre", "urgence": "haute|moyenne|basse"}'},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
info = json.loads(classification.choices[0].message.content)
print(f"Type : {info['type']} | Urgence : {info['urgence']}")
# Étape 2 : Extraction détaillée (modèle puissant, seulement si nécessaire)
if info["type"] == "facture":
extraction = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Extrayez toutes les données de cette facture en JSON : emetteur, numero, date, lignes, total_ht, tva, total_ttc."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
data = json.loads(extraction.choices[0].message.content)
return {"classification": info, "données": data}
# Étape 3 : Résumé pour les autres types
summary = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Résumez le contenu de ce document en 3 phrases maximum."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
return {"classification": info, "summary": summary.choices[0].message.content}
# Traiter un lot de courrier
from pathlib import Path
for file in sorted(Path("courrier/").glob("*.jpg")):
print(f"\n--- {file.name} ---")
result = mail_pipeline(file)
print(json.dumps(result, indent=2, ensure_ascii=False))
En un lote donde uno de cada cinco elementos es una factura, cuatro de cada cinco documentos nunca ven el modelo caro, manteniendo una calidad final idéntica.
Resumen del curso
A lo largo de estas 12 lecciones, has pasado del mecanismo a la aplicación. Primero comprendiste la arquitectura multimodal y qué ocurre realmente cuando una imagen entra en el modelo; luego aprendiste a elegir la variante adecuada para tu carga de trabajo: Large, Small o Ministral. A continuación, aprendiste a enviar imágenes mediante URL y Base64, individualmente o por lotes. Sobre esta base, abordaste los usos que constituyen la mayor parte del trabajo real: análisis de gráficos, lectura de texto mediante OCR, extracción de datos estructurados y comparación de imágenes para el control de calidad y el seguimiento de la evolución. Por último, aprendiste a optimizar tus llamadas en cuanto a coste, latencia y fiabilidad, y a integrar la visión en canalizaciones más amplias gracias a la llamada a funciones.
Próximos pasos
Cuatro direcciones extienden naturalmente este camino. En primer lugar, Document AI, cuyo OCR 4 gestiona documentos que la API de Visión no puede soportar. A continuación, los agentes, que combinan visión y llamada a funciones para construir sistemas que deciden y actúan. Luego, el ajuste fino (fine-tuning), si tus imágenes tienen especificidades que ningún modelo generalista conoce: un catálogo de piezas industriales, un formulario interno. Por último, la API de lotes (Batch API), diseñada para procesar miles de imágenes a un coste reducido cuando el tiempo de respuesta no es crítico. A más largo plazo, las capacidades multimodales avanzadas abrirán el camino al vídeo y al audio cuando estén disponibles.
Puntos clave
- Document AI (OCR 4) es el complemento natural de la API de Visión para documentos complejos y PDF
- La llamada a funciones convierte la visión en un agente autónomo capaz de actuar sobre los datos extraídos
- Una canalización multimodal combina clasificación (Small) y extracción (Large) para optimizar la calidad y el coste
- La API de Visión de Mistral es un bloque fundamental para construir aplicaciones de IA modernas
Pon a prueba tus conocimientos
Visión a través de la API: cinco preguntas para afianzar la canalización.
1. ¿Cómo se envía una imagen a la API de Mistral?
Respuesta: Mediante URL o codificada en Base64, en un mensaje con contenido mixto de texto e imagen; además, varias imágenes pueden viajar en el mismo mensaje para su comparación.
2. ¿Qué permite la visión más allá de la descripción?
Respuesta: Análisis de gráficos, OCR (transcripción de texto desde imágenes) y extracción de datos estructurados; la imagen se convierte en una fuente de datos, no en una ilustración.
3. ¿Cómo hacer fiable la extracción estructurada desde una imagen?
Respuesta: Especifica con precisión el esquema esperado (campos, formato), solicita exhaustividad o la admisión de ausencia y verifica los valores críticos; la visión se indica (prompt) igual que el texto.
4. ¿Qué límites debes tener en cuenta?
Respuesta: La calidad de la imagen lo condiciona todo (resolución, nitidez); el texto muy pequeño y las maquetaciones complejas fatigan al modelo: optimiza la entrada antes de culpar a la salida.
5. ¿Cuáles son los seguimientos naturales de este curso?
Respuesta: Document AI para documentos completos, llamada a funciones para conectar la extracción con tus sistemas y canalizaciones multimodales que lo combinen todo.
URL o Base64, indicaciones precisas, entradas cuidadas: la canalización de visión está lista; los siguientes pasos la integran en tus aplicaciones.