Ir al contenido principal
Español— Elegir un idioma
Menú

Próximos pasos: Document AI, llamada a funciones y canalizaciones multimodales

Lección 12 de 12 Actualizado el 3 de noviembre de 2026 Desarrollador
En esta página
  1. Más allá de la API de Visión
  2. Mistral Document AI (OCR 4)
  3. Visión + Llamada a funciones
  4. Canalizaciones multimodales
  5. Resumen del curso
  6. Próximos pasos
  7. Puntos clave
  8. Pon a prueba tus conocimientos

Actualizado el 3 de noviembre de 2026 según la página Document QnA de Mistral y el SDK mistralai 3.7.0: el ejemplo consulta un documento usando un modelo de chat (mistral-small-latest), no el modelo OCR, y document_image_limit no es un parámetro para chat.complete (la llamada habría fallado); los límites de página se establecen en client.ocr.process. Fuente: Document QnA.

Más allá de la API de Visión

Ya has dominado los fundamentos de la API de Visión de Mistral: envío de imágenes mediante URL y Base64, análisis de gráficos, realización de OCR, extracción de datos estructurados y comparación de imágenes. Esta base tiene un límite natural: hasta ahora, el modelo siempre ha mirado una imagen y devuelto texto, sin llegar a realizar ninguna acción. Esta última lección cruza esa frontera en tres etapas: el servicio especializado para documentos, la llamada a funciones que convierte el análisis en acción y las canalizaciones que los encadenan.

Mistral Document AI (OCR 4)

Para necesidades avanzadas de OCR, Mistral ofrece Document AI, un servicio especializado en el procesamiento de documentos. Mientras que la API de Visión gestiona imágenes individuales, Document AI razona a escala de documento: maneja PDF de varias páginas y analiza archivos extensos en una sola pasada. Gestiona maquetaciones complejas (columnas, cabeceras y pies de página, tablas anidadas) y preserva la estructura, manteniendo en la salida la jerarquía del documento de títulos, párrafos y listas. Por último, su precisión en OCR está optimizada tanto para texto impreso como manuscrito.

Ejemplo de llamada a Document AI

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Analizar un PDF con Document AI
response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Extrae el contenido completo de este documento conservando la estructura."
                },
                {
                    "type": "document_url",
                    "document_url": "https://example.com/annual-report.pdf"
                }
            ]
        }
    ]
)

print(response.choices[0].message.content)

La diferencia respecto a todo lo que has escrito hasta ahora radica en el tipo de elemento: document_url en lugar de image_url, leído por un modelo de chat estándar (mistral-small-latest en la documentación de Mistral). El documento no debe superar los 50 MB ni contener más de 1.000 páginas. Para procesar solo una parte de un informe anual de 300 páginas, utiliza en su lugar el endpoint de OCR (client.ocr.process), donde los parámetros pages e image_limit acotan el trabajo.

Cuándo usar Document AI frente a la API de Visión

NecesidadAPI de VisiónDocument AI
Foto de una facturaSuficienteExcesivo
PDF de 50 páginasNo compatibleIdeal
Tabla anidada complejaAproximadoPreciso
Captura de interfazIdealNo adecuado
Documento manuscritoBásicoOptimizado

Recuerda la regla general: usa la API de Visión para lo que nació como imagen y Document AI para lo que nació como documento.

Visión + Llamada a funciones

Hasta ahora, tu código recibía una respuesta y decidía qué hacer con ella. La llamada a funciones invierte esta relación: proporcionas al modelo una lista de acciones disponibles y es él quien elige cuál invocar basándose en la imagen. Esta es la clave para construir agentes visuales autónomos.

El ciclo consta de cuatro pasos:

  1. Envías una imagen + definiciones de funciones
  2. El modelo analiza la imagen y decide qué función llamar
  3. Ejecutas la función y devuelves el resultado
  4. El modelo formula una respuesta final

Ejemplo: Agente de procesamiento de facturas

Imagina un departamento de contabilidad que recibe facturas por correo. Son posibles dos resultados: la factura es válida y debe registrarse, o presenta una anomalía y debe marcarse. Definimos por tanto dos herramientas, con sus parámetros y campos obligatorios.

import json

# Definir las herramientas disponibles
outils = [
    {
        "type": "function",
        "function": {
            "name": "enregistrer_facture",
            "description": "Enregistre une facture dans le système comptable",
            "parameters": {
                "type": "object",
                "properties": {
                    "emetteur": {"type": "string", "description": "Nom de l'émetteur"},
                    "numero": {"type": "string", "description": "Numéro de facture"},
                    "date": {"type": "string", "description": "Date d'émission (YYYY-MM-DD)"},
                    "montant_ttc": {"type": "number", "description": "Montant TTC en euros"},
                    "tva": {"type": "number", "description": "Montant de la TVA"}
                },
                "required": ["emetteur", "numero", "date", "montant_ttc"]
            }
        }
    },
    {
        "type": "function",
        "function": {
            "name": "signaler_anomalie",
            "description": "Signale une anomalie sur une facture (doublons, montants incohérents)",
            "parameters": {
                "type": "object",
                "properties": {
                    "type_anomalie": {"type": "string"},
                    "description": {"type": "string"}
                },
                "required": ["type_anomalie", "description"]
            }
        }
    }
]

# Enviar la imagen con las herramientas
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Vous êtes un assistant comptable. Analysez les factures et utilisez les outils appropriés."
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Traitez cette facture."},
                {"type": "image_url", "image_url": encoder_image("factures/facture-2024-0042.jpg")}
            ]
        }
    ],
    tools=outils,
    tool_choice="auto"
)

# Gestionar la llamada a la función
if response.choices[0].message.tool_calls:
    appel = response.choices[0].message.tool_calls[0]
    nom_fonction = appel.function.name
    arguments = json.loads(appel.function.arguments)
    print(f"Fonction appelée : {nom_fonction}")
    print(f"Arguments : {json.dumps(arguments, indent=2, ensure_ascii=False)}")

Redacta el campo description de cada función con cuidado: el modelo basa su elección en esto, no en el nombre. Una descripción vaga produce un agente que llama a la función incorrecta.

Canalizaciones multimodales

Una canalización multimodal encadena varios pasos de procesamiento combinando visión, texto y herramientas. Su valor es tanto económico como organizativo: cada paso emplea estrictamente el modelo necesario.

Ejemplo: Canalización de procesamiento de correo

El correo entrante de una pyme mezcla facturas, presupuestos, contratos y publicidad. Clasificarlos cuesta poco; analizarlos en detalle cuesta más. La canalización comienza, por tanto, con una clasificación usando un modelo ligero, y solo recurre a Large para los documentos que lo justifiquen.

def mail_pipeline(image_path):
    """Pipeline complet : classification -> extraction -> action."""

    # Étape 1 : Classification (modèle léger)
    classification = client.chat.complete(
        model="mistral-small-latest",
        response_format={"type": "json_object"},
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": 'Classifiez ce document : {"type": "facture|devis|contrat|courrier|autre", "urgence": "haute|moyenne|basse"}'},
                {"type": "image_url", "image_url": encoder_image(image_path)}
            ]
        }]
    )
    info = json.loads(classification.choices[0].message.content)
    print(f"Type : {info['type']} | Urgence : {info['urgence']}")

    # Étape 2 : Extraction détaillée (modèle puissant, seulement si nécessaire)
    if info["type"] == "facture":
        extraction = client.chat.complete(
            model="mistral-large-latest",
            response_format={"type": "json_object"},
            messages=[{
                "role": "user",
                "content": [
                    {"type": "text", "text": "Extrayez toutes les données de cette facture en JSON : emetteur, numero, date, lignes, total_ht, tva, total_ttc."},
                    {"type": "image_url", "image_url": encoder_image(image_path)}
                ]
            }]
        )
        data = json.loads(extraction.choices[0].message.content)
        return {"classification": info, "données": data}

    # Étape 3 : Résumé pour les autres types
    summary = client.chat.complete(
        model="mistral-small-latest",
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": "Résumez le contenu de ce document en 3 phrases maximum."},
                {"type": "image_url", "image_url": encoder_image(image_path)}
            ]
        }]
    )
    return {"classification": info, "summary": summary.choices[0].message.content}

# Traiter un lot de courrier
from pathlib import Path

for file in sorted(Path("courrier/").glob("*.jpg")):
    print(f"\n--- {file.name} ---")
    result = mail_pipeline(file)
    print(json.dumps(result, indent=2, ensure_ascii=False))

En un lote donde uno de cada cinco elementos es una factura, cuatro de cada cinco documentos nunca ven el modelo caro, manteniendo una calidad final idéntica.

Resumen del curso

A lo largo de estas 12 lecciones, has pasado del mecanismo a la aplicación. Primero comprendiste la arquitectura multimodal y qué ocurre realmente cuando una imagen entra en el modelo; luego aprendiste a elegir la variante adecuada para tu carga de trabajo: Large, Small o Ministral. A continuación, aprendiste a enviar imágenes mediante URL y Base64, individualmente o por lotes. Sobre esta base, abordaste los usos que constituyen la mayor parte del trabajo real: análisis de gráficos, lectura de texto mediante OCR, extracción de datos estructurados y comparación de imágenes para el control de calidad y el seguimiento de la evolución. Por último, aprendiste a optimizar tus llamadas en cuanto a coste, latencia y fiabilidad, y a integrar la visión en canalizaciones más amplias gracias a la llamada a funciones.

Próximos pasos

Cuatro direcciones extienden naturalmente este camino. En primer lugar, Document AI, cuyo OCR 4 gestiona documentos que la API de Visión no puede soportar. A continuación, los agentes, que combinan visión y llamada a funciones para construir sistemas que deciden y actúan. Luego, el ajuste fino (fine-tuning), si tus imágenes tienen especificidades que ningún modelo generalista conoce: un catálogo de piezas industriales, un formulario interno. Por último, la API de lotes (Batch API), diseñada para procesar miles de imágenes a un coste reducido cuando el tiempo de respuesta no es crítico. A más largo plazo, las capacidades multimodales avanzadas abrirán el camino al vídeo y al audio cuando estén disponibles.

Puntos clave

  • Document AI (OCR 4) es el complemento natural de la API de Visión para documentos complejos y PDF
  • La llamada a funciones convierte la visión en un agente autónomo capaz de actuar sobre los datos extraídos
  • Una canalización multimodal combina clasificación (Small) y extracción (Large) para optimizar la calidad y el coste
  • La API de Visión de Mistral es un bloque fundamental para construir aplicaciones de IA modernas

Pon a prueba tus conocimientos

Visión a través de la API: cinco preguntas para afianzar la canalización.

1. ¿Cómo se envía una imagen a la API de Mistral?

Respuesta: Mediante URL o codificada en Base64, en un mensaje con contenido mixto de texto e imagen; además, varias imágenes pueden viajar en el mismo mensaje para su comparación.

2. ¿Qué permite la visión más allá de la descripción?

Respuesta: Análisis de gráficos, OCR (transcripción de texto desde imágenes) y extracción de datos estructurados; la imagen se convierte en una fuente de datos, no en una ilustración.

3. ¿Cómo hacer fiable la extracción estructurada desde una imagen?

Respuesta: Especifica con precisión el esquema esperado (campos, formato), solicita exhaustividad o la admisión de ausencia y verifica los valores críticos; la visión se indica (prompt) igual que el texto.

4. ¿Qué límites debes tener en cuenta?

Respuesta: La calidad de la imagen lo condiciona todo (resolución, nitidez); el texto muy pequeño y las maquetaciones complejas fatigan al modelo: optimiza la entrada antes de culpar a la salida.

5. ¿Cuáles son los seguimientos naturales de este curso?

Respuesta: Document AI para documentos completos, llamada a funciones para conectar la extracción con tus sistemas y canalizaciones multimodales que lo combinen todo.

URL o Base64, indicaciones precisas, entradas cuidadas: la canalización de visión está lista; los siguientes pasos la integran en tus aplicaciones.