Ir al contenido principal
Español— Elegir un idioma
Menú

Arquitectura multimodal de los modelos Mistral

Lección 2 de 12 Actualizado el 29 de julio de 2026 Desarrollador
En esta página
  1. ¿Cómo procesa un modelo texto e imágenes?
  2. El codificador visual (Vision Encoder)
  3. Fusión de texto e imagen en el LLM
  4. Impacto en el recuento de tokens
  5. Límites de tamaño y resolución
  6. Arquitectura simplificada
  7. Puntos clave

¿Cómo procesa un modelo texto e imágenes?

Cuando envías una imagen a un modelo Mistral, no la «ve» como lo haría un ser humano. El procesamiento se basa en una arquitectura de dos fases: primero, un codificador visual transforma la imagen en una secuencia de tokens numéricos; después, el modelo de lenguaje procesa estos tokens visuales junto con los tokens de texto de tu prompt.

Esta lección puede parecer teórica, pero en realidad es la parte más rentable del curso. Comprender este mecanismo explica por qué una imagen en 4K no ofrece mejores resultados que una en 1080p, por qué tu factura mensual se dispara más rápido con cinco imágenes que con cinco párrafos de texto y por qué el texto diminuto en una captura de pantalla suele transcribirse mal.

El codificador visual (Vision Encoder)

El codificador visual es una red neuronal especializada, normalmente un Vision Transformer (ViT), que divide la imagen en pequeños parches cuadrados, por ejemplo de 14×14 píxeles, y los convierte en incrustaciones numéricas (embeddings). El pipeline consta de cinco pasos:

  1. Redimensionado: la imagen se escala a una resolución estándar (por ejemplo, 384×384 o 768×768 píxeles).
  2. Extracción de parches: la imagen redimensionada se divide en parches regulares.
  3. Proyección: cada parche se convierte en un vector numérico (embedding).
  4. Codificación posicional: se añade la información de posición de cada parche.
  5. Atención: el transformador visual procesa la secuencia completa.

El resultado es una secuencia de tokens visuales, totalmente comparables a los tokens de texto, salvo que representan regiones de la imagen en lugar de fragmentos de palabras. El primer paso merece tu atención: explica por qué un escaneo de una factura de 4.000 píxeles de ancho se reduce a unos pocos cientos de píxeles antes incluso de comenzar el análisis. Los caracteres de letra pequeña, que ya están en el límite de la legibilidad, se convierten en unos pocos píxeles borrosos.

Fusión de texto e imagen en el LLM

Una vez generados los tokens visuales, se insertan en la secuencia de entrada del modelo de lenguaje junto con los tokens de texto. El modelo procesa todo de forma uniforme gracias al mecanismo de atención cruzada (cross-attention).

[tokens de texto: "Describe esta imagen"] + [tokens visuales: parche1, parche2, ..., parcheN]
                                    ↓
                          Modelo de lenguaje (LLM)
                                    ↓
                    [tokens de salida: "Esta imagen muestra..."]

Así, el modelo puede «leer» la imagen y el texto simultáneamente, lo que le permite responder a preguntas específicas sobre el contenido visual. Esto también explica por qué una pregunta formulada antes de la imagen y otra formulada después no ofrecen exactamente el mismo resultado: todo reside en la misma secuencia y el orden importa.

Impacto en el recuento de tokens

Cada imagen consume un número determinado de tokens, dependiendo de su resolución tras el redimensionado. Esta es la clave para estimar tus costes. Una imagen estándar, de alrededor de 768×768 píxeles, consume entre 800 y 1.500 tokens, lo equivalente a una o dos páginas de texto. Las imágenes más grandes se redimensionan antes del procesamiento: enviar una imagen en 4K no cuesta más que una en 1080p, pero tampoco aporta ninguna ventaja. A este total debes sumar los tokens de tu prompt y los de la respuesta generada.

# Ejemplo: estimar el coste de una llamada de visión
tokens_image = 1000  # estimación media
tokens_prompt = 50   # "Describe esta imagen en detalle"
tokens_response = 200  # respuesta estimada

total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Total de tokens estimado: {total_tokens}")
# → Total de tokens estimado: 1250

Ejecuta este cálculo con tu propio volumen antes de industrializar el proceso: mil imágenes al día representan al menos un millón de tokens de entrada, lo que traslada la conversación del prototipo al presupuesto.

Límites de tamaño y resolución

Mistral acepta formatos JPEG, PNG, GIF (solo el primer fotograma) y WebP, con un tamaño máximo de unos 20 MB por imagen. Pueden coexistir varias imágenes en un único mensaje, tema que abordaremos en la Lección 6. La restricción más contraintuitiva sigue siendo el redimensionado interno: una resolución muy alta no mejora los resultados; solo alarga el tiempo de transferencia.

La consecuencia práctica es que debes redimensionar las imágenes tú mismo antes del envío, en lugar de dejar que la API lo haga tras una subida innecesariamente pesada:

from PIL import Image

def prepare_image(path, max_size=1024):
    """Redimensiona una imagen antes del envío para optimizar la latencia."""
    img = Image.open(path)
    img.thumbnail((max_size, max_size))
    img.save(path, quality=85)
    return path

Inserta esta función justo antes de la codificación en Base64 o del alojamiento por URL. En un lote de fotos de smartphone de 4 MB, reduce el volumen transferido en un factor significativo sin pérdida de calidad apreciable para el análisis.

Arquitectura simplificada

De extremo a extremo, el recorrido de una solicitud se resume en cinco pasos: envías un mensaje que contiene texto y una o más imágenes; la API redimensiona cada imagen y la envía al codificador visual; los tokens visuales resultantes se fusionan con los tokens de texto; el modelo genera una respuesta en lenguaje natural; y tú la recibes igual que en una llamada de texto estándar. Nada cambia en tu código del lado de la API: Mistral gestiona toda la complejidad, pero eso no significa que puedas ignorar lo que te cuesta.

Puntos clave

  • Las imágenes se convierten en tokens visuales mediante un codificador Vision Transformer
  • El LLM procesa estos tokens visuales igual que los tokens de texto
  • Una imagen estándar consume aproximadamente entre 800 y 1.500 tokens
  • Las imágenes se redimensionan internamente; no es necesario enviar resoluciones muy altas
  • Redimensionar las imágenes en el lado del cliente reduce la latencia sin pérdida de calidad