Ir al contenido principal
Español— Elegir un idioma
Menú

LLM y arquitectura

Lección 11 de 16 Actualizado el 2 de noviembre de 2026 Principiante
En esta página
  1. Cómo funciona un modelo de lenguaje
  2. ¿Qué es un LLM?
  3. Parámetros del modelo
  4. La arquitectura Transformer
  5. Mezcla de expertos (MoE): la especialidad de Mistral
  6. Pesos del modelo
  7. Entrenamiento en dos fases
  8. Puntos clave

Actualizado el 2 de noviembre de 2026 — Le Chat es ahora Vibe. Desde el 28 de mayo de 2026, Le Chat se ha convertido en Vibe (todavía en chat.mistral.ai): un único agente para el trabajo y la programación que conserva tus conversaciones, configuraciones y suscripciones. La experiencia heredada de Le Chat sigue accesible en el modo Chat; en el modo Work, los agentes son ahora habilidades (que se invocan con @), las memorias constituyen la base de conocimientos y la búsqueda profunda es la habilidad Deep Research. Los planes se denominan ahora Mistral Free, Pro, Team y Enterprise. Esta lección utiliza el nombre Vibe; es posible que algunos menús descritos aquí hayan cambiado de nombre o de ubicación.

Cómo funciona un modelo de lenguaje

Utilizas un modelo de lenguaje cada vez que haces una pregunta en Vibe. Pero, ¿qué ocurre realmente entre el momento en que pulsas Intro y el instante en que aparece la respuesta? Esta lección te da las claves para comprender la arquitectura subyacente sin entrar en detalles matemáticos. No se trata solo de cultura general gratuita: entender el mecanismo te ayuda a anticipar qué hace bien el modelo, qué hace mal y por qué.

¿Qué es un LLM?

Un LLM (Large Language Model o modelo de lenguaje de gran tamaño) es un programa informático entrenado con cantidades masivas de texto para aprender a predecir la siguiente palabra de una frase. Este principio parece engañosamente simple y, sin embargo, aplicado a gran escala, produce resultados sorprendentemente coherentes y útiles. En concreto, cuando haces una pregunta a Mistral Small 4, el modelo procede de la siguiente manera:

  1. Transforma tu texto en tokens
  2. Procesa estos tokens mediante miles de millones de cálculos
  3. Predice el token más probable que debe seguir
  4. Repite la operación token a token hasta completar su respuesta

Esto explica un fenómeno que observaste desde tu primer intercambio: la respuesta aparece progresivamente en la pantalla (streaming) porque el modelo genera efectivamente su respuesta palabra a palabra. Lo que ves desplazarse no es un artefacto de visualización, sino la propia generación en tiempo real.

Parámetros del modelo

Cuando hablamos de un modelo de «7 mil millones de parámetros» o de «14 mil millones de parámetros», nos referimos al número de conexiones digitales ajustables que contiene el modelo. Estos parámetros son los pesos del modelo. Para usar una analogía: si el modelo fuera un cerebro, los parámetros serían las sinapsis, es decir, las conexiones entre neuronas. Cuantos más parámetros, más matices y relaciones complejas del lenguaje puede capturar el modelo.

Sin embargo, ten cuidado de no convertir esta cifra en el único criterio: un modelo más grande no es automáticamente mejor. La eficiencia depende tanto de la calidad de los datos de entrenamiento (unos datos limpios y diversos producen mejores resultados), de la arquitectura del modelo (es decir, de cómo se organizan los parámetros), de las técnicas de entrenamiento utilizadas para ajustar dichos parámetros y del ajuste fino (fine-tuning), que es el refinamiento posterior al entrenamiento para tareas específicas. Esto es precisamente lo que permite a Mistral competir con modelos mucho más grandes: una arquitectura eficiente y datos de entrenamiento de alta calidad.

La arquitectura Transformer

Todos los LLM modernos se basan en la arquitectura Transformer, introducida en 2017. Dos ideas bastan para comprender lo esencial.

La primera es el mecanismo de atención, el corazón del Transformer. Permite al modelo «mirar» todo el texto de entrada para comprender las relaciones entre las palabras, incluso cuando están distantes en la frase. Toma como ejemplo: «El gato que dormía en el sofá se despertó». Gracias a la atención, el modelo entiende que «se despertó» se refiere al gato, no al sofá. Esta capacidad de vincular elementos distantes es lo que distingue a los Transformers de las generaciones anteriores de modelos de lenguaje.

La segunda idea es el apilamiento de capas. Un Transformer consta de múltiples capas superpuestas, y cada una refina la comprensión del texto: las primeras capas capturan relaciones gramaticales simples, mientras que las capas profundas captan conceptos abstractos y relaciones semánticas complejas. La comprensión se construye, por tanto, mediante refinamientos sucesivos, al igual que una lectura que pasa de la sintaxis al significado.

Mezcla de expertos (MoE): la especialidad de Mistral

Una de las grandes innovaciones de Mistral AI es el uso de la arquitectura de Mezcla de expertos (Mixture of Experts o MoE), popularizada con Mixtral 8x7B. El principio rompe con el enfoque clásico: en lugar de una única red neuronal masiva que lo procesa todo, MoE divide el modelo en varios «expertos» especializados, y un mecanismo de enrutamiento selecciona, para cada token procesado, a los expertos más relevantes.

El beneficio es doble. En términos de eficiencia, solo se activan unos pocos expertos para cada token, lo que reduce significativamente el tiempo de cálculo. En términos de rendimiento, el modelo se beneficia de la capacidad total de todos los expertos combinados, mientras que solo paga el coste computacional de aquellos que realmente trabajan; además, cada experto puede especializarse en un tipo de contenido o tarea. En la práctica, un modelo MoE de 47 mil millones de parámetros que activa solo 12 mil millones por token puede ofrecer un rendimiento comparable al de un modelo denso de 47 mil millones, siendo tan rápido como uno de 12 mil millones. Esto explica por qué los modelos de Mistral ofrecen una relación rendimiento-velocidad a menudo superior a la de la competencia.

Pesos del modelo

Los pesos son los valores numéricos que definen el comportamiento del modelo; son los famosos parámetros una vez finalizado el entrenamiento. Cuando Mistral publica un modelo como «Open», significa que estos pesos se pueden descargar. Y poseer los pesos lo cambia todo: puedes alojar el modelo en tus propios servidores, ejecutarlo sin conexión a internet, modificarlo o ajustarlo finamente, e integrarlo en sistemas embebidos. Sin los pesos, dependes de la API del proveedor. Esta es la diferencia fundamental entre los modelos Open y Premier que encontraste en lecciones anteriores; ahora entiendes qué hay técnicamente detrás de ello.

Entrenamiento en dos fases

¿Cómo se crea un modelo como Mistral Small 4? En dos grandes pasos. El primero es el preentrenamiento: el modelo se expone a cantidades masivas de texto (libros, artículos, código fuente, páginas web) y aprende las estructuras del lenguaje. Esta fase requiere miles de GPU durante semanas y cuesta millones de euros; otorga al modelo su cultura y dominio del lenguaje.

El segundo paso es el ajuste fino y la alineación: el modelo preentrenado se refina para seguir instrucciones, ser útil y evitar producir contenido peligroso. Esta fase se basa en datos anotados por humanos y en técnicas como RLHF (Reinforcement Learning from Human Feedback o aprendizaje por refuerzo a partir de retroalimentación humana). Esto es lo que transforma un predictor de texto crudo en un asistente capaz de dialogar: la diferencia entre un modelo que completa frases y un modelo que te responde.

Puntos clave

  • Un LLM predice el siguiente token, repetido miles de veces para producir una respuesta completa
  • Los parámetros (pesos) son las conexiones digitales que codifican el conocimiento del modelo
  • La arquitectura Transformer y su mecanismo de atención permiten comprender las relaciones en el texto
  • La Mezcla de expertos (MoE) es la especialidad de Mistral: rendimiento de un modelo grande, velocidad de uno pequeño
  • Los modelos se crean en dos fases: un preentrenamiento masivo y luego un ajuste fino dirigido
  • Los pesos abiertos permiten el autoalojamiento y la personalización