Ir al contenido principal
Español— Elegir un idioma
Menú

Reduce la latencia con salidas predichas

Lección 5 de 16 Actualizado el 29 de julio de 2026 Avanzado
En esta página
  1. El problema de la latencia en producción
  2. El concepto: predecir para acelerar
  3. Funcionamiento técnico
  4. Modelos compatibles
  5. Cuándo utilizar salidas predichas
  6. Impacto en los precios
  7. Puntos clave

El problema de la latencia en producción

En producción, cada milisegundo cuenta. Cuando un usuario espera la respuesta de un LLM para realizar una edición menor de código o texto, la latencia estándar de la generación token a token puede resultar excesiva. Si ya se conoce el 90 % de la salida esperada, ¿por qué debería el modelo regenerarla por completo?

Las salidas predichas resuelven este problema. Al proporcionar al modelo una predicción de la salida, le permites asignar recursos de cómputo únicamente a las partes que realmente difieren, lo que reduce drásticamente el tiempo de respuesta.

El concepto: predecir para acelerar

El principio es sencillo. Ya conoces la mayor parte de la respuesta esperada; por ejemplo, un archivo de código existente que deseas modificar ligeramente. En lugar de dejar que el modelo regenere todo, pasas el contenido esperado mediante el parámetro prediction:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[...],
    prediction={
        "type": "content",
        "content": expected_content
    }
)

El modelo utiliza entonces este contenido como línea base. Dedica sus recursos de cómputo a los tokens que difieren de la predicción, lo que acelera significativamente la generación.

Funcionamiento técnico

El mecanismo se basa en una validación acelerada, no en una generación acortada. El modelo recibe tu predicción como material de trabajo y procede con la generación comparando su salida con el contenido predicho. Siempre que el token que está a punto de producir coincida con la predicción, la validación es casi instantánea: no se produce el cómputo completo de generación. En cuanto su salida diverge de la predicción, reanuda la generación normal token a token hasta que posiblemente vuelva a alinearse con el contenido predicho.

El resultado práctico es doble. En primer lugar, la calidad de la respuesta se mantiene estrictamente: el modelo no «copia» tu predicción, sino que la valida o se desvía de ella según su propio criterio. En segundo lugar, el ahorro de tiempo es proporcional a la tasa de superposición: una predicción con un 90 % de precisión acelera las cosas significativamente, mientras que una predicción con solo un 40 % de precisión apenas ofrece beneficios.

Modelos compatibles

A fecha de abril de 2026, dos modelos admiten salidas predichas: mistral-large-latest para tareas complejas de edición y razonamiento, y codestral-latest, optimizado para la edición de código. Este último representa la mayoría de los casos de uso reales, ya que la edición de código es el escenario ideal para la predicción.

Cuándo utilizar salidas predichas

El criterio se reduce a una pregunta: ¿conoces ya la mayor parte de la salida? Cuando pides a Codestral que cambie el nombre de una variable en un archivo de 400 líneas, la respuesta esperada es ese mismo archivo con solo unas pocas ocurrencias modificadas; pasa el archivo original como predicción y la generación será casi instantánea. La misma lógica se aplica para corregir una frase en un documento largo, rellenar una plantilla con una estructura fija o modificar una clave en un archivo JSON grande: en todos estos casos, más del 90 % de la salida se conoce de antemano, y eso es precisamente lo que aprovecha la predicción.

Por el contrario, la función pierde todo su valor cuando la salida es impredecible: respuestas creativas, lluvias de ideas o resúmenes abiertos. Si el contenido real diverge de la predicción en más de la mitad de los tokens, el beneficio desaparece y el modelo pasa el tiempo señalando discrepancias. Ten también en cuenta una limitación técnica: las salidas predichas no funcionan con el parámetro n (generaciones múltiples).

Impacto en los precios

Buena noticia: las salidas predichas no tienen impacto en los precios. No pagas nada extra por proporcionar una predicción. Solo pagas por los tokens realmente generados, como de costumbre.

Puntos clave

  • Las salidas predichas reducen la latencia aprovechando el contenido predecible
  • El parámetro prediction proporciona al modelo la salida esperada como línea base
  • Dos modelos compatibles: mistral-large-latest y codestral-latest
  • Ideales para la edición de código, la modificación de texto y las plantillas
  • Sin coste adicional; la calidad se mantiene