Top P y muestreo de núcleo
En esta página
Una segunda palanca para controlar la generación
La lección anterior te presentó la primera palanca para controlar la generación: la temperatura. El Top P, también conocido como muestreo de núcleo, es su complemento natural. Mientras que la temperatura modifica toda la distribución de probabilidad, el Top P actúa como un filtro que limita el número de tokens candidatos. Ambos parámetros influyen en la diversidad de la respuesta, pero mediante mecanismos muy distintos; es precisamente esta diferencia la que te permitirá afinar el comportamiento del modelo Mistral en lugar de ajustar controles al azar.
Cómo funciona el Top P
Repasemos de nuevo el proceso de generación. En cada paso, el modelo calcula una probabilidad para cada token posible. El Top P interviene en tres fases: primero, las probabilidades se ajustan mediante la temperatura; a continuación, los tokens se ordenan por probabilidad descendente y sus probabilidades se suman de forma acumulativa; finalmente, solo se conservan aquellos tokens cuya probabilidad acumulada no supera el umbral del Top P. La selección final se realiza únicamente entre estos supervivientes.
Un ejemplo clarifica el mecanismo. Imagina que el modelo debe elegir la siguiente palabra después de «The cat is on the»:
| Token | Probabilidad | Acumulada |
|---|---|---|
| roof | 0.35 | 0.35 |
| bed | 0.25 | 0.60 |
| sofa | 0.15 | 0.75 |
| floor | 0.10 | 0.85 |
| ledge | 0.05 | 0.90 |
| wall | 0.03 | 0.93 |
| … | … | … |
Con un Top P = 0.75, solo se mantienen «roof», «bed» y «sofa», ya que su suma acumulada alcanza exactamente 0.75: el modelo elegirá únicamente entre estas tres opciones. Con un Top P = 0.90, entran en juego también «floor» y «ledge». La regla general se desprende claramente de la tabla: cuanto mayor sea el Top P, más candidatos se tendrán en cuenta.
Top P frente a temperatura: ¿cuál es la diferencia?
Dado que ambos parámetros controlan la diversidad, podrías pensar que son intercambiables. No lo son. La temperatura cambia la forma de la distribución: un valor alto aplana la curva y hace que los tokens improbables sean gradualmente más accesibles, sin excluir nunca ninguno. El Top P, por el contrario, corta la distribución: los tokens por debajo del umbral se ignoran por completo, independientemente de su probabilidad residual.
Guarda esta imagen en la mente: la temperatura es un ajuste «suave», que varía de forma gradual, mientras que el Top P es un ajuste «drástico», que incluye o excluye. En textos creativos, una temperatura alta combinada con un Top P moderado permite la fantasía evitando al mismo tiempo una deriva hacia tokens verdaderamente improbables; esta suele ser la combinación más equilibrada.
Uso del Top P con la API de Mistral
En el código, el parámetro simplemente se añade a la llamada, junto con la temperatura:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propón un nombre para una startup de IA."}
],
temperature=0.7,
top_p=0.9
)
Cuándo ajustar el Top P
Un Top P bajo, entre 0.1 y 0.5, concentra al modelo en las opciones más probables: máxima precisión. Esta es la elección correcta cuando la respuesta esperada pertenece a un conjunto cerrado, como en esta clasificación estricta:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Responde solo con: positive, neutral o negative."},
{"role": "user", "content": "Clasifica: The product arrived in good condition."}
],
temperature=0.0,
top_p=0.3
)
Un Top P medio, entre 0.5 y 0.8, se adapta a la mayoría de tareas profesionales: el texto se mantiene coherente sin volverse monótono. Este es el régimen adecuado para un informe, un resumen o la introducción de un documento:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Escribe la introducción de un informe sobre ciberseguridad en pymes."}
],
temperature=0.5,
top_p=0.7
)
Por último, un Top P alto, entre 0.8 y 1.0, abre el campo a la creatividad y a la exploración de ideas; aceptas candidatos menos probables para obtener propuestas originales:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Inventa 5 conceptos innovadores de restaurante."}
],
temperature=0.9,
top_p=0.95
)
La regla práctica: ajusta un parámetro cada vez
La documentación de Mistral recomienda un enfoque metódico que deberías adoptar desde tus primeras pruebas: fija el Top P en 1.0 (sin filtrado) y ajusta solo la temperatura, o bien establece la temperatura en 1.0 y ajusta solo el Top P; solo entonces refina el segundo parámetro si es necesario. La razón es sencilla: si modificas ambos simultáneamente y el comportamiento cambia, no sabrás cuál de los dos es el responsable. Es el mismo reflejo que al depurar código: cambias solo una variable cada vez.
Para darte puntos de partida concretos: la extracción de datos o la salida en JSON suele configurarse típicamente como temperature=0.0, top_p=1.0; la redacción profesional como temperature=0.4, top_p=0.9; la generación creativa como temperature=0.8, top_p=0.95; y el código o contenido técnico como temperature=0.2, top_p=0.9. Estos valores son solo puntos de partida; la experimentación sigue siendo esencial para tu caso de uso específico.
Puntos clave
- El Top P filtra los tokens candidatos mediante un umbral de probabilidad acumulada
- A diferencia de la temperatura, que suaviza la distribución, el Top P la corta
- Ajusta un parámetro cada vez para comprender su impacto
- Top P bajo = respuestas centradas; Top P alto = respuestas variadas
- Comienza solo con la temperatura y añade el Top P para refinar