Ir al contenido principal
Español— Elegir un idioma
Menú

Temperatura y Top P en profundidad

Lección 13 de 16 Actualizado el 2 de noviembre de 2026 Desarrollador
En esta página
  1. Dominio de la aleatorización de la salida
  2. Cómo funciona la temperatura
  3. Cómo funciona Top P (muestreo de núcleo)
  4. La regla de oro: un parámetro a la vez
  5. Calibración por caso de uso
  6. Experimenta de forma metódica
  7. Puntos clave

Dominio de la aleatorización de la salida

Ya has cubierto los conceptos básicos de temperature y top_p en la Lección 3. Ahora es el momento de profundizar: cómo afectan matemáticamente estos dos parámetros a la generación, cómo calibrarlos para casos de uso específicos y por qué combinarlos es una fuente clásica de problemas en producción.

Cómo funciona la temperatura

En cada paso de la generación, el modelo calcula una distribución de probabilidad sobre todo el vocabulario: qué token sigue y con qué verosimilitud. La temperatura interviene en esta distribución antes del muestreo, alterando su forma.

Entre 0,0 y 0,3, la distribución se vuelve «picuda»: el token más probable domina masivamente a los demás, haciendo que el modelo sea cuasideterminista. Esto es lo que buscas para extracción o clasificación, donde dos llamadas idénticas deben producir resultados idénticos. Entre 0,4 y 0,8, surge un equilibrio entre coherencia y variedad; este es el rango más común en producción, utilizado para chatbots y escritura asistida. Más allá de eso, de 0,9 a 1,5, la distribución se aplana: los tokens significativamente menos probables tienen ahora una oportunidad realista de ser seleccionados. La creatividad aumenta, pero también lo hace el riesgo de incoherencia, y ambos crecen juntos.

El siguiente experimento hace tangible este fenómeno utilizando una frase deliberadamente mundana.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

prompt = [
    {"role": "system", "content": "Completa la frase con una sola palabra."},
    {"role": "user", "content": "El color del cielo es..."}
]

# Temperatura 0 — siempre la misma respuesta
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
    print(f"T=0.0 prueba {i+1}: {r.choices[0].message.content}")
# azul, azul, azul

# Temperatura 1.5 — respuestas variadas
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
    print(f"T=1.5 prueba {i+1}: {r.choices[0].message.content}")
# azul, celeste, turquesa (varía)

Es necesaria una aclaración respecto a temperature=0: incluso con este valor, pueden aparecer ligeras variaciones entre dos llamadas. La causa no reside en el modelo, sino en el hardware: las operaciones de coma flotante en las GPU no garantizan un orden de evaluación idéntico en cada ejecución, y una discrepancia de redondeo es a veces suficiente para inclinar la elección entre dos tokens casi equiprobables. Si tu caso de uso exige la máxima reproducibilidad, combina temperature=0 con un random_seed cuando el modelo lo admita.

Cómo funciona Top P (muestreo de núcleo)

Top P actúa después de la temperatura, sobre la distribución que esta ya ha remodelado. Su principio no es distorsionar las probabilidades, sino truncar la lista de candidatos, manteniendo solo los tokens cuya suma de probabilidad acumulada alcanza el umbral P. La secuencia completa se desarrolla en cuatro pasos:

  1. El modelo calcula las probabilidades para cada token
  2. La temperatura modifica estas probabilidades
  3. Los tokens se ordenan por probabilidad decreciente
  4. Top P retiene los tokens hasta alcanzar el umbral acumulado

En concreto, un top_p de 0,1 deja vivos solo un puñado de candidatos, lo cual es útil cuando la respuesta esperada es factual y casi única. Con 0,95, casi todo el vocabulario plausible permanece en contienda, lo que se ajusta a una solicitud de invención.

# Top P = 0.1 — muy restrictivo, solo los tokens más probables
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "La capital de Francia es"}],
    temperature=0.7,
    top_p=0.1  # Solo el 10 % superior de la masa de probabilidad
)

# Top P = 0.95 — amplio, casi todos los tokens considerados
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Inventa una nueva palabra para un sentimiento."}],
    temperature=0.7,
    top_p=0.95
)

La regla de oro: un parámetro a la vez

Mistral recomienda explícitamente no ajustar temperature y top_p simultáneamente. La razón se deduce de lo anterior: ambos actúan sobre la misma distribución, uno distorsionándola y el otro recortándola. Sus efectos se multiplican de formas impredecibles y pierdes toda capacidad de atribuir un cambio de comportamiento a uno u otro durante las pruebas. Elige tu palanca y deja la otra en su valor predeterminado.

# CORRECTO — ajustar temperature, top_p por defecto
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.3  # top_p permanece en 1.0 por defecto
)

# CORRECTO — ajustar top_p, temperature por defecto
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    top_p=0.5  # temperature permanece en 0.7 por defecto
)

# EVITAR — ambos a la vez
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.2,
    top_p=0.5  # Interacción impredecible
)

Calibración por caso de uso

En lugar de elegir una temperatura ad hoc, nombra tus configuraciones y razona por objetivo. La extracción y la clasificación buscan una respuesta exacta y reproducible, así que 0,0. El resumen se mantiene fiel al texto fuente con un poco de fluidez, así que 0,3. La escritura asistida busca naturalidad sin creatividad superflua, en 0,5; los chatbots conversacionales necesitan respuestas variadas, en 0,7; la lluvia de ideas exige máxima creatividad, en 1,2. En todos los casos, top_p permanece en 1,0, de acuerdo con la regla anterior.

# Extracción de datos / Clasificación
# Objetivo: respuesta exacta y reproducible
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}

# Resumen / Reformulación
# Objetivo: fiel al texto fuente con cierta fluidez
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}

# Escritura asistida / Correo profesional
# Objetivo: natural pero no demasiado creativo
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}

# Chatbot conversacional
# Objetivo: respuestas variadas y naturales
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}

# Lluvia de ideas / Generación de ideas
# Objetivo: máxima creatividad
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}

# Uso
def smart_complete(client, messages, task_type="chatbot"):
    configs = {
        "extraction": CONFIG_EXTRACTION,
        "summary": CONFIG_SUMMARY,
        "writing": CONFIG_WRITING,
        "chatbot": CONFIG_CHATBOT,
        "creative": CONFIG_CREATIVE,
    }
    config = configs.get(task_type, CONFIG_CHATBOT)

    return client.chat.complete(
        model="mistral-large-latest",
        messages=messages,
        **config
    )

Experimenta de forma metódica

Estos valores son puntos de partida, no verdades absolutas. Para encontrar la configuración adecuada para tu propia tarea, debes medir, y una única prueba por temperatura no mide nada. La función siguiente ejecuta cinco generaciones para cada valor probado y cuenta las respuestas únicas: este es tu indicador de diversidad. Una tarea que produce 5/5 respuestas únicas con T=0,3 señala un prompt demasiado abierto, mucho más que una temperatura mal elegida.

def test_temperature_range(client, messages, temperatures):
    """Prueba múltiples temperaturas en el mismo prompt."""
    results = []
    for temp in temperatures:
        responses = []
        for _ in range(5):  # 5 pruebas por temperatura
            r = client.chat.complete(
                model="mistral-large-latest",
                messages=messages,
                temperature=temp,
                max_tokens=200
            )
            responses.append(r.choices[0].message.content)

        # Medir diversidad
        unique = len(set(responses))
        results.append({
            "temperature": temp,
            "unique_responses": unique,
            "sample": responses[0][:100]
        })

    for r in results:
        print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 únicas | {r['sample']}...")

# Prueba
test_temperature_range(
    client,
    [{"role": "user", "content": "Da un consejo de productividad."}],
    [0.0, 0.3, 0.7, 1.0, 1.5]
)

Puntos clave

  • La temperatura modifica la forma de la distribución de probabilidad de los tokens
  • Top P trunca la distribución manteniendo los tokens más probables
  • Nunca ajustes ambos simultáneamente; modifica un parámetro y deja el otro por defecto
  • temperature=0 no es perfectamente determinista debido al redondeo de la GPU
  • Calibra con pruebas metódicas: 5+ pruebas por configuración, mide la diversidad