Ir para o conteúdo principal
Português— Escolher um idioma
Menu

Temperatura e Top P em Profundidade

Aula 13 de 16 Atualizada a 2 de novembro de 2026 Programador
Nesta página
  1. Dominar a Aleatorização da Saída
  2. Como Funciona a Temperatura
  3. Como Funciona o Top P (Amostragem do Núcleo)
  4. A Regra de Ouro: Um Parâmetro de Cada Vez
  5. Calibrar por Caso de Uso
  6. Experimentar Metodicamente
  7. Pontos-chave

Dominar a Aleatorização da Saída

Já abordou os fundamentos de temperature e top_p na Lição 3. Agora é hora de aprofundar: como estes dois parâmetros afetam matematicamente a geração, como os calibrar para casos de uso específicos e por que a sua combinação é uma fonte clássica de problemas em produção.

Como Funciona a Temperatura

Em cada passo de geração, o modelo calcula uma distribuição de probabilidade sobre todo o vocabulário: qual será o próximo token e com que probabilidade. A temperatura intervém nesta distribuição antes da amostragem, alterando a sua forma.

Entre 0,0 e 0,3, a distribuição torna-se «picuda»: o token mais provável domina massivamente os outros, tornando o modelo quase determinístico. É isto que deseja para extração ou classificação, onde duas chamadas idênticas devem produzir resultados idênticos. Entre 0,4 e 0,8, emerge um equilíbrio entre coerência e variedade — esta é a gama mais comum em produção, utilizada para chatbots e escrita assistida. Acima disso, de 0,9 a 1,5, a distribuição achata-se: tokens significativamente menos prováveis passam a ter uma chance realista de serem selecionados. A criatividade aumenta, mas o risco de incoerência também, e ambos crescem em conjunto.

A experiência seguinte torna este fenómeno tangível, utilizando uma frase deliberadamente banal.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

prompt = [
    {"role": "system", "content": "Complete the sentence with a single word."},
    {"role": "user", "content": "The color of the sky is..."}
]

# Temperature 0 — always the same response
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
    print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue

# Temperature 1.5 — varied responses
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
    print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)

É necessário um esclarecimento sobre temperature=0: mesmo neste valor, podem surgir ligeiras variações entre duas chamadas. A causa não reside no modelo, mas no hardware — as operações de vírgula flutuante em GPUs não garantem uma ordem de avaliação idêntica em cada execução, e uma discrepância de arredondamento é por vezes suficiente para inclinar a escolha entre dois tokens quase equiprováveis. Se o seu caso de uso exigir máxima reprodutibilidade, combine temperature=0 com um random_seed, quando o modelo o suportar.

Como Funciona o Top P (Amostragem do Núcleo)

O Top P atua depois da temperatura, sobre a distribuição que esta já remodelou. O seu princípio não é distorcer as probabilidades, mas truncar a lista de candidatos, mantendo apenas os tokens cuja soma cumulativa de probabilidade atinja o limiar P. A sequência completa desenrola-se em quatro passos:

  1. O modelo calcula as probabilidades para cada token
  2. A temperatura modifica estas probabilidades
  3. Os tokens são ordenados por probabilidade decrescente
  4. O Top P retém os tokens até que o limiar cumulativo seja atingido

Concretamente, um top_p de 0,1 deixa apenas um punhado de candidatos vivos — útil quando a resposta esperada é factual e quase única. Em 0,95, quase todo o vocabulário plausível permanece em disputa, o que se adequa a um pedido de invenção.

# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "The capital of France is"}],
    temperature=0.7,
    top_p=0.1  # Only the top 10% of the probability mass
)

# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
    temperature=0.7,
    top_p=0.95
)

A Regra de Ouro: Um Parâmetro de Cada Vez

A Mistral recomenda explicitamente não ajustar a temperatura e o top_p simultaneamente. A razão decorre do que precede: ambos atuam sobre a mesma distribuição, um distorcendo-a, o outro cortando-a. Os seus efeitos multiplicam-se de formas imprevisíveis e perde-se a capacidade de atribuir uma mudança de comportamento a um ou outro durante os testes. Escolha a sua alavanca e deixe a outra no seu valor padrão.

# GOOD — adjust temperature, top_p default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.3  # top_p remains at 1.0 by default
)

# GOOD — adjust top_p, temperature default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    top_p=0.5  # temperature remains at 0.7 by default
)

# AVOID — both at the same time
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.2,
    top_p=0.5  # Unpredictable interaction
)

Calibrar por Caso de Uso

Em vez de escolher uma temperatura ad hoc, nomeie as suas configurações e raciocine por objetivo. A extração e a classificação visam uma resposta exata e reprodutível, logo 0,0. O resumo mantém-se fiel ao texto de origem com um pouco de fluidez, logo 0,3. A escrita assistida busca naturalidade sem criatividade supérflua, em 0,5; os chatbots conversacionais precisam de respostas variadas, em 0,7; o brainstorming exige criatividade máxima, em 1,2. Em todos os casos, o top_p permanece em 1,0, em conformidade com a regra anterior.

# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}

# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}

# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}

# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}

# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}

# Usage
def smart_complete(client, messages, task_type="chatbot"):
    configs = {
        "extraction": CONFIG_EXTRACTION,
        "summary": CONFIG_SUMMARY,
        "writing": CONFIG_WRITING,
        "chatbot": CONFIG_CHATBOT,
        "creative": CONFIG_CREATIVE,
    }
    config = configs.get(task_type, CONFIG_CHATBOT)

    return client.chat.complete(
        model="mistral-large-latest",
        messages=messages,
        **config
    )

Experimentar Metodicamente

Estes valores são pontos de partida, não verdades absolutas. Para encontrar a configuração certa para a sua própria tarefa, deve medir, e uma única tentativa por temperatura não mede nada. A função abaixo executa cinco gerações para cada valor testado e conta as respostas únicas: este é o seu indicador de diversidade. Uma tarefa que produza 5/5 respostas únicas em T=0,3 sinaliza um prompt demasiado aberto, muito mais do que uma temperatura mal escolhida.

def test_temperature_range(client, messages, temperatures):
    """Tests multiple temperatures on the same prompt."""
    results = []
    for temp in temperatures:
        responses = []
        for _ in range(5):  # 5 trials per temperature
            r = client.chat.complete(
                model="mistral-large-latest",
                messages=messages,
                temperature=temp,
                max_tokens=200
            )
            responses.append(r.choices[0].message.content)

        # Measure diversity
        unique = len(set(responses))
        results.append({
            "temperature": temp,
            "unique_responses": unique,
            "sample": responses[0][:100]
        })

    for r in results:
        print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")

# Test
test_temperature_range(
    client,
    [{"role": "user", "content": "Give a productivity tip."}],
    [0.0, 0.3, 0.7, 1.0, 1.5]
)

Pontos-chave

  • A temperatura modifica a forma da distribuição de probabilidade dos tokens
  • O Top P trunca a distribuição, mantendo apenas os tokens mais prováveis
  • Nunca ajuste ambos simultaneamente — modifique um parâmetro, mantenha o outro no padrão
  • temperature=0 não é perfeitamente determinístico devido ao arredondamento da GPU
  • Calibre com testes metódicos: 5+ tentativas por configuração, meça a diversidade