Ir para o conteúdo principal
Português— Escolher um idioma
Menu

Otimizar a Taxa de Acertos da Cache

Aula 10 de 14 Atualizada a 29 de julho de 2026 Avancado
Nesta página
  1. Estruture os Seus Prompts para a Cache
  2. A Regra de Ouro: Não Modifique o Histórico
  3. Uma Arquitetura de Prompts que Funciona Bem com a Cache
  4. O Reflexo que Estraga Tudo: Truncar o Histórico
  5. Meça e Melhore
  6. Pontos-chave

Estruture os Seus Prompts para a Cache

A cache da API do Grok funciona através de correspondência de prefixo. Os tokens são colocados em cache por ordem, do primeiro ao último, e a correspondência para no primeiro carácter diferente. A consequência é grave: se modificar um token no meio do seu prompt, tudo o que se segue perde a cache, mesmo que o restante seja idêntico palavra por palavra. Um carimbo de data/hora de vinte caracteres no início de um prompt é suficiente para ativar a tarifação completa nos 50.000 tokens que se seguem. Estruturar os seus prompts não é vaidade de engenharia — é o que separa uma fatura de 200 $ de uma fatura de 1.000 $ pelo mesmo serviço.

A Regra de Ouro: Não Modifique o Histórico

A armadilha mais comum em produção é ajustar o histórico de mensagens entre pedidos. Reformatar uma mensagem anterior, reordenar turnos, injetar uma data atual ou um ID de sessão no prompt do sistema: cada um destes gestos, aparentemente inofensivos, invalida a cache a partir do ponto de modificação em diante. O caso mais generalizado cabe numa única linha de código:

# BAD: timestamp in system prompt
messages = [
    {"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
    # ...
]

Este carimbo de data/hora muda em cada chamada. Como está situado na própria primeira mensagem, a correspondência de prefixo falha no primeiro token, e todo o prompt é faturado à taxa padrão, conversa após conversa. Se o seu modelo precisar genuinamente de saber a data, coloque-a na última mensagem do utilizador, onde custa apenas algumas dezenas de tokens não colocados em cache.

A versão correta do mesmo prompt mantém um cabeçalho estritamente fixo, um histórico apenas de acréscimo (append-only) e concentra toda a novidade no final:

# GOOD: static content first, variables at the end
messages = [
    {"role": "system", "content": "You are a customer support specialist assistant."},
    # UNCHANGED conversation history
    {"role": "user", "content": "Previous question..."},
    {"role": "assistant", "content": "Previous response..."},
    # Only the last message is new
    {"role": "user", "content": "User's new question"}
]

Uma Arquitetura de Prompts que Funciona Bem com a Cache

O princípio cabe numa frase: do mais estável para o mais variável. Concretamente, quatro camadas seguem-se nesta ordem.

  1. Prompt do sistema (estável): instruções gerais, persona, regras
  2. Contexto de referência (estável): documentação, base de conhecimento
  3. Histórico da conversa (incremental): apenas acréscimos, nunca modificar
  4. Mensagem atual (variável): o novo pedido do utilizador

Com este arranjo, as camadas 1 a 3 entram na cache, e apenas a camada 4 é faturada à taxa padrão. Numa aplicação onde o prompt do sistema e o repositório pesam 8.000 tokens, uma pergunta do utilizador de 60 tokens fatura apenas esses 60 tokens a preço cheio.

Esta lógica estende-se a casos menos óbvios. Se a sua aplicação depender de um longo contexto de referência — documentação de produto, FAQ, especificações técnicas — coloque-o logo após o prompt do sistema: será colocado em cache a partir do segundo pedido de cada conversa. E, ao contrário da suposição comum, o benefício não se confina a uma única sessão: duas conversas distintas que partilham o mesmo prefixo, o mesmo prompt do sistema e o mesmo contexto de referência, colocam-se em cache mutuamente. Numa aplicação multiutilizador com um prompt comum, cada utilizador beneficia do tráfego dos outros, tornando um prompt do sistema longo e estável muito menos dispendioso do que parece.

O Reflexo que Estraga Tudo: Truncar o Histórico

Quando uma conversa se alonga e se aproxima do limite de contexto, o instinto é cortar as mensagens mais antigas. É exatamente isso que não deve fazer: ao remover o início, desloca todo o resto e destrói a correspondência de prefixo. Poupa alguns milhares de tokens e paga cinquenta mil a preço cheio. Prefira a sumarização, que condensa trocas antigas num prompt do sistema reescrito uma única vez, deixando as mensagens recentes intactas:

# Instead of truncating history:
# messages = messages[-10:]  # BAD: breaks cache

# Summarize old messages into the system prompt:
messages = [
    {"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
    # Recent messages unmodified
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."},
    {"role": "user", "content": "New question"}
]

Meça e Melhore

Acompanhe a taxa diária de acertos da cache como uma métrica de produção por direito próprio, tal como uma taxa de erro. Eis como interpretar o valor que observa.

Taxa de CacheInterpretação
Menos de 30%Prompts mal estruturados ou elementos variáveis no início da sequência
30 a 60%Aceitável para conversas curtas, melhorável com um prompt do sistema mais longo e estável
Mais de 60%Bom resultado, típico de prompts bem estruturados
Mais de 80%Excelente, as poupanças são significativas

O valor deste acompanhamento é sobretudo diferencial. Um valor estável em 65% que cai para 20% durante a noite aponta para uma implementação defeituosa em poucas horas: em quase todos os casos, uma variável foi introduzida no cabeçalho do prompt. Teste você mesmo na sua aplicação atual — tire a taxa média sobre cem pedidos, mova um elemento variável para o final do prompt e compare.

Pontos-chave

  • A cache funciona via correspondência de prefixo: nunca modifique tokens no início do prompt
  • Estruture os seus prompts do mais estável para o mais variável
  • Nunca adicione dados variáveis (carimbo de data/hora, IDs) no prompt do sistema
  • Prefira a sumarização ao truncamento para preservar a cache em conversas longas
  • Monitore a sua taxa diária de acertos da cache como uma métrica de desempenho financeiro