Otimizar a Taxa de Acertos da Cache
Nesta página
Estruture os Seus Prompts para a Cache
A cache da API do Grok funciona através de correspondência de prefixo. Os tokens são colocados em cache por ordem, do primeiro ao último, e a correspondência para no primeiro carácter diferente. A consequência é grave: se modificar um token no meio do seu prompt, tudo o que se segue perde a cache, mesmo que o restante seja idêntico palavra por palavra. Um carimbo de data/hora de vinte caracteres no início de um prompt é suficiente para ativar a tarifação completa nos 50.000 tokens que se seguem. Estruturar os seus prompts não é vaidade de engenharia — é o que separa uma fatura de 200 $ de uma fatura de 1.000 $ pelo mesmo serviço.
A Regra de Ouro: Não Modifique o Histórico
A armadilha mais comum em produção é ajustar o histórico de mensagens entre pedidos. Reformatar uma mensagem anterior, reordenar turnos, injetar uma data atual ou um ID de sessão no prompt do sistema: cada um destes gestos, aparentemente inofensivos, invalida a cache a partir do ponto de modificação em diante. O caso mais generalizado cabe numa única linha de código:
# BAD: timestamp in system prompt
messages = [
{"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
# ...
]
Este carimbo de data/hora muda em cada chamada. Como está situado na própria primeira mensagem, a correspondência de prefixo falha no primeiro token, e todo o prompt é faturado à taxa padrão, conversa após conversa. Se o seu modelo precisar genuinamente de saber a data, coloque-a na última mensagem do utilizador, onde custa apenas algumas dezenas de tokens não colocados em cache.
A versão correta do mesmo prompt mantém um cabeçalho estritamente fixo, um histórico apenas de acréscimo (append-only) e concentra toda a novidade no final:
# GOOD: static content first, variables at the end
messages = [
{"role": "system", "content": "You are a customer support specialist assistant."},
# UNCHANGED conversation history
{"role": "user", "content": "Previous question..."},
{"role": "assistant", "content": "Previous response..."},
# Only the last message is new
{"role": "user", "content": "User's new question"}
]
Uma Arquitetura de Prompts que Funciona Bem com a Cache
O princípio cabe numa frase: do mais estável para o mais variável. Concretamente, quatro camadas seguem-se nesta ordem.
- Prompt do sistema (estável): instruções gerais, persona, regras
- Contexto de referência (estável): documentação, base de conhecimento
- Histórico da conversa (incremental): apenas acréscimos, nunca modificar
- Mensagem atual (variável): o novo pedido do utilizador
Com este arranjo, as camadas 1 a 3 entram na cache, e apenas a camada 4 é faturada à taxa padrão. Numa aplicação onde o prompt do sistema e o repositório pesam 8.000 tokens, uma pergunta do utilizador de 60 tokens fatura apenas esses 60 tokens a preço cheio.
Esta lógica estende-se a casos menos óbvios. Se a sua aplicação depender de um longo contexto de referência — documentação de produto, FAQ, especificações técnicas — coloque-o logo após o prompt do sistema: será colocado em cache a partir do segundo pedido de cada conversa. E, ao contrário da suposição comum, o benefício não se confina a uma única sessão: duas conversas distintas que partilham o mesmo prefixo, o mesmo prompt do sistema e o mesmo contexto de referência, colocam-se em cache mutuamente. Numa aplicação multiutilizador com um prompt comum, cada utilizador beneficia do tráfego dos outros, tornando um prompt do sistema longo e estável muito menos dispendioso do que parece.
O Reflexo que Estraga Tudo: Truncar o Histórico
Quando uma conversa se alonga e se aproxima do limite de contexto, o instinto é cortar as mensagens mais antigas. É exatamente isso que não deve fazer: ao remover o início, desloca todo o resto e destrói a correspondência de prefixo. Poupa alguns milhares de tokens e paga cinquenta mil a preço cheio. Prefira a sumarização, que condensa trocas antigas num prompt do sistema reescrito uma única vez, deixando as mensagens recentes intactas:
# Instead of truncating history:
# messages = messages[-10:] # BAD: breaks cache
# Summarize old messages into the system prompt:
messages = [
{"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
# Recent messages unmodified
{"role": "user", "content": "..."},
{"role": "assistant", "content": "..."},
{"role": "user", "content": "New question"}
]
Meça e Melhore
Acompanhe a taxa diária de acertos da cache como uma métrica de produção por direito próprio, tal como uma taxa de erro. Eis como interpretar o valor que observa.
| Taxa de Cache | Interpretação |
|---|---|
| Menos de 30% | Prompts mal estruturados ou elementos variáveis no início da sequência |
| 30 a 60% | Aceitável para conversas curtas, melhorável com um prompt do sistema mais longo e estável |
| Mais de 60% | Bom resultado, típico de prompts bem estruturados |
| Mais de 80% | Excelente, as poupanças são significativas |
O valor deste acompanhamento é sobretudo diferencial. Um valor estável em 65% que cai para 20% durante a noite aponta para uma implementação defeituosa em poucas horas: em quase todos os casos, uma variável foi introduzida no cabeçalho do prompt. Teste você mesmo na sua aplicação atual — tire a taxa média sobre cem pedidos, mova um elemento variável para o final do prompt e compare.
Pontos-chave
- A cache funciona via correspondência de prefixo: nunca modifique tokens no início do prompt
- Estruture os seus prompts do mais estável para o mais variável
- Nunca adicione dados variáveis (carimbo de data/hora, IDs) no prompt do sistema
- Prefira a sumarização ao truncamento para preservar a cache em conversas longas
- Monitore a sua taxa diária de acertos da cache como uma métrica de desempenho financeiro