Otimizar a cache
Nesta página
Cache: Um fator de desempenho crucial
As acertos de cache (« cache hits ») são o principal motor da velocidade de inferência para o grok-build-0.1. Quando o início do seu pedido (o prefixo) coincide com um pedido anterior, o modelo recupera os cálculos já efetuados da cache. Resultado: a resposta chega muito mais rapidamente.
Compreender este mecanismo permite-lhe otimizar as suas interações para obter respostas quase instantâneas.
Como funciona a cache
A cache opera com base no princípio do prefixo comum:
- Envia um prompt com o histórico da conversa
- O modelo computa os tokens desde o início (prompt de sistema + histórico)
- Se este prefixo foi computado recentemente, é recuperado da cache
- Apenas os novos tokens (a sua última mensagem) exigem um cálculo completo
Quanto mais longo for o prefixo comum, maior será o ganho. Num cenário de programação em par onde troca várias mensagens, cada pedido reutiliza todo o histórico anterior.
A regra de ouro: Não modifique o histórico
Este é o ponto mais importante desta lição. Evite modificar o histórico de prompts entre dois pedidos. Qualquer alteração ao início da conversa invalida a cache.
O que quebra a cache
- Reordenar mensagens no histórico
- Modificar uma mensagem anterior (mesmo que seja um único carácter)
- Eliminar mensagens do histórico
- Inserir uma mensagem no meio da conversa
- Alterar o prompt de sistema durante a conversa
O que preserva a cache
- Adicionar uma nova mensagem ao final da conversa (comportamento normal)
- Manter o prompt de sistema idêntico durante toda a sessão
- Manter o histórico intacto sem modificações
O prefixo estável
Para maximizar os acertos de cache, estruture os seus pedidos com um prefixo estável:
[Prompt de sistema (fixo)]
[Mensagem do utilizador 1 (fixa)]
[Resposta do modelo 1 (fixa)]
[Mensagem do utilizador 2 (fixa)]
[Resposta do modelo 2 (fixa)]
...
[Nova mensagem do utilizador] ← apenas esta parte é computada
O prompt de sistema é particularmente importante. Defina-o uma vez no início da sessão e não o altere. Se estiver a desenvolver um agente de API com o grok-build-0.1, escreva um prompt de sistema completo e estável.
Impacto no mundo real
Num cenário típico de programação em par com 10 trocas:
- Sem otimização de cache: cada pedido recomputa todo o histórico. A latência aumenta a cada troca
- Com cache otimizada: apenas a última mensagem é computada. A latência permanece constante, independentemente do comprimento da conversa
A diferença pode ser da ordem de alguns segundos por interação. Numa sessão de desenvolvimento de uma hora com centenas de trocas, o ganho cumulativo é considerável.
Para programadores de agentes
Se estiver a construir um agente de API que utiliza o grok-build-0.1 em cenários de uso sequencial de ferramentas:
- O prefixo permanece idêntico entre cada chamada de ferramenta, sendo recuperado da cache automaticamente
- Não reformate os resultados das ferramentas antes de os enviar de volta ao modelo
- Evite transformações no histórico (resumo, compressão) que quebrariam a cache
- Mantenha a mesma ordem de mensagens em cada chamada
Pontos-chave
- Os acertos de cache são o principal fator de velocidade para o grok-build-0.1
- Nunca modifique o histórico de prompts entre dois pedidos
- O prompt de sistema deve permanecer estável durante toda a sessão
- Adicione ao final, nunca modifique o início
- Em agentes sequenciais, a cache funciona naturalmente se o histórico for preservado