Ir para o conteúdo principal
Português— Escolher um idioma
Menu

Otimizar a cache

Aula 8 de 14 Atualizada a 29 de julho de 2026 Programador
Nesta página
  1. Cache: Um fator de desempenho crucial
  2. Como funciona a cache
  3. A regra de ouro: Não modifique o histórico
  4. O prefixo estável
  5. Impacto no mundo real
  6. Para programadores de agentes
  7. Pontos-chave

Cache: Um fator de desempenho crucial

As acertos de cache (« cache hits ») são o principal motor da velocidade de inferência para o grok-build-0.1. Quando o início do seu pedido (o prefixo) coincide com um pedido anterior, o modelo recupera os cálculos já efetuados da cache. Resultado: a resposta chega muito mais rapidamente.

Compreender este mecanismo permite-lhe otimizar as suas interações para obter respostas quase instantâneas.

Como funciona a cache

A cache opera com base no princípio do prefixo comum:

  1. Envia um prompt com o histórico da conversa
  2. O modelo computa os tokens desde o início (prompt de sistema + histórico)
  3. Se este prefixo foi computado recentemente, é recuperado da cache
  4. Apenas os novos tokens (a sua última mensagem) exigem um cálculo completo

Quanto mais longo for o prefixo comum, maior será o ganho. Num cenário de programação em par onde troca várias mensagens, cada pedido reutiliza todo o histórico anterior.

A regra de ouro: Não modifique o histórico

Este é o ponto mais importante desta lição. Evite modificar o histórico de prompts entre dois pedidos. Qualquer alteração ao início da conversa invalida a cache.

O que quebra a cache

  • Reordenar mensagens no histórico
  • Modificar uma mensagem anterior (mesmo que seja um único carácter)
  • Eliminar mensagens do histórico
  • Inserir uma mensagem no meio da conversa
  • Alterar o prompt de sistema durante a conversa

O que preserva a cache

  • Adicionar uma nova mensagem ao final da conversa (comportamento normal)
  • Manter o prompt de sistema idêntico durante toda a sessão
  • Manter o histórico intacto sem modificações

O prefixo estável

Para maximizar os acertos de cache, estruture os seus pedidos com um prefixo estável:

[Prompt de sistema (fixo)]
[Mensagem do utilizador 1 (fixa)]
[Resposta do modelo 1 (fixa)]
[Mensagem do utilizador 2 (fixa)]
[Resposta do modelo 2 (fixa)]
...
[Nova mensagem do utilizador] ← apenas esta parte é computada

O prompt de sistema é particularmente importante. Defina-o uma vez no início da sessão e não o altere. Se estiver a desenvolver um agente de API com o grok-build-0.1, escreva um prompt de sistema completo e estável.

Impacto no mundo real

Num cenário típico de programação em par com 10 trocas:

  • Sem otimização de cache: cada pedido recomputa todo o histórico. A latência aumenta a cada troca
  • Com cache otimizada: apenas a última mensagem é computada. A latência permanece constante, independentemente do comprimento da conversa

A diferença pode ser da ordem de alguns segundos por interação. Numa sessão de desenvolvimento de uma hora com centenas de trocas, o ganho cumulativo é considerável.

Para programadores de agentes

Se estiver a construir um agente de API que utiliza o grok-build-0.1 em cenários de uso sequencial de ferramentas:

  • O prefixo permanece idêntico entre cada chamada de ferramenta, sendo recuperado da cache automaticamente
  • Não reformate os resultados das ferramentas antes de os enviar de volta ao modelo
  • Evite transformações no histórico (resumo, compressão) que quebrariam a cache
  • Mantenha a mesma ordem de mensagens em cada chamada

Pontos-chave

  • Os acertos de cache são o principal fator de velocidade para o grok-build-0.1
  • Nunca modifique o histórico de prompts entre dois pedidos
  • O prompt de sistema deve permanecer estável durante toda a sessão
  • Adicione ao final, nunca modifique o início
  • Em agentes sequenciais, a cache funciona naturalmente se o histórico for preservado