Optimizar la caché
En esta página
Caché: un factor clave de rendimiento
Los aciertos de caché son el principal motor de la velocidad de inferencia para grok-build-0.1. Cuando el inicio de tu solicitud (el prefijo) coincide con una solicitud anterior, el modelo recupera de la caché los cálculos ya realizados. Resultado: la respuesta llega mucho más rápido.
Comprender este mecanismo te permite optimizar tus interacciones para obtener respuestas casi instantáneas.
Cómo funciona la caché
La caché opera bajo el principio del prefijo común:
- Envías un prompt con el historial de la conversación
- El modelo calcula los tokens desde el inicio (prompt del sistema + historial)
- Si este prefijo se ha calculado recientemente, se recupera de la caché
- Solo los nuevos tokens (tu último mensaje) requieren un cálculo completo
Cuanto más largo sea el prefijo común, mayor será la ganancia. En un escenario de programación en pareja donde intercambias varios mensajes, cada solicitud reutiliza todo el historial previo.
La regla de oro: no modificar el historial
Este es el punto más importante de esta lección. Evita modificar el historial de prompts entre dos solicitudes. Cualquier modificación al inicio de la conversación invalida la caché.
Qué rompe la caché
- Reordenar mensajes en el historial
- Modificar un mensaje anterior (incluso un solo carácter)
- Eliminar mensajes del historial
- Insertar un mensaje en medio de la conversación
- Cambiar el prompt del sistema durante la conversación
Qué preserva la caché
- Añadir un nuevo mensaje al final de la conversación (comportamiento normal)
- Mantener el prompt del sistema idéntico durante toda la sesión
- Mantener el historial intacto sin modificaciones
El prefijo estable
Para maximizar los aciertos de caché, estructura tus solicitudes con un prefijo estable:
[Prompt del sistema (fijo)]
[Mensaje de usuario 1 (fijo)]
[Respuesta del modelo 1 (fijo)]
[Mensaje de usuario 2 (fijo)]
[Respuesta del modelo 2 (fijo)]
...
[Nuevo mensaje de usuario] ← única parte calculada
El prompt del sistema es especialmente importante. Defínelo una vez al inicio de la sesión y no lo cambies. Si estás desarrollando un agente de API con grok-build-0.1, escribe un prompt del sistema completo y estable.
Impacto en el mundo real
En un escenario típico de programación en pareja con 10 intercambios:
- Sin optimización de caché: cada solicitud vuelve a calcular todo el historial. La latencia aumenta con cada intercambio
- Con caché optimizada: solo se calcula el último mensaje. La latencia permanece constante, independientemente de la longitud de la conversación
La diferencia puede ser del orden de unos pocos segundos por interacción. En una sesión de desarrollo de una hora con cientos de intercambios, la ganancia acumulada es considerable.
Para desarrolladores de agentes
Si estás construyendo un agente de API que utiliza grok-build-0.1 en escenarios de uso secuencial de herramientas:
- El prefijo permanece idéntico entre cada llamada a la herramienta, lo cual se recupera automáticamente de la caché
- No reformatees los resultados de las herramientas antes de enviarlos de vuelta al modelo
- Evita transformaciones del historial (resumen, compresión) que romperían la caché
- Mantén el mismo orden de mensajes en cada llamada
Puntos clave
- Los aciertos de caché son el principal factor de velocidad para grok-build-0.1
- Nunca modifiques el historial de prompts entre dos solicitudes
- El prompt del sistema debe permanecer estable durante toda la sesión
- Añade al final, nunca modifiques el inicio
- En agentes secuenciales, la caché funciona de forma natural si se preserva el historial