Ir al contenido principal
Español— Elegir un idioma
Menú

Optimiza la tasa de aciertos de caché

Lección 10 de 14 Actualizado el 29 de julio de 2026 Avanzado
En esta página
  1. Estructura tus prompts para la caché
  2. La regla de oro: no modifiques el historial
  3. Una arquitectura de prompts que funciona bien con la caché
  4. El reflejo que lo rompe todo: truncar el historial
  5. Mide y mejora
  6. Puntos clave

Estructura tus prompts para la caché

La caché de la API de Grok funciona mediante coincidencia de prefijos. Los tokens se almacenan en caché en orden, del primero al último, y la coincidencia se detiene en el primer carácter diferente. La consecuencia es grave: si modificas un token en medio de tu prompt, todo lo que venga después pierde su caché, aunque el resto sea idéntico palabra por palabra. Una marca de tiempo de veinte caracteres al inicio de un prompt es suficiente para activar la tarificación completa en los 50.000 tokens siguientes. Estructurar tus prompts no es vanidad ingenieril; es lo que separa una factura de 200 € de una de 1.000 € por el mismo servicio.

La regla de oro: no modifiques el historial

El error más común en producción es retocar el historial de mensajes entre solicitudes. Reformatear un mensaje anterior, reordenar turnos, inyectar una fecha actual o un ID de sesión en el prompt del sistema: cada uno de estos gestos, aparentemente inofensivos, invalida la caché desde el punto de modificación en adelante. El caso más extendido cabe en una sola línea de código:

# MALO: marca de tiempo en el prompt del sistema
messages = [
    {"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
    # ...
]

Esta marca de tiempo cambia en cada llamada. Como se sitúa en el primer mensaje, la coincidencia de prefijos falla en el primer token y todo el prompt se factura a la tarifa estándar, conversación tras conversación. Si tu modelo necesita genuinamente conocer la fecha, colócala en el último mensaje de usuario, donde solo costará unas pocas docenas de tokens no almacenados en caché.

La versión correcta del mismo prompt mantiene un encabezado estrictamente fijo, un historial de solo anexión y concentra toda la novedad al final:

# BUENO: contenido estático primero, variables al final
messages = [
    {"role": "system", "content": "You are a customer support specialist assistant."},
    # Historial de conversación SIN CAMBIOS
    {"role": "user", "content": "Previous question..."},
    {"role": "assistant", "content": "Previous response..."},
    # Solo el último mensaje es nuevo
    {"role": "user", "content": "User's new question"}
]

Una arquitectura de prompts que funciona bien con la caché

El principio cabe en una frase: de lo más estable a lo más variable. Concretamente, cuatro capas se suceden en este orden.

  1. Prompt del sistema (estable): instrucciones generales, persona, reglas
  2. Contexto de referencia (estable): documentación, base de conocimientos
  3. Historial de conversación (incremental): solo anexión, nunca modificar
  4. Mensaje actual (variable): la nueva solicitud del usuario

Con esta disposición, las capas de la 1 a la 3 entran en caché y solo la capa 4 se factura a la tarifa estándar. En una aplicación donde el prompt del sistema y el repositorio pesan 8.000 tokens, una pregunta de usuario de 60 tokens solo factura esos 60 tokens a precio completo.

Esta lógica se extiende a casos menos obvios. Si tu aplicación depende de un contexto de referencia largo (documentación de producto, preguntas frecuentes, especificaciones técnicas), colócalo justo después del prompt del sistema: se almacenará en caché a partir de la segunda solicitud de cada conversación. Y, contrariamente a la suposición común, el beneficio no se limita a una única sesión: dos conversaciones distintas que comparten el mismo prefijo, el mismo prompt del sistema y el mismo contexto de referencia, se benefician mutuamente de la caché. En una aplicación multiusuario con un prompt común, cada usuario se beneficia del tráfico de los demás, lo que hace que un prompt del sistema largo y estable sea mucho menos costoso de lo que parece.

El reflejo que lo rompe todo: truncar el historial

Cuando una conversación se alarga y se acerca al límite de contexto, el instinto es cortar los primeros mensajes. Esto es exactamente lo que no debes hacer: al eliminar el principio, desplazas todo lo demás y destruyes la coincidencia de prefijos. Ahorras unos pocos miles de tokens y pagas cincuenta mil a precio completo. Prefiere la resumición, que condensa los intercambios antiguos en un prompt del sistema reescrito una sola vez, dejando intactos los mensajes recientes:

# En lugar de truncar el historial:
# messages = messages[-10:]  # MALO: rompe la caché

# Resume los mensajes antiguos en el prompt del sistema:
messages = [
    {"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
    # Mensajes recientes sin modificar
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."},
    {"role": "user", "content": "New question"}
]

Mide y mejora

Realiza un seguimiento de la tasa de aciertos de caché diaria como una métrica de producción en sí misma, al igual que una tasa de error. Aquí tienes cómo interpretar el valor que observes.

Tasa de cachéInterpretación
Menos del 30 %Prompts mal estructurados o elementos variables al inicio de la secuencia
Del 30 % al 60 %Aceptable para conversaciones cortas, mejorable con un prompt del sistema más largo y estable
Más del 60 %Buen resultado, típico de prompts bien estructurados
Más del 80 %Excelente, los ahorros son significativos

El valor de este seguimiento es principalmente diferencial. Un valor estable del 65 % que cae al 20 % de la noche a la mañana señala un despliegue defectuoso en cuestión de horas: en casi todos los casos, se acaba de introducir una variable al principio del prompt. Pruébalo tú mismo en tu aplicación actual: toma la tasa media en cien solicitudes, mueve un elemento variable al final del prompt y compara.

Puntos clave

  • La caché funciona mediante coincidencia de prefijos: nunca modifiques tokens al inicio del prompt
  • Estructura tus prompts de lo más estable a lo más variable
  • Nunca añadas datos variables (marca de tiempo, IDs) en el prompt del sistema
  • Prefiere la resumición al truncamiento para preservar la caché en conversaciones largas
  • Supervisa tu tasa de aciertos de caché diaria como una métrica de rendimiento financiero