Contexto largo: hasta 1 millón de tokens
En esta página
Qué significa una ventana de un millón de tokens
No todos los modelos de texto de Grok comparten la misma capacidad de contexto, y esta diferencia es un factor clave en tu decisión: grok-4.3 y la generación grok-4.20 admiten hasta 1 millón de tokens, grok-4.5 acepta 500.000 y grok-build-0.1 256.000. Para poner ese límite superior en perspectiva, 1 millón de tokens representa unas 750.000 palabras, el equivalente de entre siete y diez novelas o de una base de código de tamaño medio.
Esta capacidad transforma la forma en que utilizas un modelo de lenguaje. En lugar de fragmentar tus datos y procesarlos por separado, puedes proporcionar todo el contexto en una única solicitud; y para estas tareas, grok-4.3, la opción económica de contexto muy largo, suele ser la elección adecuada en lugar del modelo insignia.
Casos de uso
Análisis de bases de código
Con 1 millón de tokens, puedes cargar una base de código completa en el contexto del modelo. Un proyecto en Python de decenas de miles de líneas cabe cómodamente en esta ventana. El modelo puede entonces responder a preguntas sobre la arquitectura global, identificar dependencias cruzadas o proponer refactorizaciones coherentes con todo el código, algo que grok-build-0.1, limitado a 256k, no puede hacer a esta escala.
Procesamiento de documentos extensos
Informes anuales, documentos legales, manuales técnicos: estos documentos suelen tener cientos de páginas. En lugar de resumirlos por fragmentos y perder el contexto global, puedes inyectarlos íntegramente y formular preguntas precisas sobre cualquier sección.
Conversaciones largas
En aplicaciones conversacionales, la ventana de contexto determina la longitud del historial que el modelo puede «recordar». Con una ventana de un millón de tokens, mantienes conversaciones muy extensas sin pérdida de contexto, algo útil para sesiones de trabajo prolongadas o soporte técnico complejo.
Síntesis de múltiples fuentes
Carga varios documentos simultáneamente (artículos, informes, correos electrónicos) para sintetizarlos entre fuentes. El modelo puede identificar solapamientos, contradicciones e información complementaria entre las distintas fuentes.
Límites y consideraciones
El umbral de 200.000 tokens
Este es el punto que demasiada gente descubre al recibir la factura: la tarificación de Grok se duplica más allá de 200.000 tokens de contexto. Es decir, en cuanto aprovechas realmente el contexto largo, pasas automáticamente a la tarifa superior. Una solicitud de entrada de un millón de tokens en grok-4.3 se factura al doble: 2,50 $ por millón en lugar de 1,25 $, lo que supone 2,50 $ por esa única solicitud. En grok-4.5, una solicitud de 500.000 tokens salta a 4,00 $ por millón de tokens de entrada.
Este umbral debe influir en tu diseño: una arquitectura que se mantiene por debajo de 200.000 tokens cuesta la mitad por token que una que lo supera, a volumen igual.
Latencia
Cuanto más largo es el contexto, mayor es el tiempo de procesamiento. Una solicitud con un millón de tokens de entrada será significativamente más lenta que una con 2.000 tokens. Planifica tiempos de espera adecuados; xAI recomienda un mínimo de 3.600 segundos para solicitudes complejas.
Coste y caché
El coste es directamente proporcional al número de tokens procesados, y la caché es el único contrapeso real: los tokens de entrada ya vistos se facturan entre un 75 % y un 85 % más baratos según el modelo (84 % en grok-4.3 y la generación 4.20). Un contexto de referencia estable, reutilizado de solicitud en solicitud, tiene por tanto una fracción de su precio inicial; de ahí la importancia crucial de la caché para contextos largos.
Calidad de la atención
Aunque el modelo acepte un millón de tokens, la calidad de la atención no es uniforme. La información situada al principio y al final del contexto suele «retenerser» mejor que la del medio. Para solicitudes críticas, coloca la información más importante al inicio del contexto o justo antes de la pregunta.
Sin almacenamiento permanente
La ventana de contexto es efímera: solo existe durante la solicitud. Si necesitas almacenar información entre solicitudes, utiliza las colecciones de xAI o tu propia base de datos. La ventana de contexto no sustituye a un sistema de memoria persistente.
Estrategias para un uso eficaz
Estructura tu contexto
Con un contexto muy largo, la estructura se vuelve crucial. Utiliza delimitadores claros (etiquetas XML, encabezados Markdown) para organizar las distintas secciones. El modelo navega mejor cuando el contexto está bien etiquetado.
Combina contexto largo y caché
La combinación más potente: un contexto largo estable (documentación de referencia, código fuente) que se beneficia de la caché, con adiciones cortas y dinámicas (pregunta del usuario) al final. Obtienes la potencia del contexto largo a precios de caché.
No llenes el contexto innecesariamente
Que puedas inyectar un millón de tokens no significa que debas hacerlo sistemáticamente. Cada token tiene un coste, puede cruzar potencialmente el umbral de 200k y aumenta la latencia. Selecciona el contexto relevante para la tarea concreta en lugar de enviarlo todo por defecto; y recuerda que RAG suele seguir siendo más barato que el contexto largo para consultar un corpus extenso.
Puntos clave
- Las ventanas varían según el modelo: 1M para grok-4.3 y la generación 4.20, 500k para grok-4.5, 256k para grok-build-0.1
- 1 millón de tokens representa unas 750.000 palabras: ideal para código, documentos extensos y conversaciones prolongadas
- Vigila el umbral: más allá de 200.000 tokens de contexto, la tarifa por token se duplica
- La latencia aumenta con el tamaño del contexto: planifica tiempos de espera adecuados
- La caché (reducción del 75 % al 85 % en entrada) es esencial para hacer económicos los contextos largos
- La calidad de la atención varía: coloca la información crítica al inicio o al final del contexto