Tokenización: cómo el modelo ve tu prompt
En esta página
Tokenización: cómo el modelo ve tu prompt
El modelo no lee texto; procesa tokens. Esta distinción no es académica. Determina cuánto pagas, cuánto cabe en tu ventana de contexto y, a veces, por qué el modelo tropieza con una palabra que te parecía trivial. Entender la tokenización te ofrece tres palancas concretas para tu aplicación: optimizar tus prompts, controlar tus costes y explicar comportamientos que parecen inexplicables si piensas en palabras.
¿Qué es un token?
Un token es la unidad básica que manipula el modelo. No es ni una palabra ni un carácter, sino un fragmento de texto generado por un algoritmo de codificación llamado BPE (Byte Pair Encoding), que fusiona iterativamente las secuencias de caracteres más frecuentes en el corpus de entrenamiento. De media, un token representa unos 4 caracteres en inglés, pero esta ratio varía significativamente según el idioma. El siguiente script lo demuestra con una frase en inglés y su equivalente en francés, mostrando la división real. Ver cómo el tokenizador corta «aujourd’hui» (hoy) vale más que cualquier explicación teórica.
import tiktoken
# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")
texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"
tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)
print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")
# Visualize the split
for t in tokens_fr:
print(f" Token {t}: '{enc.decode([t])}'")
El impacto del idioma en el coste
El francés consume de media entre un 20 % y un 30 % más de tokens que el inglés para expresar la misma idea. Esto ocurre porque el francés está menos representado en el corpus de entrenamiento del tokenizador, por lo que sus palabras se dividen con más frecuencia. La primera consecuencia es financiera: pagas por token de entrada y de salida, así que una base de conocimientos en francés cuesta mecánicamente más que su traducción al inglés para un contenido idéntico. La segunda consecuencia afecta a la ventana de contexto, que se llena más rápido con documentos en francés: un historial de conversación que admitía treinta intercambios en inglés podría solo admitir veinticuatro en francés. La tercera es la latencia: dado que cada token de salida se genera secuencialmente, una respuesta en francés tarda más en mostrarse que una respuesta en inglés de contenido equivalente.
Tres trampas costosas
Las palabras raras y los neologismos encabezan la lista. Al aparecer con poca frecuencia en el corpus de entrenamiento, se dividen en subtokens, lo que puede degradar la comprensión del modelo. Esto se aplica especialmente a tus referencias internas de producto y nombres de código propios que el tokenizador nunca ha visto:
# "Anticonstitutionnellement" se dividirá en varios tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
print(f" '{enc.decode([t])}'")
El JSON y el código estructurado guardan una sorpresa similar. Las llaves, los corchetes y las comillas consumen un token cada uno, lo que significa que un JSON con sangría cuesta significativamente más que su versión minificada. En un prompt de pocos ejemplos (few-shot) que transporta varios ejemplos de carga útil, no pagas esta diferencia una vez; la pagas en cada llamada, todo el día.
json_verbose = '''{
"nom": "Dupont",
"prenom": "Jean",
"age": 42
}'''
json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'
print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")
La trampa más sutil es el propio formato: los espacios iniciales, las líneas en blanco y la sangría cuentan. Un prompt de sistema cuidadosamente alineado para la legibilidad del equipo cuesta más, para un contenido estrictamente idéntico, que un prompt compacto. Esto no es razón para escribir código ilegible, pero sí para tomar esa decisión de forma consciente.
Optimización de tus prompts
La regla de oro es medir antes de optimizar: tiktoken te da el recuento exacto, mientras que la intuición suele fallar por un factor de dos. Una vez medido, prefiere instrucciones concisas. «Respond in JSON» dice exactamente lo mismo que «I would like you to respond using the JSON format», pero con un tercio de los tokens. En los bloques de contexto, las abreviaturas funcionan bien: el modelo interpreta «Q:» y «A:» con la misma fiabilidad que «Question:» y «Answer:». Por último, comprime el contexto empresarial resumiendo los documentos largos aguas arriba, en lugar de copiar diez páginas de documentación en cada solicitud cuando solo necesitas un párrafo.
Cálculo de costes
def estimate_cost(prompt: str, estimated_response: int = 500,
model: str = "gpt-5.6-terra") -> dict:
"""Estima el coste de una llamada a la API."""
enc = tiktoken.get_encoding("o200k_base")
tokens_in = len(enc.encode(prompt))
# Precios de GPT-5.6 Terra, julio de 2026 (verifica las tarifas actuales)
price_input = 2.50 / 1_000_000 # por token
price_output = 15.00 / 1_000_000 # por token
cost = (tokens_in * price_input) + (estimated_response * price_output)
return {
"tokens_input": tokens_in,
"tokens_output_estimated": estimated_response,
"estimated_cost_usd": round(cost, 6)
}
Esta función se convierte rápidamente en una utilidad del proyecto: conéctala a tus prompts antes del despliegue y te dirá cuánto costará un día de tráfico mientras aún hay tiempo para actuar. Amplía esto con un ejercicio que resulta más instructivo de lo que parece. Instala tiktoken (pip install tiktoken), tokeniza tu prompt de sistema más complejo e identifica los segmentos más caros: casi siempre son los ejemplos de pocos ejemplos (few-shot) y los bloques JSON. Luego reescríbelo apuntando a un 20 % menos de tokens sin perder ni un solo dato. Descubrirás en el camino cuántas frases de tu prompt estaban ahí solo para tranquilizarte.
Tarifas a 5 de agosto de 2026: los precios cambian con regularidad. Antes de presupuestar, verifica la tarifa actual en la página oficial de precios de OpenAI.
Puntos clave
- Un token no es una palabra; es un fragmento de BPE
- El francés cuesta entre un 20 % y un 30 % más de tokens que el inglés
- Mide sistemáticamente tus prompts con tiktoken
- Optimiza el JSON y el formato para reducir costes
- La ventana de contexto se mide en tokens, no en palabras