Tokenização: Compreender Como o Modelo Vê o Seu Prompt
Nesta página
Tokenização: Compreender Como o Modelo Vê o Seu Prompt
O modelo não lê texto; processa tokens. Esta distinção não é académica. Determina quanto paga, quanto cabe na sua janela de contexto e, por vezes, explica porque é que o modelo tropeça numa palavra que considerava trivial. Compreender a tokenização oferece-lhe três alavancas concretas para a sua aplicação: otimizar os seus prompts, controlar os seus custos e explicar comportamentos que parecem inexplicáveis quando pensa em palavras.
O Que É um Token?
Um token é a unidade básica que o modelo manipula. Não é nem uma palavra nem um caractere, mas um fragmento de texto produzido por um algoritmo de codificação chamado BPE (Byte Pair Encoding), que funde iterativamente as sequências de caracteres mais frequentes no corpus de treino. Em média, um token representa cerca de 4 caracteres em inglês, mas esta razão varia significativamente consoante a língua. O script abaixo demonstra isto com uma frase em inglês e a sua equivalente em francês, mostrando a divisão real. Ver o tokenizador cortar “aujourd’hui” (hoje) vale mais do que qualquer explicação teórica.
import tiktoken
# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")
texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"
tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)
print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")
# Visualize the split
for t in tokens_fr:
print(f" Token {t}: '{enc.decode([t])}'")
O Impacto da Língua no Custo
O francês consome, em média, 20% a 30% mais tokens do que o inglês para expressar a mesma ideia. Isto ocorre porque o francês está menos representado no corpus de treino do tokenizador, pelo que as suas palavras são divididas com mais frequência. A primeira consequência é financeira: paga por token de entrada e de saída, pelo que uma base de conhecimento em francês custa mecanicamente mais do que a sua tradução para inglês para um conteúdo idêntico. A segunda consequência afeta a janela de contexto, que se enche mais rapidamente com documentos em francês: um histórico de conversação que comportava trinta trocas em inglês pode comportar apenas vinte e quatro em francês. A terceira é a latência: como cada token de saída é gerado sequencialmente, uma resposta em francês demora mais tempo a ser exibida do que uma resposta em inglês de conteúdo equivalente.
Três Armadilhas Dispendiosas
Palavras raras e neologismos encabeçam a lista. Como aparecem com pouca frequência no corpus de treino, são divididos em sub-tokens, o que pode degradar a compreensão do modelo. Isto aplica-se especialmente às suas referências internas de produtos e nomes de código internos que o tokenizador nunca viu:
# "Anticonstitutionnellement" (Inconstitucionalmente) será dividido em vários tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
print(f" '{enc.decode([t])}'")
O JSON e o código estruturado guardam uma surpresa semelhante. Chavetas, parênteses retos e aspas consomem cada um um token, o que significa que um JSON indentado custa significativamente mais do que a sua versão minificada. Num prompt few-shot que transporta vários exemplos de payload, não paga esta diferença uma vez; paga-a em cada chamada, o dia todo.
json_verbose = '''{
"nom": "Dupont",
"prenom": "Jean",
"age": 42
}'''
json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'
print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")
A armadilha mais subtil é a própria formatação: espaços iniciais, linhas em branco e indentação contam tudo. Um prompt de sistema cuidadosamente alinhado para legibilidade da equipa custa mais, para um conteúdo estritamente idêntico, do que um prompt compacto. Isto não é razão para escrever código ilegível, mas é uma razão para fazer essa troca conscientemente.
Otimizar os Seus Prompts
A regra de ouro é medir antes de otimizar: o tiktoken dá-lhe a contagem exata, enquanto a intuição falha frequentemente por um fator de dois. Depois de medir, prefira instruções concisas. “Respond in JSON” diz exatamente o que “I would like you to respond using the JSON format” diz, com um terço dos tokens. Em blocos de contexto, as abreviaturas funcionam bem: o modelo interpreta “Q:” e “A:” com a mesma fiabilidade que “Question:” e “Answer:”. Por fim, comprima o contexto de negócio resumindo documentos longos a montante, em vez de copiar dez páginas de documentação para cada pedido quando só precisa de um parágrafo.
Cálculo de Custos
def estimate_cost(prompt: str, estimated_response: int = 500,
model: str = "gpt-5.6-terra") -> dict:
"""Estimates the cost of an API call."""
enc = tiktoken.get_encoding("o200k_base")
tokens_in = len(enc.encode(prompt))
# GPT-5.6 Terra pricing, July 2026 (verify current rates)
price_input = 2.50 / 1_000_000 # per token
price_output = 15.00 / 1_000_000 # per token
cost = (tokens_in * price_input) + (estimated_response * price_output)
return {
"tokens_input": tokens_in,
"tokens_output_estimated": estimated_response,
"estimated_cost_usd": round(cost, 6)
}
Esta função torna-se rapidamente numa utilidade de projeto: ligue-a aos seus prompts antes da implementação e dir-lhe-á quanto custará um dia de tráfego enquanto ainda há tempo para agir. Estenda isto com um exercício que se prova mais instrutivo do que parece. Instale o tiktoken (pip install tiktoken), tokenize o seu prompt de sistema mais complexo e identifique os segmentos mais dispendiosos — quase sempre os exemplos few-shot e os blocos JSON. Depois reescreva-o visando 20% menos tokens sem perder uma única peça de informação. Descobrirá no caminho quantas frases no seu prompt estavam lá apenas para o tranquilizar.
Tarifas de 5 de agosto de 2026 — os preços mudam regularmente. Antes de fazer o orçamento, verifique a tabela de preços atual na página oficial de preços da OpenAI.
Pontos-chave
- Um token não é uma palavra; é um fragmento do BPE
- O francês custa 20–30% mais tokens do que o inglês
- Meça sistematicamente os seus prompts com o tiktoken
- Otimize o JSON e a formatação para reduzir custos
- A janela de contexto é medida em tokens, não em palavras