Tokenisering: Förstå hur modellen ser din prompt
På denna sida
Tokenisering: Förstå hur modellen ser din prompt
Modellen läser inte text; den bearbetar token. Denna skillnad är inte bara akademisk. Den avgör vad du betalar, hur mycket som får plats i ditt kontextfönster och ibland varför modellen snubblar över ett ord du trodde var obetydligt. Att förstå tokenisering ger dig tre konkreta hävstänger för din applikation: optimering av dina prompter, kontroll över dina kostnader och förklaring av beteenden som verkar oförklarliga om du tänker i ord.
Vad är en token?
En token är den grundläggande enheten som modellen manipulerar. Det är varken ett ord eller en tecken, utan ett textfragment som produceras av en kodningsalgoritm som kallas BPE (Byte Pair Encoding), som iterativt slår samman de vanligaste teckensekvenserna i träningskorpusen. I genomsnitt representerar en token cirka 4 tecken på engelska, men detta förhållande varierar kraftigt beroende på språk. Skriptet nedan demonstrerar detta med en engelsk mening och dess franska motsvarighet, vilket visar den faktiska uppdelningen. Att se hur tokenizer:n klipper sönder “aujourd’hui” (idag) är värt mer än varje teoretisk förklaring.
import tiktoken
# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")
texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"
tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)
print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")
# Visualize the split
for t in tokens_fr:
print(f" Token {t}: '{enc.decode([t])}'")
Språkets påverkan på kostnaden
Franska konsumerar i genomsnitt 20 % till 30 % fler token än engelska för att uttrycka samma idé. Detta beror på att franska är mindre representerad i tokenizer:ns träningskorpus, så dess ord delas upp oftare. Den första konsekvensen är ekonomisk: du betalar per inmatnings- och utmatningstoken, så en kunskapsbas på franska kostar mekaniskt sett mer än dess engelska översättning för identiskt innehåll. Den andra konsekvensen påverkar kontextfönstret, som fylls snabbare med franska dokument – en konversationshistorik som rymde trettio utbyten på engelska kanske bara rymmer tjugofyra på franska. Den tredje är latens: eftersom varje utmatningstoken genereras sekventiellt tar ett svar på franska längre tid att visa än ett svar på engelska med motsvarande innehåll.
Tre kostsamma fallgropar
Sällsynta ord och nyord står högst upp på listan. Eftersom de förekommer sällan i träningskorpusen delas de upp i undertoken, vilket kan försämra modellens förståelse. Detta gäller särskilt dina interna produktreferenser och egna kodnamn som tokenizer:n aldrig har sett:
# "Anticonstitutionnellement" (Grundlagsstridigt) kommer att delas upp i flera token
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
print(f" '{enc.decode([t])}'")
JSON och strukturerad kod bär på en liknande överraskning. Klammerparenteser, hakparenteser och citattecken konsumerar varsin token, vilket innebär att indenterad JSON kostar betydligt mer än dess minifierade version. I en few-shot-prompt som bär på flera payload-exempel betalar du inte denna skillnad en gång; du betalar den vid varje anrop, hela dagen lång.
json_verbose = '''{
"nom": "Dupont",
"prenom": "Jean",
"age": 42
}'''
json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'
print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")
Den mest subtila fallgropen är själva formateringen: inledande mellanslag, tomma rader och indentering räknas alla. En systemprompt som noggrant justerats för teamets läsbarhet kostar mer, för strikt identiskt innehåll, än en kompakt prompt. Detta är ingen anledning att skriva oläslig kod, men det är en anledning att göra den avvägningen med vetskap.
Optimera dina prompter
Den gyllene regeln är att mäta innan du optimerar: tiktoken ger dig den exakta räkningen, medan intuitionen ofta bommar med en faktor två. När du väl har mätt, föredra koncisa instruktioner. “Respond in JSON” säger exakt samma sak som “I would like you to respond using the JSON format”, för en tredjedel av tokenen. I kontextblock fungerar förkortningar bra: modellen tolkar “Q:” och “A:” lika tillförlitligt som “Question:” och “Answer:”. Slutligen, komprimera affärskontexten genom att sammanfatta långa dokument i förväg, istället för att kopiera tio sidor dokumentation till varje begäran när du bara behöver ett stycke.
Kostnadsberäkning
def estimate_cost(prompt: str, estimated_response: int = 500,
model: str = "gpt-5.6-terra") -> dict:
"""Estimates the cost of an API call."""
enc = tiktoken.get_encoding("o200k_base")
tokens_in = len(enc.encode(prompt))
# GPT-5.6 Terra pricing, July 2026 (verify current rates)
price_input = 2.50 / 1_000_000 # per token
price_output = 15.00 / 1_000_000 # per token
cost = (tokens_in * price_input) + (estimated_response * price_output)
return {
"tokens_input": tokens_in,
"tokens_output_estimated": estimated_response,
"estimated_cost_usd": round(cost, 6)
}
Denna funktion blir snabbt ett projektverktyg: koppla den till dina prompter innan driftsättning, så berättar den vad en dags trafik kommer att kosta medan det fortfarande finns tid att agera. Utöka detta med en övning som visar sig vara mer lärorik än den ser ut. Installera tiktoken (pip install tiktoken), tokenisera din mest komplexa systemprompt och identifiera de dyraste segmenten – nästan alltid few-shot-exemplen och JSON-blocken. Skriv sedan om den med målet att reducera antalet token med 20 % utan att förlora en enda informationbit. Du kommer under vägens gång att upptäcka hur många meningar i din prompt bara fanns där för att lugna dig.
Priser från och med 5 augusti 2026 – priserna ändras regelbundet. Innan du budgeterar, verifiera den aktuella prislistan på OpenAIs officiella prissida.
Viktiga punkter
- En token är inte ett ord; det är ett fragment från BPE
- Franska kostar 20–30 % fler token än engelska
- Mät dina prompter systematiskt med tiktoken
- Optimera JSON och formatering för att minska kostnaderna
- Kontextfönstret mäts i token, inte ord