Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Tokenisering: Forstå hvordan modellen ser din prompt

Lektion 3 af 16 Opdateret 28. juli 2026 Udvikler
På denne side
  1. Tokenisering: Forstå hvordan modellen ser din prompt
  2. Hvad er en token?
  3. Sprogets indvirkning på omkostningerne
  4. Tre dyre faldgruber
  5. Optimering af dine prompts
  6. Omkostningsberegning
  7. Vigtige pointer

Tokenisering: Forstå hvordan modellen ser din prompt

Modellen læser ikke tekst; den behandler tokens. Denne sondring er ikke akademisk. Den afgør, hvad du betaler, hvor meget der kan være i dit kontekstvindue, og nogle gange hvorfor modellen snubler over et ord, du troede var ubetydeligt. At forstå tokenisering giver dig tre konkrete løftestænger til din applikation: optimering af dine prompts, kontrol over dine omkostninger og forklaring af adfærd, der virker uforklarlig, når du tænker i ord.

Hvad er en token?

En token er den grundlæggende enhed, som modellen manipulerer. Det er hverken et ord eller et tegn, men et tekstfragment produceret af en kodningsalgoritme kaldet BPE (Byte Pair Encoding), som iterativt sammenfletter de hyppigste tegnfølger i træningskorpussen. I gennemsnit repræsenterer én token ca. 4 tegn på engelsk, men dette forhold varierer betydeligt afhængigt af sproget. Scriptet nedenfor demonstrerer dette med en engelsk sætning og dens franske modstykke, hvor den faktiske opdeling vises. At se tokenizeren skære „aujourd’hui” (i dag) over er mere værd end enhver teoretisk forklaring.

import tiktoken

# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")

texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"

tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)

print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")

# Visualize the split
for t in tokens_fr:
    print(f"  Token {t}: '{enc.decode([t])}'")

Sprogets indvirkning på omkostningerne

Fransk forbruger i gennemsnit 20 % til 30 % flere tokens end engelsk for at udtrykke den samme idé. Dette sker, fordi fransk er mindre repræsenteret i tokenizerens træningskorpus, så dets ord bliver oftere opdelt. Den første konsekvens er finansiel: du betaler per input- og output-token, så en vidensbase på fransk koster mekanisk mere end dens engelske oversættelse for identisk indhold. Den anden konsekvens påvirker kontekstvinduet, som fyldes hurtigere med franske dokumenter – en samtalehistorik, der rummede tredive udvekslinger på engelsk, kan måske kun rumme fireogtyve på fransk. Den tredje er latency: da hver output-token genereres sekventielt, tager et fransk svar længere tid at vise end et engelsk svar med tilsvarende indhold.

~4
Characters per token (EN)
~3
Characters per token (FR)
$2.50
Input GPT-5.6 Terra (per MTok)
200K
BPE o200k Encoding

Tre dyre faldgruber

Sjældne ord og neologismer topper listen. Fordi de forekommer sjældent i træningskorpussen, bliver de opdelt i sub-tokens, hvilket kan forringe modellens forståelse. Dette gælder især dine interne produktreferencer og hjemmelavede kodenavne, som tokenizeren aldrig har set før:

# "Anticonstitutionnellement" (Unconstitutionally) will be split into multiple tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
    print(f"  '{enc.decode([t])}'")

JSON og struktureret kode rummer en lignende overraskelse. Krammer, klammer og citationstegn bruger hver især en token, hvilket betyder, at indrykket JSON koster væsentligt mere end dets minificerede version. I en few-shot-prompt, der bærer flere payload-eksempler, betaler du ikke denne forskel én gang; du betaler den ved hvert eneste kald, hele dagen lang.

json_verbose = '''{
    "nom": "Dupont",
    "prenom": "Jean",
    "age": 42
}'''

json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'

print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")

Den mest subtile faldgrube er selve formateringen: indledende mellemrum, tomme linjer og indrykning tæller alle med. En system-prompt, der er omhyggeligt justeret for teamets læsbarhed, koster mere – for strengt taget identisk indhold – end en kompakt prompt. Dette er ikke en grund til at skrive ulæselig kode, men det er en grund til at foretage dette kompromis bevidst.

Optimering af dine prompts

Den gyldne regel er at måle, før du optimerer: tiktoken giver dig det nøjagtige antal, mens intuitionen ofte fejler med en faktor to. Når du har målt, bør du foretrække koncise instrukser. „Respond in JSON” siger præcis det samme som „I would like you to respond using the JSON format”, men for en tredjedel af tokenene. I kontekstblokke fungerer forkortelser godt: modellen fortolker „Q:” og „A:” lige så pålideligt som „Question:” og „Answer:”. Endelig kan du komprimere forretningskontekst ved at opsummere lange dokumenter upstream, i stedet for at kopiere ti sider dokumentation ind i hver anmodning, når du kun har brug for ét afsnit.

Omkostningsberegning

def estimate_cost(prompt: str, estimated_response: int = 500,
                 model: str = "gpt-5.6-terra") -> dict:
    """Estimates the cost of an API call."""
    enc = tiktoken.get_encoding("o200k_base")
    tokens_in = len(enc.encode(prompt))

    # GPT-5.6 Terra pricing, July 2026 (verify current rates)
    price_input = 2.50 / 1_000_000   # per token
    price_output = 15.00 / 1_000_000  # per token

    cost = (tokens_in * price_input) + (estimated_response * price_output)

    return {
        "tokens_input": tokens_in,
        "tokens_output_estimated": estimated_response,
        "estimated_cost_usd": round(cost, 6)
    }

Denne funktion bliver hurtigt et nyttigt værktøj i projektet: tilslut den til dine prompts før udrulning, og den fortæller dig, hvad en dags trafik vil koste, mens der stadig er tid til at handle. Udvid dette med en øvelse, der viser sig at være mere lærerig, end den ser ud. Installer tiktoken (pip install tiktoken), tokenisér din mest komplekse system-prompt, og identificér de dyreste segmenter – næsten altid few-shot-eksemplerne og JSON-blokkene. Skriv den derefter om med sigte på 20 % færre tokens uden at miste en eneste information. Undervejs vil du opdage, hvor mange sætninger i din prompt blot var der for at berolige dig.

Satser pr. 5. august 2026 – priserne ændrer sig regelmæssigt. Før du laver et budget, skal du verificere den aktuelle pristabel på OpenAIs officielle prisside.

Vigtige pointer

  • En token er ikke et ord; det er et fragment fra BPE
  • Fransk koster 20–30 % flere tokens end engelsk
  • Mål systematisk dine prompts med tiktoken
  • Optimér JSON og formatering for at reducere omkostninger
  • Kontekstvinduet måles i tokens, ikke ord