Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

Tokenisatie: begrijpen hoe het model uw prompt ziet

Les 3 van 16 Bijgewerkt op 28 juli 2026 Ontwikkelaar
Op deze pagina
  1. Tokenisatie: begrijpen hoe het model uw prompt ziet
  2. Wat is een token?
  3. De impact van taal op de kosten
  4. Drie kostbare valkuilen
  5. Uw prompts optimaliseren
  6. Kostenberekening
  7. Belangrijkste punten

Tokenisatie: begrijpen hoe het model uw prompt ziet

Het model leest geen tekst; het verwerkt tokens. Dit onderscheid is niet louter academisch. Het bepaalt wat u betaalt, hoeveel er in uw contextvenster past en soms waarom het model struikelt over een woord dat u triviaal achtte. Inzicht in tokenisatie geeft u drie concrete handvatten voor uw applicatie: uw prompts optimaliseren, uw kosten beheersen en gedrag verklaren dat onverklaarbaar lijkt als u in woorden denkt.

Wat is een token?

Een token is de basiseenheid die het model manipuleert. Het is geen woord en geen teken, maar een tekstfragment dat wordt gegenereerd door een coderingsalgoritme genaamd BPE (Byte Pair Encoding). Dit algoritme voegt iteratief de meest voorkomende tekenreeksen in de trainingscorpus samen. Gemiddeld staat één token voor ongeveer 4 tekens in het Engels, maar deze verhouding verschilt aanzienlijk per taal. Het onderstaande script demonstreert dit met een Engelse zin en het Franse equivalent, waarbij de daadwerkelijke splitsing wordt getoond. Zien hoe de tokenizer “aujourd’hui” (vandaag) opdeelt, is meer waard dan welke theoretische uitleg dan ook.

import tiktoken

# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")

texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"

tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)

print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")

# Visualize the split
for t in tokens_fr:
    print(f"  Token {t}: '{enc.decode([t])}'")

De impact van taal op de kosten

Frans verbruikt gemiddeld 20% tot 30% meer tokens dan Engels om hetzelfde idee uit te drukken. Dit komt doordat Frans minder vertegenwoordigd is in de trainingscorpus van de tokenizer, waardoor woorden vaker worden opgesplitst. Het eerste gevolg is financieel: u betaalt per input- en outputtoken, dus een Franstalige kennisbank kost mechanisch meer dan de Engelse vertaling ervan voor identieke inhoud. Het tweede gevolg betreft het contextvenster, dat sneller volraakt met Franse documenten; een gespreksgeschiedenis die dertig uitwisselingen in het Engels bevatte, past er in het Frans misschien maar vierentwintig. Het derde punt is latentie: omdat elk outputtoken sequentieel wordt gegenereerd, duurt het langer om een Frans antwoord weer te geven dan een Engels antwoord met vergelijkbare inhoud.

~4
Characters per token (EN)
~3
Characters per token (FR)
$2.50
Input GPT-5.6 Terra (per MTok)
200K
BPE o200k Encoding

Drie kostbare valkuilen

Zeldzame woorden en neologismen staan bovenaan de lijst. Omdat ze weinig voorkomen in de trainingscorpus, worden ze opgesplitst in subtokens, wat het begrip van het model kan verslechteren. Dit geldt vooral voor uw interne productreferenties en zelfbedachte codenamen die de tokenizer nog nooit heeft gezien:

# "Anticonstitutionnellement" (Unconstitutionally) will be split into multiple tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
    print(f"  '{enc.decode([t])}'")

JSON en gestructureerde code houden een vergelijkbare verrassing in. Haakjes, accolades en aanhalingstekens verbruiken elk een token, wat betekent dat ingesprongen JSON aanzienlijk meer kost dan de geminimaliseerde versie. In een few-shot-prompt met meerdere payload-voorbeelden betaalt u dit verschil niet één keer; u betaalt het bij elke oproep, de hele dag door.

json_verbose = '''{
    "nom": "Dupont",
    "prenom": "Jean",
    "age": 42
}'''

json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'

print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")

De meest subtiele valkuil is de opmaak zelf: voorloopspaties, lege regels en inspringen tellen allemaal mee. Een systeemprompt die zorgvuldig is uitgelijnd voor de leesbaarheid van het team, kost meer, voor strikt identieke inhoud, dan een compacte prompt. Dit is geen reden om onleesbare code te schrijven, maar het is wel een reden om die afweging bewust te maken.

Uw prompts optimaliseren

De gouden regel is: meet voordat u optimaliseert. tiktoken geeft u het exacte aantal, terwijl intuïtie er vaak met een factor twee naast zit. Zodra u hebt gemeten, geeft u de voorkeur aan beknopte instructies. “Respond in JSON” zegt precies hetzelfde als “I would like you to respond using the JSON format”, maar kost een derde van de tokens. In contextblokken werken afkortingen goed: het model interpreteert “Q:” en “A:” net zo betrouwbaar als “Question:” en “Answer:”. Comprimeer ten slotte de bedrijfscontext door lange documenten vooraf samen te vatten, in plaats van tien pagina’s documentatie in elk verzoek te kopiëren terwijl u slechts één alinea nodig hebt.

Kostenberekening

def estimate_cost(prompt: str, estimated_response: int = 500,
                 model: str = "gpt-5.6-terra") -> dict:
    """Estimates the cost of an API call."""
    enc = tiktoken.get_encoding("o200k_base")
    tokens_in = len(enc.encode(prompt))

    # GPT-5.6 Terra pricing, July 2026 (verify current rates)
    price_input = 2.50 / 1_000_000   # per token
    price_output = 15.00 / 1_000_000  # per token

    cost = (tokens_in * price_input) + (estimated_response * price_output)

    return {
        "tokens_input": tokens_in,
        "tokens_output_estimated": estimated_response,
        "estimated_cost_usd": round(cost, 6)
    }

Deze functie wordt al snel een hulpprogramma voor uw project: koppel deze aan uw prompts voordat u ze implementeert, en het vertelt u wat een dag verkeer zal kosten terwijl er nog tijd is om actie te ondernemen. Breid dit uit met een oefening die leerzamer is dan het eruitziet. Installeer tiktoken (pip install tiktoken), tokeniseer uw meest complexe systeemprompt en identificeer de duurste segmenten—bijna altijd de few-shot-voorbeelden en JSON-blokken. Herschrijf het vervolgens met als doel 20% minder tokens zonder ook maar één stukje informatie te verliezen. U zult onderweg ontdekken hoeveel zinnen in uw prompt er alleen maar stonden om u gerust te stellen.

Tarieven per 5 augustus 2026 — prijzen wijzigen regelmatig. Controleer voor het opstellen van een begroting de huidige tarievenlijst op de officiële OpenAI-paginaprijzen.

Belangrijkste punten

  • Een token is geen woord; het is een fragment van BPE
  • Frans kost 20–30% meer tokens dan Engels
  • Meet uw prompts systematisch met tiktoken
  • Optimaliseer JSON en opmaak om kosten te verlagen
  • Het contextvenster wordt gemeten in tokens, niet in woorden