Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Tokenisierung: Verstehen Sie, wie das Modell Ihren Prompt wahrnimmt

Lektion 3 von 16 Aktualisiert am 28. Juli 2026 Entwickler
Auf dieser Seite
  1. Tokenisierung: Verstehen Sie, wie das Modell Ihren Prompt wahrnimmt
  2. Was ist ein Token?
  3. Der Einfluss der Sprache auf die Kosten
  4. Drei kostspielige Fallstricke
  5. Optimierung Ihrer Prompts
  6. Kostenberechnung
  7. Kernaussagen

Tokenisierung: Verstehen Sie, wie das Modell Ihren Prompt wahrnimmt

Das Modell liest keinen Text; es verarbeitet Token. Dieser Unterschied ist nicht rein akademischer Natur. Er bestimmt, was Sie bezahlen, wie viel in Ihr Kontextfenster passt und manchmal, warum das Modell über ein Wort stolpert, das Ihnen trivial erschien. Das Verständnis der Tokenisierung gibt Ihnen drei konkrete Hebel für Ihre Anwendung: die Optimierung Ihrer Prompts, die Kontrolle Ihrer Kosten und die Erklärung von Verhaltensweisen, die beim Denken in Wörtern unverständlich erscheinen.

Was ist ein Token?

Ein Token ist die Grundeinheit, die das Modell manipuliert. Es ist weder ein Wort noch ein Zeichen, sondern ein Textfragment, das durch einen Codierungsalgorithmus namens BPE (Byte Pair Encoding) erzeugt wird, der wiederholt die häufigsten Zeichenfolgen im Trainingskorpus zusammenführt. Im Durchschnitt repräsentiert ein Token etwa 4 Zeichen im Englischen, aber dieses Verhältnis variiert je nach Sprache erheblich. Der folgende Skriptabschnitt demonstriert dies mit einem englischen Satz und seinem französischen Äquivalent und zeigt die tatsächliche Aufteilung. Es lohnt sich mehr, den Tokenizer dabei zu sehen, wie er „aujourd’hui” (heute) durchschneidet, als jede theoretische Erklärung.

import tiktoken

# o200k-Codierung, verwendet von jüngeren GPT-Modellen
enc = tiktoken.get_encoding("o200k_base")

texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"

tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)

print(f"Englisch: {len(tokens_en)} Token für {len(texte_en)} Zeichen")
print(f"Französisch: {len(tokens_fr)} Token für {len(texte_fr)} Zeichen")

# Visualisierung der Aufteilung
for t in tokens_fr:
    print(f"  Token {t}: '{enc.decode([t])}'")

Der Einfluss der Sprache auf die Kosten

Französisch verbraucht im Durchschnitt 20 % bis 30 % mehr Token als Englisch, um dieselbe Idee auszudrücken. Dies geschieht, weil Französisch im Trainingskorpus des Tokenizers weniger vertreten ist, sodass seine Wörter häufiger aufgeteilt werden. Die erste Konsequenz ist finanzieller Natur: Sie zahlen pro Eingabe- und Ausgabeton, sodass eine Wissensdatenbank in Französisch mechanisch teurer ist als ihre englische Übersetzung bei identischem Inhalt. Die zweite Konsequenz betrifft das Kontextfenster, das sich mit französischen Dokumenten schneller füllt – eine Gesprächshistorie, die auf Englisch dreißig Austauschvorgänge aufnehmen könnte, würde auf Französisch möglicherweise nur noch zweiundzwanzig aufnehmen. Die dritte ist die Latenz: Da jedes Ausgabeton sequentiell generiert wird, dauert eine französische Antwort bei gleichwertigem Inhalt länger als eine englische.

~4
Zeichen pro Token (EN)
~3
Zeichen pro Token (FR)
$2,50
Eingabe GPT-5.6 Terra (pro MTok)
200K
BPE o200k-Codierung

Drei kostspielige Fallstricke

Seltene Wörter und Neologismen stehen an der Spitze der Liste. Da sie im Trainingskorpus selten vorkommen, werden sie in Sub-Token aufgeteilt, was das Verständnis des Modells verschlechtern kann. Dies gilt insbesondere für Ihre internen Produktreferenzen und hausgemachten Codenamen, die der Tokenizer noch nie gesehen hat:

# "Anticonstitutionnellement" (Unverfasslich) wird in mehrere Token aufgeteilt
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} Token")
for t in tokens:
    print(f"  '{enc.decode([t])}'")

JSON und strukturierter Code bergen eine ähnliche Überraschung. geschweifte Klammern, eckige Klammern und Anführungszeichen verbrauchen jeweils ein Token, was bedeutet, dass eingerücktes JSON deutlich mehr kostet als seine minifizierte Version. In einem Few-Shot-Prompt, der mehrere Payload-Beispiele enthält, zahlen Sie diesen Unterschied nicht einmal; Sie zahlen ihn bei jedem Aufruf, den ganzen Tag lang.

json_verbose = '''{
    "nom": "Dupont",
    "prenom": "Jean",
    "age": 42
}'''

json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'

print(f"Verbose: {len(enc.encode(json_verbose))} Token")
print(f"Kompakt: {len(enc.encode(json_compact))} Token")

Der subtilste Fallstrick ist das Formatierung selbst: führende Leerzeichen, leere Zeilen und Einrückungen zählen alle. Ein Systemprompt, der sorgfältig für die Lesbarkeit des Teams ausgerichtet ist, kostet bei streng identischem Inhalt mehr als ein kompakter Prompt. Dies ist kein Grund, unlesbaren Code zu schreiben, aber es ist ein Grund, diesen Kompromiss bewusst einzugehen.

Optimierung Ihrer Prompts

Die goldene Regel lautet: Messen Sie vor der Optimierung. tiktoken liefert die genaue Anzahl, während Intuition oft um einen Faktor von zwei danebenliegt. Sobald Sie gemessen haben, bevorzugen Sie knappe Anweisungen. „Antworten Sie in JSON” sagt genau das, was „Ich möchte, dass Sie im JSON-Format antworten” sagt, für ein Drittel der Token. In Kontextblöcken funktionieren Abkürzungen gut: Das Modell interpretiert „Q:” und „A:” genauso zuverlässig wie „Question:” und „Answer:”. Schließlich komprimieren Sie den geschäftlichen Kontext, indem Sie lange Dokumente upstream zusammenfassen, anstatt zehn Seiten Dokumentation in jeden Auftrag zu kopieren, wenn Sie nur einen Absatz benötigen.

Kostenberechnung

def estimate_cost(prompt: str, estimated_response: int = 500,
                 model: str = "gpt-5.6-terra") -> dict:
    """Schätzt die Kosten eines API-Aufrufs."""
    enc = tiktoken.get_encoding("o200k_base")
    tokens_in = len(enc.encode(prompt))

    # GPT-5.6 Terra-Preise, Juli 2026 (aktuelle Raten überprüfen)
    price_input = 2.50 / 1_000_000   # pro Token
    price_output = 15.00 / 1_000_000  # pro Token

    cost = (tokens_in * price_input) + (estimated_response * price_output)

    return {
        "tokens_input": tokens_in,
        "tokens_output_estimated": estimated_response,
        "estimated_cost_usd": round(cost, 6)
    }

Diese Funktion wird schnell zu einem Projekt-Utility: Hängen Sie sie an Ihre Prompts vor der Bereitstellung an, und sie sagt Ihnen, wie viel ein Tag an Traffic kosten wird, solange es noch Zeit ist, zu handeln. Erweitern Sie dies mit einer Übung, die lehrreicher ist, als sie aussieht. Installieren Sie tiktoken (pip install tiktoken), tokenisieren Sie Ihren komplexesten Systemprompt und identifizieren Sie die teuersten Segmente – fast immer die Few-Shot-Beispiele und JSON-Blöcke. Dann schreiben Sie ihn neu, mit dem Ziel, 20 % weniger Token zu verwenden, ohne einen einzigen Informationspunkt zu verlieren. Sie werden dabei entdecken, wie viele Sätze in Ihrem Prompt nur dazu da waren, Sie zu beruhigen.

Raten vom 5. August 2026 — die Preise ändern sich regelmäßig. Bevor Sie ein Budget erstellen, überprüfen Sie die aktuelle Preisliste auf der offiziellen OpenAI-Preisseite.

Kernaussagen

  • Ein Token ist kein Wort; es ist ein Fragment aus BPE
  • Französisch kostet 20–30 % mehr Token als Englisch
  • Messen Sie Ihre Prompts systematisch mit tiktoken
  • Optimieren Sie JSON und Formatierung, um Kosten zu senken
  • Das Kontextfenster wird in Token, nicht in Wörtern, gemessen