Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Tokenisierung von Endpunkten und Tools

Lektion 6 von 14 Aktualisiert am 29. Juli 2026 Fortgeschritten
Auf dieser Seite
  1. Tokenzählung vor dem Senden
  2. Der /v1/tokenize-text-Endpunkt
  3. Das visuelle Tool in der Konsole
  4. Wo die Zählung in einer Pipeline platziert wird
  5. Eingebaute Tools, ein separater Posten
  6. Wichtige Punkte zur Erinnerung

Tokenzählung vor dem Senden

Bevor jeder ernsthafte API-Aufruf getätigt wird, stellen sich drei Fragen: Passt mein Prompt innerhalb des Kontextfensters? Wie hoch werden die Kosten sein? Wo muss ich schneiden, wenn das Dokument zu lang ist? Antworten darauf erst nach dem Senden – wenn man einen Fehler sieht oder eine Rechnung erhält – kostet immer mehr als eine vorherige Klärung. Die Grok-API bietet genau das dafür benötigte Werkzeug: einen Tokenisierungs-Endpunkt, der kostenlos ist und von den Completion-Aufrufen entkoppelt.

Der /v1/tokenize-text-Endpunkt

POST /v1/tokenize-text nimmt rohen Text entgegen und gibt die entsprechende Token-Anzahl zurück. Das entscheidende Merkmal lässt sich in einem Satz zusammenfassen: Im Gegensatz zu einem Completion-Aufruf verbraucht dieser Endpunkt keine abgerechneten Tokens. Er zählt; er generiert nicht.

curl -X POST "https://api.x.ai/v1/tokenize-text" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Ihr Text zur Tokenisierung hier."
  }'

Die Antwort liefert die Gesamtzahl der Tokens und, je nach Version, die Aufschlüsselung der einzelnen Tokens. Drei Anwendungen ergeben sich direkt daraus. Erstens, Validierung: Sie überprüfen, ob die Summe aus System-Prompt, Verlauf und Benutzer-Nachricht innerhalb des Fensters des Zielmodells bleibt – 1 Million Tokens bei grok-4.3 und 500.000 bei grok-4.5. Zweitens, Kostenschätzung: Die resultierende Zahl, multipliziert mit dem Satz des Modells, ergibt den Preis des Aufrufs, bevor Sie sich dazu verpflichten. Drittens, Trunkierung: Bei einem zu großen Dokument zeigt die Tokenisierung, wo man sauber schneiden kann, statt dass die API den gesamten Vorgang ablehnt.

Das visuelle Tool in der Konsole

Für das Prototyping bietet xAI einen visuellen Tokenisierer in seiner Web-Konsole an, in dem man Text einfügt und sofort die Aufschlüsselung sieht. Es ist ein hervorragendes Lehrmittel – nutzen Sie es mindestens einmal, bevor Sie Ihre Prompt-Vorlagen entwerfen.

Dort werden Sie drei nützliche Beobachtungen machen. Französisch erzeugt für semantisch identischen Inhalt deutlich mehr Tokens als Englisch, was die Kosten einer französischsprachigen Anwendung direkt beeinflusst. Quellcode wird nach einer anderen Logik aufgeteilt als natürlicher Text. Und Satzzeichen oder Sonderzeichen belegen oft ein ganzes Token allein, was erklärt, warum ausführliches JSON überraschend hohe Übertragungskosten verursacht.

Wo die Zählung in einer Pipeline platziert wird

Vorsicht vor dem Reflex, systematisch vor jedem Aufruf zu tokenisieren: Sie verdoppeln die Anzahl der Netzwerk-Anfragen und fügen jeder Interaktion Latenz hinzu, für Informationen, die Sie oft ohnehin bereits kennen. Bewahren Sie die exakte Zählung für Fälle auf, in denen Unsicherheit real ist.

Für alles andere genügt eine Schätzung. Rechnen Sie grob mit 1,5 Tokens pro französischem Wort, etwa 0,3 Tokens pro Code-Zeichen und 256 bis 1.792 Tokens pro Bild, abhängig von seiner Größe. Diese Größenordnungen, angewendet auf der Client-Seite, ermöglichen es Ihnen, lokal einen Prompt, der offensichtlich außerhalb der Grenzen liegt, abzulehnen, ohne einen Aufruf zu verbrauchen.

Bewahren Sie den Endpunkt für drei Situationen auf: Prompts, deren Größe stark variiert, typischerweise benutzerstammige Dokumente oder Auszüge, die von einem RAG-System abgerufen wurden; die initiale Kalibrierung Ihrer Vorlagen, wenn Sie einmal und für alle Mal das Token-Budget für jeden Baustein festlegen; und das Debugging, wenn ein Fehler für Kontext-Overflow auftritt und Sie identifizieren müssen, welches Element die Vergrößerung verursacht hat.

Eingebaute Tools, ein separater Posten

Tokens sind nicht die einzige Kostenquelle. Eingebaute API-Tools werden pro Aufruf abgerechnet, unabhängig vom Textvolumen des ausgetauschten Inhalts.

ToolSatz
Web-Suche5 $ pro 1.000 Aufrufe
X-Suche5 $ pro 1.000 Aufrufe
Code-Ausführung5 $ pro 1.000 Aufrufe
Dateianhänge10 $ pro 1.000 Aufrufe
Collections-Suche2,50 $ pro 1.000 Aufrufe

Rechnen Sie die Zahlen auf Ihrem eigenen Verkehr durch, bevor Sie ein Tool verallgemeinern. Eine Anwendung, die bei jeder Anfrage eine Web-Suche auslöst, zahlt allein für das Tool 5 $ pro tausend Interaktionen, was häufig die Kosten der über denselben Zeitraum verbrauchten Tokens übersteigt. Die Web-Suche ist nicht überflüssig, sollte aber bedingungsartig ausgelöst werden und nicht standardmäßig.

Wichtige Punkte zur Erinnerung

  • Der Endpunkt POST /v1/tokenize-text ermöglicht das Zählen von Tokens ohne Abrechnung
  • Die Web-Konsole für Tokenisierung ist nützlich für das Prototyping und das Verständnis des Tokenisierers
  • Rufen Sie den Tokenisierungs-Endpunkt in der Produktion nicht bei jeder Anfrage auf: nutzen Sie Schätzungen
  • Eingebaute Tools (Web-Suche, Code-Ausführung usw.) haben zusätzliche Kosten pro Aufruf
  • Französisch verbraucht durchschnittlich etwa 1,5 Tokens pro Wort