Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

Endpoint van tokenize en tools

Les 6 van 14 Bijgewerkt op 29 juli 2026 Gevorderd
Op deze pagina
  1. Tel tokens voordat u verzendt
  2. Het /v1/tokenize-text endpoint
  3. De visuele tool in de console
  4. Waar telling in een pipeline te plaatsen
  5. Ingebouwde tools, een aparte post
  6. Belangrijkste punten

Tel tokens voordat u verzendt

Voor elke serieuze API-oproep rijzen drie vragen: Past mijn prompt in het contextvenster? Hoeveel gaat het kosten? Waar knipt u af als het document te lang is? Het beantwoorden van deze vragen ná het verzenden—wanneer u een foutmelding ziet of een factuur ontvangt—kost altijd meer dan ze vooraf beantwoorden. De Grok API biedt precies het hulpmiddel hiervoor: een tokenisatie-endpoint, gratis en losgekoppeld van completions.

Het /v1/tokenize-text endpoint

POST /v1/tokenize-text accepteert ruwe tekst en retourneert het bijbehorende aantal tokens. De kernfunctionaliteit komt neer op één zin: in tegenstelling tot een completion-oproep verbruikt dit endpoint geen gefactureerde tokens. Het telt; het genereert niet.

curl -X POST "https://api.x.ai/v1/tokenize-text" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Your text to tokenize here."
  }'

Het antwoord geeft u het totale aantal tokens en, afhankelijk van de versie, de uitsplitsing van individuele tokens. Hieruit volgen direct drie gebruiksscenario’s. Ten eerste validatie: u verifieert dat de som van de systeemprompt, de geschiedenis en het gebruikersbericht binnen het venster van het doelmodel blijft—1 miljoen tokens voor grok-4.3 en 500.000 voor grok-4.5. Ten tweede kostenraming: het resulterende aantal, vermenigvuldigd met het tarief van het model, geeft u de prijs van het verzoek voordat u zich verbindt. Tot slot afkappen: bij een te groot document laat tokenisatie zien waar u schoon kunt knippen, in plaats van dat de API het geheel weigert.

De visuele tool in de console

Voor prototyping biedt xAI een visuele tokenizer in zijn webconsole waar u tekst plakt en direct de uitsplitsing ziet. Het is een uitstekend leermiddel—gebruik het minstens één keer voordat u uw prompt-sjablonen ontwerpt.

U doet daar drie nuttige observaties. Frans produceert aanzienlijk meer tokens dan Engels voor semantisch identieke inhoud, wat direct invloed heeft op de kosten van een Franstalige applicatie. Broncode wordt volgens een andere logica opgesplitst dan natuurlijke tekst. En leestekens of speciale tekens nemen vaak elk een heel token in beslag, wat verklaart waarom uitgebreide JSON verrassend duur is om te verzenden.

Waar telling in een pipeline te plaatsen

Hoed u voor de reflex om systematisch voor elke oproep te tokeniseren: u verdubbelt het aantal netwerkaanvragen en voegt latentie toe aan elke interactie, voor informatie die u vaak al wist. Reserveer exacte telling voor gevallen waarin onzekerheid reëel is.

Voor al het andere volstaat een schatting. Reken ruwweg op 1,5 token per Frans woord, ongeveer 0,3 token per code-teken, en 256 tot 1.792 tokens per afbeelding, afhankelijk van de grootte. Deze ordes van grootte, client-side toegepast, stellen u in staat om lokaal een prompt die manifest buiten de perken valt te weigeren zonder een oproep te verbruiken.

Bewaar het endpoint dan voor drie situaties: prompts waarvan de grootte sterk varieert, typisch door gebruikers aangeleverde documenten of fragmenten opgehaald door een RAG-systeem; initiële kalibratie van uw sjablonen, wanneer u eenmalig het token-budget voor elk bouwblok vaststelt; en debugging, wanneer een context-overflow-fout optreedt en u moet identificeren welk element de opblazing veroorzaakte.

Ingebouwde tools, een aparte post

Tokens zijn niet de enige kostenpost. Ingebouwde API-tools worden per oproep gefactureerd, onafhankelijk van het uitgewisselde tekstvolume.

ToolTarief
Web Search$5 per 1.000 oproepen
X Search$5 per 1.000 oproepen
Code Execution$5 per 1.000 oproepen
File Attachments$10 per 1.000 oproepen
Collections Search$2,50 per 1.000 oproepen

Maak de berekening voor uw eigen verkeer voordat u een tool generaliseert. Een applicatie die bij elk verzoek een webzoekopdracht activeert, betaalt $5 per duizend interacties alleen al voor de tool, wat vaak de kosten van de tokens die in dezelfde periode worden verbruikt overstijgt. Webzoekopdrachten zijn niet overbodig, maar moeten voorwaardelijk worden geactiveerd in plaats van standaard.

Belangrijkste punten

  • Het POST /v1/tokenize-text endpoint stelt u in staat tokens te tellen zonder facturatie
  • De webconsole voor tokenisatie is nuttig voor prototyping en om de tokenizer te begrijpen
  • Roep het tokenisatie-endpoint niet bij elk verzoek in productie aan: gebruik schattingen
  • Ingebouwde tools (Web Search, Code Execution, enz.) hebben extra kosten per oproep
  • Frans verbruikt gemiddeld ongeveer 1,5 token per woord