Endpoint van tokenize en tools
Op deze pagina
Tel tokens voordat u verzendt
Voor elke serieuze API-oproep rijzen drie vragen: Past mijn prompt in het contextvenster? Hoeveel gaat het kosten? Waar knipt u af als het document te lang is? Het beantwoorden van deze vragen ná het verzenden—wanneer u een foutmelding ziet of een factuur ontvangt—kost altijd meer dan ze vooraf beantwoorden. De Grok API biedt precies het hulpmiddel hiervoor: een tokenisatie-endpoint, gratis en losgekoppeld van completions.
Het /v1/tokenize-text endpoint
POST /v1/tokenize-text accepteert ruwe tekst en retourneert het bijbehorende aantal tokens. De kernfunctionaliteit komt neer op één zin: in tegenstelling tot een completion-oproep verbruikt dit endpoint geen gefactureerde tokens. Het telt; het genereert niet.
curl -X POST "https://api.x.ai/v1/tokenize-text" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"text": "Your text to tokenize here."
}'
Het antwoord geeft u het totale aantal tokens en, afhankelijk van de versie, de uitsplitsing van individuele tokens. Hieruit volgen direct drie gebruiksscenario’s. Ten eerste validatie: u verifieert dat de som van de systeemprompt, de geschiedenis en het gebruikersbericht binnen het venster van het doelmodel blijft—1 miljoen tokens voor grok-4.3 en 500.000 voor grok-4.5. Ten tweede kostenraming: het resulterende aantal, vermenigvuldigd met het tarief van het model, geeft u de prijs van het verzoek voordat u zich verbindt. Tot slot afkappen: bij een te groot document laat tokenisatie zien waar u schoon kunt knippen, in plaats van dat de API het geheel weigert.
De visuele tool in de console
Voor prototyping biedt xAI een visuele tokenizer in zijn webconsole waar u tekst plakt en direct de uitsplitsing ziet. Het is een uitstekend leermiddel—gebruik het minstens één keer voordat u uw prompt-sjablonen ontwerpt.
U doet daar drie nuttige observaties. Frans produceert aanzienlijk meer tokens dan Engels voor semantisch identieke inhoud, wat direct invloed heeft op de kosten van een Franstalige applicatie. Broncode wordt volgens een andere logica opgesplitst dan natuurlijke tekst. En leestekens of speciale tekens nemen vaak elk een heel token in beslag, wat verklaart waarom uitgebreide JSON verrassend duur is om te verzenden.
Waar telling in een pipeline te plaatsen
Hoed u voor de reflex om systematisch voor elke oproep te tokeniseren: u verdubbelt het aantal netwerkaanvragen en voegt latentie toe aan elke interactie, voor informatie die u vaak al wist. Reserveer exacte telling voor gevallen waarin onzekerheid reëel is.
Voor al het andere volstaat een schatting. Reken ruwweg op 1,5 token per Frans woord, ongeveer 0,3 token per code-teken, en 256 tot 1.792 tokens per afbeelding, afhankelijk van de grootte. Deze ordes van grootte, client-side toegepast, stellen u in staat om lokaal een prompt die manifest buiten de perken valt te weigeren zonder een oproep te verbruiken.
Bewaar het endpoint dan voor drie situaties: prompts waarvan de grootte sterk varieert, typisch door gebruikers aangeleverde documenten of fragmenten opgehaald door een RAG-systeem; initiële kalibratie van uw sjablonen, wanneer u eenmalig het token-budget voor elk bouwblok vaststelt; en debugging, wanneer een context-overflow-fout optreedt en u moet identificeren welk element de opblazing veroorzaakte.
Ingebouwde tools, een aparte post
Tokens zijn niet de enige kostenpost. Ingebouwde API-tools worden per oproep gefactureerd, onafhankelijk van het uitgewisselde tekstvolume.
| Tool | Tarief |
|---|---|
| Web Search | $5 per 1.000 oproepen |
| X Search | $5 per 1.000 oproepen |
| Code Execution | $5 per 1.000 oproepen |
| File Attachments | $10 per 1.000 oproepen |
| Collections Search | $2,50 per 1.000 oproepen |
Maak de berekening voor uw eigen verkeer voordat u een tool generaliseert. Een applicatie die bij elk verzoek een webzoekopdracht activeert, betaalt $5 per duizend interacties alleen al voor de tool, wat vaak de kosten van de tokens die in dezelfde periode worden verbruikt overstijgt. Webzoekopdrachten zijn niet overbodig, maar moeten voorwaardelijk worden geactiveerd in plaats van standaard.
Belangrijkste punten
- Het
POST /v1/tokenize-textendpoint stelt u in staat tokens te tellen zonder facturatie - De webconsole voor tokenisatie is nuttig voor prototyping en om de tokenizer te begrijpen
- Roep het tokenisatie-endpoint niet bij elk verzoek in productie aan: gebruik schattingen
- Ingebouwde tools (Web Search, Code Execution, enz.) hebben extra kosten per oproep
- Frans verbruikt gemiddeld ongeveer 1,5 token per woord