Tokenisera endpoint och verktyg
På denna sida
Räkna tokens innan du skickar
Tre frågor dyker upp inför varje seriöst API-anrop: Passar min prompt in i kontextfönstret? Hur mycket kommer det att kosta? Var ska jag klippa om dokumentet är för långt? Att svara på dessa efter att du skickat datan – när du ser ett felmeddelande eller får fakturan – kostar alltid mer än att svara på dem i förväg. Grok API erbjuder exakt verktyget för detta: en tokeniserings-endpoint som är gratis och frikopplad från kompletteringar.
Endpointen /v1/tokenize-text
POST /v1/tokenize-text tar emot råtext och returnerar motsvarande antal tokens. Nyckelfunktionen kan sammanfattas i en mening: till skillnad från ett kompletteringsanrop förbrukar denna endpoint inga debiterade tokens. Den räknar; den genererar inte.
curl -X POST "https://api.x.ai/v1/tokenize-text" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"text": "Your text to tokenize here."
}'
Svaret ger dig det totala antalet tokens och, beroende på version, en uppdelning av de enskilda token. Tre användningsområden följer direkt av detta. För det första validering: du verifierar att summan av systemprompten, historiken och användarens meddelande håller sig inom målmodellens fönster – 1 miljon tokens för grok-4.3 och 500 000 för grok-4.5. För det andra kostnadsuppskattning: det resulterande talet, multiplicerat med modellens taxa, ger dig priset för förfrågan innan du binder dig. Slutligen trunkering: för ett för stort dokument visar tokeniseringen var du kan klippa rent istället för att låta API:t avvisa hela saken.
Det visuella verktyget i konsolen
För prototyputveckling erbjuder xAI en visuell tokeniserare i sin webbkonsol där du klistrar in text och omedelbart ser uppdelningen. Det är ett utmärkt pedagogiskt verktyg – använd det minst en gång innan du designar dina prompt-mallar.
Du kommer att göra tre nyttiga observationer där. Franska producerar betydligt fler tokens än engelska för semantiskt identiskt innehåll, vilket direkt påverkar kostnaden för en fransk applikation. Källkod delas upp enligt en annan logik än naturlig text. Och interpunktion eller specialtecken upptar ofta en hel token var för sig, vilket förklarar varför utförlig JSON kostar överraskande mycket att överföra.
Var placering av räkning i en pipeline
Akta dig för reflexen att tokenisera systematiskt före varje anrop: du dubblar antalet nätverksförfrågningar och lägger till latens i varje interaktion, för information du ofta redan känner till. Spara exakt räkning för fall där osäkerheten är verklig.
För allt annat räcker en uppskattning. Räkna grovt med 1,5 token per franskt ord, cirka 0,3 token per kodtecken och 256 till 1 792 tokens per bild beroende på dess storlek. Dessa storleksordningar, tillämpade på klientsidan, låter dig lokalt avvisa en prompt som uppenbart ligger utanför gränserna utan att förbruka ett anrop.
Spara alltså endpointen för tre situationer: prompter vars storlek varierar kraftigt, typiskt användarlevererade dokument eller utdrag hämtade av ett RAG-system; initial kalibrering av dina mallar, när du en gång för alla fastställer token-budgeten för varje byggsten; och felsökning, när ett fel för kontextöverskridning dyker upp och du behöver identifiera vilket element som orsakade svällningen.
Inbyggda verktyg, en separat kostnadspost
Tokens är inte den enda källan till kostnad. Inbyggda API-verktyg debiteras per anrop, oberoende av den textvolym som utbyts.
| Verktyg | Taxa |
|---|---|
| Web Search | $5 per 1 000 anrop |
| X Search | $5 per 1 000 anrop |
| Code Execution | $5 per 1 000 anrop |
| File Attachments | $10 per 1 000 anrop |
| Collections Search | $2,50 per 1 000 anrop |
Gör dina egna beräkningar på din trafik innan du generaliserar användningen av ett verktyg. En applikation som utlöser en webbsökning vid varje förfrågan betalar $5 per tusen interaktioner enbart för verktyget, vilket ofta överstiger kostnaden för de tokens som förbrukats under samma period. Webbsökning är inte överflödig, men den bör utlösas villkorligt snarare än som standard.
Viktiga punkter
- Endpointen
POST /v1/tokenize-textlåter dig räkna tokens utan debitering - Webbkonsolen för tokenisering är användbar för prototyputveckling och för att förstå tokeniseraren
- Anropa inte tokeniserings-endpointen vid varje förfrågan i produktion: använd uppskattningar
- Inbyggda verktyg (Web Search, Code Execution, etc.) har extra kostnader per anrop
- Franska förbrukar i genomsnitt cirka 1,5 token per ord