Tokenisering af endpoint og værktøjer
På denne side
Tæl tokens, før du sender
Før ethvert seriøst API-kald rejser der sig tre spørgsmål: Passer min prompt ind i kontekstvinduet? Hvor meget vil det koste? Hvor skal jeg skære, hvis dokumentet er for langt? At besvare disse spørgsmål efter afsendelse – når du ser en fejl eller modtager en regning – koster altid mere end at besvare dem på forhånd. Grok API’et tilbyder præcis værktøjet til dette: et tokeniserings-endpoint, der er gratis og uafhængigt af komplettering.
Endpointet /v1/tokenize-text
POST /v1/tokenize-text modtager rå tekst og returnerer det tilsvarende antal tokens. Nøglefunktionen kan opsummeres i én sætning: I modsætning til et kompletteringskald forbruger dette endpoint ingen fakturerbare tokens. Det tæller; det genererer ikke.
curl -X POST "https://api.x.ai/v1/tokenize-text" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"text": "Your text to tokenize here."
}'
Svaret giver dig det samlede antal tokens og, afhængigt af versionen, en opdeling af de enkelte tokens. Heraf følger direkte tre anvendelsesmuligheder. For det første validering: Du verificerer, at summen af system-prompten, historikken og brugerbeskeden holder sig inden for målmodellens vindue – 1 million tokens på grok-4.3 og 500.000 på grok-4.5. Dernæst omkostningsestimering: Det resulterende tal ganget med modellens sats giver dig prisen for anmodningen, før du begår dig. Endelig beskæring: Ved et for stort dokument viser tokeniseringen dig, hvor du skal skære rent, i stedet for at lade API’et afvise det hele.
Det visuelle værktøj i konsollen
Til prototyping tilbyder xAI et visuelt tokeniseringsværktøj i sin webkonsol, hvor du indsætter tekst og straks ser dens opdeling. Det er et fremragende undervisningsværktøj – brug det mindst én gang, før du designer dine prompt-skabeloner.
Du vil gøre tre nyttige observationer der. Fransk producerer betydeligt flere tokens end engelsk for semantisk identisk indhold, hvilket direkte påvirker omkostningerne ved en fransk-sproget applikation. Kildekode opdeles efter en anden logik end naturlig tekst. Og tegnsætning eller specialtegn optager ofte en hel token alene, hvilket forklarer, hvorfor verbose JSON overraskende nok koster meget at transmittere.
Hvor placering af optælling hører hjemme i en pipeline
Pas på med refleksmæssigt at tokenisere systematisk før hvert kald: Du fordobler antallet af netværksanmodninger og tilføjer latency til hver interaktion for information, du ofte allerede kendte. Reserver præcis optælling til tilfælde, hvor usikkerheden er reel.
Til alt andet er et estimat tilstrækkeligt. Regn groft med 1,5 token per fransk ord, ca. 0,3 token per kode-tegn og 256 til 1.792 tokens per billede afhængigt af dets størrelse. Disse størrelsesordener, anvendt på klientsiden, lader dig lokalt afvise en prompt, der åbenlyst er uden for rækkevidde, uden at forbruge et kald.
Gem derfor endpointet til tre situationer: Prompts, hvis størrelse varierer meget, typisk brugerleverede dokumenter eller uddrag hentet af et RAG-system; indledende kalibrering af dine skabeloner, når du én gang for alle fastlægger token-budgettet for hver byggesten; og fejlfinding, når en fejl ved kontekstoverløb opstår, og du需要 identificere, hvilket element der forårsagede oppustetheden.
Indbyggede værktøjer, en separat post
Tokens er ikke den eneste omkostningskilde. Indbyggede API-værktøjer faktureres per kald, uafhængigt af det udvekslede tekstvolumen.
| Værktøj | Sats |
|---|---|
| Web Search | $5 per 1.000 kald |
| X Search | $5 per 1.000 kald |
| Code Execution | $5 per 1.000 kald |
| File Attachments | $10 per 1.000 kald |
| Collections Search | $2,50 per 1.000 kald |
Kør tallene på din egen trafik, før du generaliserer brugen af et værktøj. En applikation, der udløser et websøgning ved hver anmodning, betaler $5 per tusind interaktioner alene for værktøjet, hvilket ofte overstiger omkostningerne ved de tokens, der forbruges i samme periode. Websøgning er ikke overflødig, men den bør udløses betinget frem for som standard.
Vigtige pointer
- Endpointet
POST /v1/tokenize-textlader dig tælle tokens uden fakturering - Web-konsollen til tokenisering er nyttig til prototyping og forståelse af tokeniseringen
- Kald ikke tokeniserings-endpointet ved hver anmodning i produktion: brug estimater
- Indbyggede værktøjer (Web Search, Code Execution osv.) har yderligere omkostninger per kald
- Fransk forbruger i gennemsnit ca. 1,5 token per ord