Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Tokenisering af endpoint og værktøjer

Lektion 6 af 14 Opdateret 29. juli 2026 Avanceret
På denne side
  1. Tæl tokens, før du sender
  2. Endpointet /v1/tokenize-text
  3. Det visuelle værktøj i konsollen
  4. Hvor placering af optælling hører hjemme i en pipeline
  5. Indbyggede værktøjer, en separat post
  6. Vigtige pointer

Tæl tokens, før du sender

Før ethvert seriøst API-kald rejser der sig tre spørgsmål: Passer min prompt ind i kontekstvinduet? Hvor meget vil det koste? Hvor skal jeg skære, hvis dokumentet er for langt? At besvare disse spørgsmål efter afsendelse – når du ser en fejl eller modtager en regning – koster altid mere end at besvare dem på forhånd. Grok API’et tilbyder præcis værktøjet til dette: et tokeniserings-endpoint, der er gratis og uafhængigt af komplettering.

Endpointet /v1/tokenize-text

POST /v1/tokenize-text modtager rå tekst og returnerer det tilsvarende antal tokens. Nøglefunktionen kan opsummeres i én sætning: I modsætning til et kompletteringskald forbruger dette endpoint ingen fakturerbare tokens. Det tæller; det genererer ikke.

curl -X POST "https://api.x.ai/v1/tokenize-text" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Your text to tokenize here."
  }'

Svaret giver dig det samlede antal tokens og, afhængigt af versionen, en opdeling af de enkelte tokens. Heraf følger direkte tre anvendelsesmuligheder. For det første validering: Du verificerer, at summen af system-prompten, historikken og brugerbeskeden holder sig inden for målmodellens vindue – 1 million tokens på grok-4.3 og 500.000 på grok-4.5. Dernæst omkostningsestimering: Det resulterende tal ganget med modellens sats giver dig prisen for anmodningen, før du begår dig. Endelig beskæring: Ved et for stort dokument viser tokeniseringen dig, hvor du skal skære rent, i stedet for at lade API’et afvise det hele.

Det visuelle værktøj i konsollen

Til prototyping tilbyder xAI et visuelt tokeniseringsværktøj i sin webkonsol, hvor du indsætter tekst og straks ser dens opdeling. Det er et fremragende undervisningsværktøj – brug det mindst én gang, før du designer dine prompt-skabeloner.

Du vil gøre tre nyttige observationer der. Fransk producerer betydeligt flere tokens end engelsk for semantisk identisk indhold, hvilket direkte påvirker omkostningerne ved en fransk-sproget applikation. Kildekode opdeles efter en anden logik end naturlig tekst. Og tegnsætning eller specialtegn optager ofte en hel token alene, hvilket forklarer, hvorfor verbose JSON overraskende nok koster meget at transmittere.

Hvor placering af optælling hører hjemme i en pipeline

Pas på med refleksmæssigt at tokenisere systematisk før hvert kald: Du fordobler antallet af netværksanmodninger og tilføjer latency til hver interaktion for information, du ofte allerede kendte. Reserver præcis optælling til tilfælde, hvor usikkerheden er reel.

Til alt andet er et estimat tilstrækkeligt. Regn groft med 1,5 token per fransk ord, ca. 0,3 token per kode-tegn og 256 til 1.792 tokens per billede afhængigt af dets størrelse. Disse størrelsesordener, anvendt på klientsiden, lader dig lokalt afvise en prompt, der åbenlyst er uden for rækkevidde, uden at forbruge et kald.

Gem derfor endpointet til tre situationer: Prompts, hvis størrelse varierer meget, typisk brugerleverede dokumenter eller uddrag hentet af et RAG-system; indledende kalibrering af dine skabeloner, når du én gang for alle fastlægger token-budgettet for hver byggesten; og fejlfinding, når en fejl ved kontekstoverløb opstår, og du需要 identificere, hvilket element der forårsagede oppustetheden.

Indbyggede værktøjer, en separat post

Tokens er ikke den eneste omkostningskilde. Indbyggede API-værktøjer faktureres per kald, uafhængigt af det udvekslede tekstvolumen.

VærktøjSats
Web Search$5 per 1.000 kald
X Search$5 per 1.000 kald
Code Execution$5 per 1.000 kald
File Attachments$10 per 1.000 kald
Collections Search$2,50 per 1.000 kald

Kør tallene på din egen trafik, før du generaliserer brugen af et værktøj. En applikation, der udløser et websøgning ved hver anmodning, betaler $5 per tusind interaktioner alene for værktøjet, hvilket ofte overstiger omkostningerne ved de tokens, der forbruges i samme periode. Websøgning er ikke overflødig, men den bør udløses betinget frem for som standard.

Vigtige pointer

  • Endpointet POST /v1/tokenize-text lader dig tælle tokens uden fakturering
  • Web-konsollen til tokenisering er nyttig til prototyping og forståelse af tokeniseringen
  • Kald ikke tokeniserings-endpointet ved hver anmodning i produktion: brug estimater
  • Indbyggede værktøjer (Web Search, Code Execution osv.) har yderligere omkostninger per kald
  • Fransk forbruger i gennemsnit ca. 1,5 token per ord