Tokenizálási végpont és eszközök
Ezen az oldalon
Számold meg a tokeneket küldés előtt
Minden komoly API-hívás előtt három kérdés merül fel: Belefér a promptom a kontextusablakba? Mennyibe fog kerülni? Hol vágjam le, ha a dokumentum túl hosszú? Ha csak a küldés után válaszolod meg ezeket – amikor már hibaüzenetet kapsz vagy megjön a számla –, az mindig többe kerül, mint ha előre tisztáznád őket. A Grok API pontosan erre a célra kínál egy eszközt: egy tokenizálási végpontot, amely ingyenes és független a kiegészítésektől (completions).
A /v1/tokenize-text végpont
A POST /v1/tokenize-text nyers szöveget fogad, és visszaadja a hozzá tartozó tokenszámot. A lényeg egyetlen mondatban összefoglalható: ellentétben egy kiegészítő hívással, ez a végpont nem fogyaszt el számlázott tokent. Csak számol, nem generál.
curl -X POST "https://api.x.ai/v1/tokenize-text" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"text": "Your text to tokenize here."
}'
A válasz megadja a teljes tokenszámot, és a verziótól függően az egyes tokenek lebontását is. Ebből közvetlenül három felhasználási mód adódik. Először is az ellenőrzés: megbizonyosodhatsz arról, hogy a rendszerprompt, az előzmények és a felhasználói üzenet összege beleillik-e a célmodell ablakába – ez 1 millió token a grok-4.3 esetén, és 500 000 a grok-4.5-nél. Másodszor a költségbecslés: a kapott számot a modell díjszabásával megszorozva megkapod a kérés árát, mielőtt elköteleződnél mellette. Végül a csonkolás: egy túlméretezett dokumentum esetén a tokenizálás megmutatja, hol vághatsz tisztán, ahelyett, hogy hagynád az API-t elutasítani az egészet.
A konzolos vizuális eszköz
Prototípus-készítéshez az xAI egy vizuális tokenizálót kínál a webes konzoljában, ahol beillesztheted a szöveget, és azonnal látod annak lebontását. Kiváló oktatási eszköz – érdemes legalább egyszer használnod, mielőtt megtervezed a prompt-sablonjaidat.
Három hasznos megfigyelést tehetsz itt. A francia nyelv jelentősen több tokent eredményez, mint az angol ugyanazon tartalom esetén, ami közvetlenül befolyásolja egy francia nyelvű alkalmazás költségét. A forráskódot más logika szerint darabolja fel, mint a természetes szöveget. A központozási jelek vagy speciális karakterek pedig gyakran önmagukban is egy-egy tokent foglalnak el, ami megmagyarázza, miért kerül meglepően sokba a terjengős JSON adatok továbbítása.
Hol helyezd el a számlálást egy folyamatban?
Óvakodj attól a reflextől, hogy minden hívás előtt szisztematikusan tokenizálj: ezzel megduplázod a hálózati kérések számát, és késleltetést adsz minden interakcióhoz olyan információért, amit gyakran már eleve tudsz. A pontos számlálást csak olyan esetekre tartogasd, ahol valódi a bizonytalanság.
Minden másra elég egy becslés. Számolj átlagosan 1,5 tokennel francia szavanként, körülbelül 0,3 tokennel kódkarakterenként, és képmérettől függően 256–1792 tokennel képenként. Ezek a nagyságrendek, ha kliens oldalon alkalmazod, lehetővé teszik, hogy helyben elutasíts egy nyilvánvalóan határon túli promptot anélkül, hogy elhasználnál egy hívást.
Tehát a végpontot három helyzetre mentsd el: olyan promptokra, amelyek mérete széles skálán változik (jellemzően felhasználó által biztosított dokumentumok vagy egy RAG-rendszer által lekért részletek); a sablonjaid kezdeti kalibrálására, amikor egyszer és mindenkorra meghatározod az egyes építőelemek tokenkeretét; valamint hibakeresésre, amikor kontextus-túllépési hiba lép fel, és azonosítanod kell, melyik elem okozta a felfújódást.
Beépített eszközök, külön soron számlázva
Nem csak a tokenek jelentenek költséget. A beépített API-eszközök hívásonként kerülnek számlázásra, függetlenül a cserélt szöveg mennyiségétől.
| Eszköz | Díjszabás |
|---|---|
| Web Search | 5 USD / 1000 hívás |
| X Search | 5 USD / 1000 hívás |
| Code Execution | 5 USD / 1000 hívás |
| File Attachments | 10 USD / 1000 hívás |
| Collections Search | 2,50 USD / 1000 hívás |
Futtasd le a számításokat a saját forgalmadra, mielőtt általánosítanál egy eszközt. Egy olyan alkalmazás, amely minden kérésnél indít egy webes keresést, önmagában az eszközért 5 USD-t fizet ezer interakciónként, ami gyakran meghaladja az ugyanazon időszak alatt felhasznált tokenek költségét. A webes keresés nem felesleges, de feltételhez kötötten kell elindítani, nem pedig alapértelmezetten.
Főbb megállapítások
- A
POST /v1/tokenize-textvégpont lehetővé teszi a tokenek számlálását számlázás nélkül - A webes tokenizáló konzol hasznos prototípus-készítéshez és a tokenizáló megértéséhez
- Ne hívd meg a tokenizálási végpontot minden kérésnél éles környezetben: használj becsléseket
- A beépített eszközöknek (Web Search, Code Execution stb.) külön, hívásonkénti költségeik vannak
- A francia nyelv átlagosan körülbelül 1,5 tokent fogyaszt szavanként