Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Tokenizálási végpont és eszközök

6. lecke 14 közül Frissítve 2026. július 29. Haladó
Ezen az oldalon
  1. Számold meg a tokeneket küldés előtt
  2. A /v1/tokenize-text végpont
  3. A konzolos vizuális eszköz
  4. Hol helyezd el a számlálást egy folyamatban?
  5. Beépített eszközök, külön soron számlázva
  6. Főbb megállapítások

Számold meg a tokeneket küldés előtt

Minden komoly API-hívás előtt három kérdés merül fel: Belefér a promptom a kontextusablakba? Mennyibe fog kerülni? Hol vágjam le, ha a dokumentum túl hosszú? Ha csak a küldés után válaszolod meg ezeket – amikor már hibaüzenetet kapsz vagy megjön a számla –, az mindig többe kerül, mint ha előre tisztáznád őket. A Grok API pontosan erre a célra kínál egy eszközt: egy tokenizálási végpontot, amely ingyenes és független a kiegészítésektől (completions).

A /v1/tokenize-text végpont

A POST /v1/tokenize-text nyers szöveget fogad, és visszaadja a hozzá tartozó tokenszámot. A lényeg egyetlen mondatban összefoglalható: ellentétben egy kiegészítő hívással, ez a végpont nem fogyaszt el számlázott tokent. Csak számol, nem generál.

curl -X POST "https://api.x.ai/v1/tokenize-text" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Your text to tokenize here."
  }'

A válasz megadja a teljes tokenszámot, és a verziótól függően az egyes tokenek lebontását is. Ebből közvetlenül három felhasználási mód adódik. Először is az ellenőrzés: megbizonyosodhatsz arról, hogy a rendszerprompt, az előzmények és a felhasználói üzenet összege beleillik-e a célmodell ablakába – ez 1 millió token a grok-4.3 esetén, és 500 000 a grok-4.5-nél. Másodszor a költségbecslés: a kapott számot a modell díjszabásával megszorozva megkapod a kérés árát, mielőtt elköteleződnél mellette. Végül a csonkolás: egy túlméretezett dokumentum esetén a tokenizálás megmutatja, hol vághatsz tisztán, ahelyett, hogy hagynád az API-t elutasítani az egészet.

A konzolos vizuális eszköz

Prototípus-készítéshez az xAI egy vizuális tokenizálót kínál a webes konzoljában, ahol beillesztheted a szöveget, és azonnal látod annak lebontását. Kiváló oktatási eszköz – érdemes legalább egyszer használnod, mielőtt megtervezed a prompt-sablonjaidat.

Három hasznos megfigyelést tehetsz itt. A francia nyelv jelentősen több tokent eredményez, mint az angol ugyanazon tartalom esetén, ami közvetlenül befolyásolja egy francia nyelvű alkalmazás költségét. A forráskódot más logika szerint darabolja fel, mint a természetes szöveget. A központozási jelek vagy speciális karakterek pedig gyakran önmagukban is egy-egy tokent foglalnak el, ami megmagyarázza, miért kerül meglepően sokba a terjengős JSON adatok továbbítása.

Hol helyezd el a számlálást egy folyamatban?

Óvakodj attól a reflextől, hogy minden hívás előtt szisztematikusan tokenizálj: ezzel megduplázod a hálózati kérések számát, és késleltetést adsz minden interakcióhoz olyan információért, amit gyakran már eleve tudsz. A pontos számlálást csak olyan esetekre tartogasd, ahol valódi a bizonytalanság.

Minden másra elég egy becslés. Számolj átlagosan 1,5 tokennel francia szavanként, körülbelül 0,3 tokennel kódkarakterenként, és képmérettől függően 256–1792 tokennel képenként. Ezek a nagyságrendek, ha kliens oldalon alkalmazod, lehetővé teszik, hogy helyben elutasíts egy nyilvánvalóan határon túli promptot anélkül, hogy elhasználnál egy hívást.

Tehát a végpontot három helyzetre mentsd el: olyan promptokra, amelyek mérete széles skálán változik (jellemzően felhasználó által biztosított dokumentumok vagy egy RAG-rendszer által lekért részletek); a sablonjaid kezdeti kalibrálására, amikor egyszer és mindenkorra meghatározod az egyes építőelemek tokenkeretét; valamint hibakeresésre, amikor kontextus-túllépési hiba lép fel, és azonosítanod kell, melyik elem okozta a felfújódást.

Beépített eszközök, külön soron számlázva

Nem csak a tokenek jelentenek költséget. A beépített API-eszközök hívásonként kerülnek számlázásra, függetlenül a cserélt szöveg mennyiségétől.

EszközDíjszabás
Web Search5 USD / 1000 hívás
X Search5 USD / 1000 hívás
Code Execution5 USD / 1000 hívás
File Attachments10 USD / 1000 hívás
Collections Search2,50 USD / 1000 hívás

Futtasd le a számításokat a saját forgalmadra, mielőtt általánosítanál egy eszközt. Egy olyan alkalmazás, amely minden kérésnél indít egy webes keresést, önmagában az eszközért 5 USD-t fizet ezer interakciónként, ami gyakran meghaladja az ugyanazon időszak alatt felhasznált tokenek költségét. A webes keresés nem felesleges, de feltételhez kötötten kell elindítani, nem pedig alapértelmezetten.

Főbb megállapítások

  • A POST /v1/tokenize-text végpont lehetővé teszi a tokenek számlálását számlázás nélkül
  • A webes tokenizáló konzol hasznos prototípus-készítéshez és a tokenizáló megértéséhez
  • Ne hívd meg a tokenizálási végpontot minden kérésnél éles környezetben: használj becsléseket
  • A beépített eszközöknek (Web Search, Code Execution stb.) külön, hívásonkénti költségeik vannak
  • A francia nyelv átlagosan körülbelül 1,5 tokent fogyaszt szavanként