Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Tokenointipäätepiste ja työkalut

Oppitunti 6 / 14 Päivitetty 29. heinäkuuta 2026 Edistynyt
Tällä sivulla
  1. Laske tokenit ennen lähetystä
  2. /v1/tokenize-text-päätepiste
  3. Konsolin visuaalinen työkalu
  4. Mihin sijoittaa laskenta putkistossa
  5. Sisäiset työkalut, erillinen kuluerä
  6. Keskeiset asiat

Laske tokenit ennen lähetystä

Jokaista vakavaa API-kutsua edeltää kolme kysymystä: Mahtuuko kehotteeni konteksti-ikkunaan? Paljonko se maksaa? Mistä leikkaan, jos dokumentti on liian pitkä? Näihin vastaaminen lähetyksen jälkeen – kun näet virheen tai saat laskun – maksaa aina enemmän kuin ennakkoon vastaaminen. Grok API tarjoaa tähän täsmälleen oikean työkalun: tokenointipäätepisteen, joka on ilmainen ja erillinen tekstintuotannosta.

/v1/tokenize-text-päätepiste

POST /v1/tokenize-text ottaa raakatekstin ja palauttaa vastaavan tokenmäärän. Avainominaisuus tiivistyy yhteen lauseeseen: toisin kuin tekstintuotantokutsu, tämä päätepiste ei kuluta laskutettavia tokeneita. Se laskee; se ei tuota.

curl -X POST "https://api.x.ai/v1/tokenize-text" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Your text to tokenize here."
  }'

Vastaus antaa kokonaistokenmäärän ja versiosta riippuen yksittäisten tokenien erittelyn. Tästä seuraa suoraan kolme käyttötarkoitusta. Ensinnäkin validointi: varmistat, että järjestelmäkehotteen, historian ja käyttäjäviestin summa pysyy kohdemallin ikkunassa – 1 miljoona tokenia mallissa grok-4.3 ja 500 000 mallissa grok-4.5. Toiseksi kustannusarvio: tuloksena oleva luku kerrottuna mallin hinnalla antaa pyynnön hinnan ennen sitoutumista. Kolmanneksi typistäminen: liian suurelle dokumentille tokenointi näyttää, mistä leikata puhtaasti sen sijaan, että API hylkäisi koko asian.

Konsolin visuaalinen työkalu

Prototypointia varten xAI tarjoaa visuaalisen tokenoitsijan verkkokonsolissaan, jossa liität tekstiä ja näet heti sen erittelyn. Se on erinomainen opetusväline – käytä sitä vähintään kerran ennen kehotemalliesi suunnittelua.

Teet siellä kolme hyödyllistä havaintoa. Ranska tuottaa merkittävästi enemmän tokeneita kuin englanti semanttisesti identtiselle sisällölle, mikä vaikuttaa suoraan ranskankielisen sovelluksen kustannuksiin. Lähdekoodi pilkotaan eri logiikalla kuin luonnollinen teksti. Ja välimerkit tai erikoismerkit vievät usein oman tokeninsa, mikä selittää, miksi puhelias JSON maksaa yllättävän paljon siirrettäessä.

Mihin sijoittaa laskenta putkistossa

Varo refleksia tokenoida systemaattisesti ennen jokaista kutsua: kaksinkertaistat verkkopyyntöjen määrän ja lisäät viivettä jokaiseen vuorovaikutukseen tiedosta, jonka usein jo tiesit. Varaa tarkka laskenta tapauksiin, joissa epävarmuus on todellista.

Kaiken muun osalta arvio riittää. Laske karkeasti 1,5 tokenia ranskankielistä sanaa kohden, noin 0,3 tokenia koodimerkkiä kohden ja 256–1 792 tokenia kuvaa kohden sen koosta riippuen. Nämä suuruusluokat, joita sovelletaan asiakaspuolella, antavat sinun hylätä paikallisesti kehotteen, joka on ilmeisesti rajojen ulkopuolella, kuluttamatta kutsua.

Säästä päätepiste kolmeen tilanteeseen: kehotteet, joiden koko vaihtelee suuresti, tyypillisesti käyttäjän toimittamat dokumentit tai RAG-järjestelmän hakemat otteet; malliesi alkukalibrointi, kun määrität kerran ja lopullisesti tokenbudjetin jokaiselle rakennuspalikalle; ja vianetsintä, kun kontekstin ylivuotovirhe ilmenee ja sinun on tunnistettava, mikä elementti aiheutti turpoamisen.

Sisäiset työkalut, erillinen kuluerä

Tokenit eivät ole ainoa kustannuslähde. Sisäiset API-työkalut laskutetaan kutsukohtaisesti, riippumatta vaihdetun tekstin määrästä.

TyökaluHinta
Web Search5 $ per 1 000 kutsua
X Search5 $ per 1 000 kutsua
Code Execution5 $ per 1 000 kutsua
File Attachments10 $ per 1 000 kutsua
Collections Search2,50 $ per 1 000 kutsua

Laske numerot omalle liikenteellesi ennen työkalun yleistämistä. Sovellus, joka laukaisee verkkohaun jokaisessa pyynnössä, maksaa 5 dollaria tuhannelta vuorovaikutukselta pelkästään työkalusta, mikä ylittää usein samana aikana kulutettujen tokenien kustannukset. Verkkohaku ei ole tarpeeton, mutta se pitäisi laukaista ehdollisesti eikä oletusarvoisesti.

Keskeiset asiat

  • POST /v1/tokenize-text -päätepiste antaa laskea tokeneita ilman laskutusta
  • Verkkopohjainen tokenointikonsoli on hyödyllinen prototypoinnissa ja tokenoitsijan ymmärtämisessä
  • Älä kutsu tokenointipäätepistettä jokaisessa pyynnössä tuotannossa: käytä arvioita
  • Sisäisillä työkaluilla (Web Search, Code Execution jne.) on lisäkustannuksia kutsua kohden
  • Ranska kuluttaa keskimäärin noin 1,5 tokenia sanaa kohden