Токенизиращ крайна точка и инструменти
На тази страница
Бройте токените преди изпращане
Преди всяко сериозно API обаждане възникват три въпроса: Събира ли се вашият промпт в контекстния прозорец? Колко ще струва това? Къде да отрежете, ако документът е твърде дълъг? Отговорите на тези въпроси след изпращането – когато видите грешка или получите фактура – винаги струват повече, отколкото ако ги знаете предварително. Grok API предоставя точно инструмента за това: токенизираща крайна точка, която е безплатна и независима от генерирането на отговори.
Крайна точка /v1/tokenize-text
POST /v1/tokenize-text приема суров текст и връща съответния брой токени. Ключовата характеристика се свежда до едно изречение: за разлика от обаждане за генериране, тази крайна точка не консумира таксуеми токени. Тя само брои; не генерира.
curl -X POST "https://api.x.ai/v1/tokenize-text" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"text": "Your text to tokenize here."
}'
Отговорът ви дава общия брой токени и, в зависимост от версията, разбивка на отделните токени. От това следват директно три употреби. Първо, валидиране: проверявате дали сумата от системния промпт, историята и потребителското съобщение остава в рамките на прозореца на целевия модел – 1 милион токена за grok-4.3 и 500 000 за grok-4.5. След това, оценка на разходите: полученото число, умножено по тарифата на модела, ви дава цената на заявката, преди да се ангажирате. Накрая, съкращаване: за документ с прекален размер, токенизацията ви показва къде да отрежете чисто, вместо да оставите API да отхвърли всичко.
Визуалният инструмент в конзолата
За прототипиране, xAI предлага визуален токенизатор в своята уеб конзола, където поставяте текст и веднага виждате неговата разбивка. Това е отличен обучаващ инструмент – използвайте го поне веднъж, преди да проектирате своите шаблони за промптове.
Там ще направите три полезни наблюдения. Френският език произвежда значително повече токени от английския за семантично идентично съдържание, което директно влияе върху цената на приложение на френски език. Изходният код се разделя според различна логика от тази на естествения текст. И препинателните знаци или специалните символи често заемат цял токен сами по себе си, което обяснява защо подробният JSON струва изненадващо скъпо за предаване.
Къде да поставите броенето в един пайплайн
Внимавайте с рефлекса да токенизирате систематично преди всяко обаждане: това удвоява броя на мрежовите заявки и добавя латентност към всяко взаимодействие, за информация, която често вече знаете. Запазете точното броене за случаи, когато несигурността е реална.
За всичко останало една оценка е достатъчна. Бройте приблизително 1,5 токена на френска дума, около 0,3 токена на символ от код и между 256 и 1 792 токена на изображение в зависимост от неговия размер. Тези порядъци, приложени на клиентска страна, ви позволяват локално да отхвърлите промпт, който очевидно излиза извън границите, без да консумирате обаждане.
Запазете крайната точка тогава за три ситуации: промптове, чийто размер варира значително, типично предоставени от потребителя документи или откъси, извлечени от RAG система; първоначална калибрация на вашите шаблони, когато установявате веднъж завинаги токеновия бюджет за всеки строителен блок; и дебъгване, когато се появи грешка за препълване на контекста и трябва да идентифицирате кой елемент е причинил подутото съдържание.
Вградени инструменти, отделна статия в разходите
Токените не са единственият източник на разходи. Вградените инструменти на API се таксуват на обаждане, независимо от обема на разменения текст.
| Инструмент | Тарифа |
|---|---|
| Web Search | $5 на 1 000 обаждания |
| X Search | $5 на 1 000 обаждания |
| Code Execution | $5 на 1 000 обаждания |
| File Attachments | $10 на 1 000 обаждания |
| Collections Search | $2.50 на 1 000 обаждания |
Направете сметката за собствения си трафик, преди да обобщите използването на даден инструмент. Приложение, което задейства уеб търсене при всяка заявка, плаща $5 на хиляда взаимодействия само за инструмента, което често надвишава цената на токените, консумирани за същия период. Уеб търсенето не е излишно, но трябва да се задейства при условие, а не по подразбиране.
Ключови изводи
- Крайната точка
POST /v1/tokenize-textви позволява да броите токени без таксуване - Уеб конзолата за токенизация е полезна за прототипиране и разбиране на токенизатора
- Не извиквайте крайната точка за токенизация при всяка заявка в продукция: използвайте оценки
- Вградените инструменти (Web Search, Code Execution и др.) имат допълнителни разходи на обаждане
- Френският език консумира средно около 1,5 токена на дума