Endpoint ta' tokenizzazzjoni u għodod
F'din il-paġna
Għodd it-tokens qabel ma tibgħat
Tliet mistoqsijiet iqumu qabel kull sejħa API serja: Il-prompt tiegħek joqgħod fil-firxa tal-kuntest? Kemm se jispiċċa jiswa? Fejn taqta’ jekk id-dokument ikun twil wisq? Li twieġeb dawn il-mistoqsijiet wara li tibgħat—meta tara żball jew tirċievi fattura—dejjem jiswik aktar milli li twieġebhom minn qabel. L-API ta’ Grok jipprovdi eżattament l-għodda għal dan: endpoint ta’ tokenizzazzjoni, bla ħlas u separat mill-kompletamenti.
L-endpoint /v1/tokenize-text
POST /v1/tokenize-text jieħu test mhux ipproċessat u jirritorna n-numru korrispondenti ta’ tokens. Il-karatteristika ewlenija tista’ tiġi riassunta f’sentenza waħda: b’differenza minn sejħa ta’ kompletament, dan l-endpoint ma jikkunsmax tokens li jiġu ffatturati. Huwa jgħodd; ma jiġġenerax.
curl -X POST "https://api.x.ai/v1/tokenize-text" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"text": "Your text to tokenize here."
}'
Ir-risposta tagħtik in-numru totali ta’ tokens u, skont il-verżjoni, id-diviżjoni tat-tokens individwali. Tliet użi jirriżultaw direttament minn dan. L-ewwel, validazzjoni: tivverifika li s-somma tal-prompt tas-sistema, l-istorja u l-messaġġ tal-utent tibqa’ fil-limitu tal-mudell fil-mira—miljun token fuq grok-4.3 u 500,000 fuq grok-4.5. Imbagħad, stima tal-ispiża: in-numru li jirriżulta, immultiplikat bir-rata tal-mudell, jagħtik il-prezz tas-sejħa qabel ma timpenja ruħek. Fl-aħħar nett, it-tronkament: għal dokument kbir wisq, it-tokenizzazzjoni turi fejn taqta’ b’mod nadif minflok ma tħalli l-API jiċħad kollox.
L-għodda viżiva tal-konsowl
Għall-prototipar, xAI toffri tokenizzatur viżiv fil-konsowl web tagħha fejn tincolla t-test u tara immedjatament id-diviżjoni tiegħu. Hija għodda ta’ tagħlim eċċellenti—uża mill-inqas darba qabel ma tfassal il-mudelli tal-prompt tiegħek.
Hemmhekk se tagħmel tliet osservazzjonijiet utli. Il-Franċiż jipproduċi numru sinifikattivament ogħla ta’ tokens mill-Ingliż għal kontenut semanticament identiku, li jaffettwa direttament l-ispiża ta’ applikazzjoni bil-Franċiż. Il-kodiċi sors jinqasam skont loġika differenti mit-test naturali. U l-punteġġjatura jew karattri speċjali spiss jokkupaw token waħdu, li jispjega għaliex JSON verbali jispiċċa jiswa sorprendentement ħafna biex jiġi trażmess.
Fejn tpoġġi l-għadd f’pipeline
Oqgħod attent mir-rifless li ttokenizza sistematikament qabel kull sejħa: tirdoppja n-numru ta’ talbiet tan-network u żżid il-latency għal kull interazzjoni, għal informazzjoni li spiss diġà tkun tafha. Irriżerva l-għadd eżatt għal każijiet fejn l-inċertezza hija reali.
Għal kollox l-ieħor, stima hija biżżejjed. Għodd bejn wieħed u ieħor 1.5 token għal kull kelma bil-Franċiż, madwar 0.3 token għal kull karattru tal-kodiċi, u bejn 256 u 1,792 token għal kull immaġni skont id-daqs tagħha. Dawn l-ordnijiet ta’ kobor, applikati fuq in-naħa tal-klijent, jippermettulek tirrifjuta lokalment prompt li huwa manifestament barra mil-limiti mingħajr ma tikkunsmà sejħa.
Iħalli l-endpoint għal tliet sitwazzjonijiet biss: prompts li d-daqs tagħhom ivarja ħafna, tipikament dokumenti pprovduti mill-utent jew estratti rkuprati minn sistema RAG; kalibrazzjoni inizjali tal-mudelli tiegħek, meta tistabbilixxi darba għal dejjem il-baġit tat-tokens għal kull blocca tal-bini; u d-debugging, meta jidher żball ta’ eċċess tal-kuntest u għandek bżonn tidentifika liema element ikkawża l-miżjud.
Għodod integrati, voċi separata
It-tokens mhumiex l-unika sors ta’ spiża. L-għodod integrati tal-API jiġu ffatturati għal kull sejħa, indipendentement mill-volum tat-test skambjat.
| Għodda | Rata |
|---|---|
| Web Search | $5 kull 1,000 sejħa |
| X Search | $5 kull 1,000 sejħa |
| Code Execution | $5 kull 1,000 sejħa |
| File Attachments | $10 kull 1,000 sejħa |
| Collections Search | $2.50 kull 1,000 sejħa |
Agħmel il-kalkoli fuq it-traffiku tiegħek stess qabel ma tiggeneralizza għodda. Applikazzjoni li ttriggera tfittxija fuq il-web fuq kull talba tħallas $5 għal kull elf interazzjoni għall-għodda waħedha, li spiss taqbeż l-ispiża tat-tokens ikkunsmati matul l-istess perjodu. It-tfittxija fuq il-web mhix superflwa, iżda għandha tiġi attivata b’kundizzjoni minflok b’mod awtomatiku.
Punti Ewlenin
- L-endpoint
POST /v1/tokenize-textjippermettilek tgħodd it-tokens mingħajr ħlas - Il-konsowl web ta’ tokenizzazzjoni huwa utli għall-prototipar u biex tifhem it-tokenizzatur
- Tissejjaħx l-endpoint ta’ tokenizzazzjoni fuq kull talba fil-produzzjoni: uża stimi
- L-għodod integrati (Web Search, Code Execution, eċċ.) għandhom kostijiet addizzjonali għal kull sejħa
- Il-Franċiż jikkunsmà madwar 1.5 token għal kull kelma medjament