Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Endpoint ta' tokenizzazzjoni u għodod

Lezzjoni 6 / 14 Aġġornat 29 ta’ Lulju 2026 Avvanzat
F'din il-paġna
  1. Għodd it-tokens qabel ma tibgħat
  2. L-endpoint /v1/tokenize-text
  3. L-għodda viżiva tal-konsowl
  4. Fejn tpoġġi l-għadd f’pipeline
  5. Għodod integrati, voċi separata
  6. Punti Ewlenin

Għodd it-tokens qabel ma tibgħat

Tliet mistoqsijiet iqumu qabel kull sejħa API serja: Il-prompt tiegħek joqgħod fil-firxa tal-kuntest? Kemm se jispiċċa jiswa? Fejn taqta’ jekk id-dokument ikun twil wisq? Li twieġeb dawn il-mistoqsijiet wara li tibgħat—meta tara żball jew tirċievi fattura—dejjem jiswik aktar milli li twieġebhom minn qabel. L-API ta’ Grok jipprovdi eżattament l-għodda għal dan: endpoint ta’ tokenizzazzjoni, bla ħlas u separat mill-kompletamenti.

L-endpoint /v1/tokenize-text

POST /v1/tokenize-text jieħu test mhux ipproċessat u jirritorna n-numru korrispondenti ta’ tokens. Il-karatteristika ewlenija tista’ tiġi riassunta f’sentenza waħda: b’differenza minn sejħa ta’ kompletament, dan l-endpoint ma jikkunsmax tokens li jiġu ffatturati. Huwa jgħodd; ma jiġġenerax.

curl -X POST "https://api.x.ai/v1/tokenize-text" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Your text to tokenize here."
  }'

Ir-risposta tagħtik in-numru totali ta’ tokens u, skont il-verżjoni, id-diviżjoni tat-tokens individwali. Tliet użi jirriżultaw direttament minn dan. L-ewwel, validazzjoni: tivverifika li s-somma tal-prompt tas-sistema, l-istorja u l-messaġġ tal-utent tibqa’ fil-limitu tal-mudell fil-mira—miljun token fuq grok-4.3 u 500,000 fuq grok-4.5. Imbagħad, stima tal-ispiża: in-numru li jirriżulta, immultiplikat bir-rata tal-mudell, jagħtik il-prezz tas-sejħa qabel ma timpenja ruħek. Fl-aħħar nett, it-tronkament: għal dokument kbir wisq, it-tokenizzazzjoni turi fejn taqta’ b’mod nadif minflok ma tħalli l-API jiċħad kollox.

L-għodda viżiva tal-konsowl

Għall-prototipar, xAI toffri tokenizzatur viżiv fil-konsowl web tagħha fejn tincolla t-test u tara immedjatament id-diviżjoni tiegħu. Hija għodda ta’ tagħlim eċċellenti—uża mill-inqas darba qabel ma tfassal il-mudelli tal-prompt tiegħek.

Hemmhekk se tagħmel tliet osservazzjonijiet utli. Il-Franċiż jipproduċi numru sinifikattivament ogħla ta’ tokens mill-Ingliż għal kontenut semanticament identiku, li jaffettwa direttament l-ispiża ta’ applikazzjoni bil-Franċiż. Il-kodiċi sors jinqasam skont loġika differenti mit-test naturali. U l-punteġġjatura jew karattri speċjali spiss jokkupaw token waħdu, li jispjega għaliex JSON verbali jispiċċa jiswa sorprendentement ħafna biex jiġi trażmess.

Fejn tpoġġi l-għadd f’pipeline

Oqgħod attent mir-rifless li ttokenizza sistematikament qabel kull sejħa: tirdoppja n-numru ta’ talbiet tan-network u żżid il-latency għal kull interazzjoni, għal informazzjoni li spiss diġà tkun tafha. Irriżerva l-għadd eżatt għal każijiet fejn l-inċertezza hija reali.

Għal kollox l-ieħor, stima hija biżżejjed. Għodd bejn wieħed u ieħor 1.5 token għal kull kelma bil-Franċiż, madwar 0.3 token għal kull karattru tal-kodiċi, u bejn 256 u 1,792 token għal kull immaġni skont id-daqs tagħha. Dawn l-ordnijiet ta’ kobor, applikati fuq in-naħa tal-klijent, jippermettulek tirrifjuta lokalment prompt li huwa manifestament barra mil-limiti mingħajr ma tikkunsmà sejħa.

Iħalli l-endpoint għal tliet sitwazzjonijiet biss: prompts li d-daqs tagħhom ivarja ħafna, tipikament dokumenti pprovduti mill-utent jew estratti rkuprati minn sistema RAG; kalibrazzjoni inizjali tal-mudelli tiegħek, meta tistabbilixxi darba għal dejjem il-baġit tat-tokens għal kull blocca tal-bini; u d-debugging, meta jidher żball ta’ eċċess tal-kuntest u għandek bżonn tidentifika liema element ikkawża l-miżjud.

Għodod integrati, voċi separata

It-tokens mhumiex l-unika sors ta’ spiża. L-għodod integrati tal-API jiġu ffatturati għal kull sejħa, indipendentement mill-volum tat-test skambjat.

GħoddaRata
Web Search$5 kull 1,000 sejħa
X Search$5 kull 1,000 sejħa
Code Execution$5 kull 1,000 sejħa
File Attachments$10 kull 1,000 sejħa
Collections Search$2.50 kull 1,000 sejħa

Agħmel il-kalkoli fuq it-traffiku tiegħek stess qabel ma tiggeneralizza għodda. Applikazzjoni li ttriggera tfittxija fuq il-web fuq kull talba tħallas $5 għal kull elf interazzjoni għall-għodda waħedha, li spiss taqbeż l-ispiża tat-tokens ikkunsmati matul l-istess perjodu. It-tfittxija fuq il-web mhix superflwa, iżda għandha tiġi attivata b’kundizzjoni minflok b’mod awtomatiku.

Punti Ewlenin

  • L-endpoint POST /v1/tokenize-text jippermettilek tgħodd it-tokens mingħajr ħlas
  • Il-konsowl web ta’ tokenizzazzjoni huwa utli għall-prototipar u biex tifhem it-tokenizzatur
  • Tissejjaħx l-endpoint ta’ tokenizzazzjoni fuq kull talba fil-produzzjoni: uża stimi
  • L-għodod integrati (Web Search, Code Execution, eċċ.) għandhom kostijiet addizzjonali għal kull sejħa
  • Il-Franċiż jikkunsmà madwar 1.5 token għal kull kelma medjament