Salt la conținutul principal
Română— Alege o limbă
Meniu

Endpoint de tokenizare și instrumente

Lecția 6 din 14 Actualizată 29 iulie 2026 Avansat
Pe această pagină
  1. Numărați tokenii înainte de expediere
  2. Endpoint-ul /v1/tokenize-text
  3. Instrumentul vizual din consolă
  4. Unde să plasați numărarea într-un pipeline
  5. Instrumente integrate, o linie de cost separată
  6. Puncte cheie

Numărați tokenii înainte de expediere

Înainte de fiecare apel API serios, se pun trei întrebări: Încadrează promptul dumneavoastră în fereastra de context? Cât va costa? Unde tăiați dacă documentul este prea lung? Răspunsul la aceste întrebări după expediere—când vedeți o eroare sau primiți factura—costă întotdeauna mai mult decât anticiparea lor. API-ul Grok oferă exact instrumentul necesar: un endpoint de tokenizare, gratuit și decuplat de generarea de răspunsuri.

Endpoint-ul /v1/tokenize-text

POST /v1/tokenize-text primește text brut și returnează numărul corespunzător de tokeni. Caracteristica cheie se rezumă la o singură frază: spre deosebire de un apel de completare, acest endpoint nu consumă tokeni facturați. El numără; nu generează.

curl -X POST "https://api.x.ai/v1/tokenize-text" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Your text to tokenize here."
  }'

Răspunsul vă oferă numărul total de tokeni și, în funcție de versiune, detalierea tokenilor individuali. Din aceasta decurg direct trei utilizări. În primul rând, validarea: verificați dacă suma dintre promptul de sistem, istoric și mesajul utilizatorului se încadrează în fereastra modelului țintă—1 milion de tokeni pentru grok-4.3 și 500.000 pentru grok-4.5. În al doilea rând, estimarea costului: numărul rezultat, înmulțit cu tariful modelului, vă oferă prețul cererii înainte de a vă angaja. În final, trunchierea: pentru un document supradimensionat, tokenizarea vă arată unde să tăiați corect, în loc să lăsați API-ul să respingă totul.

Instrumentul vizual din consolă

Pentru prototipare, xAI oferă un tokenizator vizual în consola sa web, unde lipiți textul și îi vedeți imediat descompunerea. Este un excelent instrument de învățare—folosiți-l cel puțin o dată înainte de a vă concepe șabloanele de prompt.

Veți face acolo trei observații utile. Limba franceză produce semnificativ mai mulți tokeni decât engleza pentru un conținut semantic identic, ceea ce impactează direct costul unei aplicații în limba franceză. Codul sursă este divizat după o logică diferită de cea a textului natural. Iar punctuația sau caracterele speciale ocupă adesea un token întreg, ceea ce explică de ce un JSON verbose costă surprinzător de mult la transmitere.

Unde să plasați numărarea într-un pipeline

Feriți-vă de reflexul de a tokeniza sistematic înainte de fiecare apel: dublați numărul de cereri de rețea și adăugați latență fiecărei interacțiuni, pentru informații pe care le cunoașteți adesea deja. Rezervați numărarea exactă pentru cazurile în care incertitudinea este reală.

Pentru restul, o estimare este suficientă. Numărați aproximativ 1,5 tokeni per cuvânt în franceză, circa 0,3 tokeni per caracter de cod și între 256 și 1.792 de tokeni per imagine, în funcție de dimensiunea acesteia. Aceste ordine de mărime, aplicate lato-client, vă permit să respingeți local un prompt manifest în afara limitelor, fără a consuma un apel.

Rezervați dunque endpoint-ul pentru trei situații: prompturi a căror dimensiune variază larg, tipic documente furnizate de utilizatori sau extrase recuperate de un sistem RAG; calibrarea inițială a șabloanelor dumneavoastră, când stabiliți o dată pentru totdeauna bugetul de tokeni pentru fiecare bloc de construcție; și depanarea, când apare o eroare de depășire a contextului și trebuie să identificați elementul care a cauzat umflarea.

Instrumente integrate, o linie de cost separată

Tokenii nu sunt singura sursă de cost. Instrumentele integrate ale API-ului sunt facturate per apel, independent de volumul de text schimbat.

InstrumentTarif
Web Search5 $ per 1.000 de apeluri
X Search5 $ per 1.000 de apeluri
Code Execution5 $ per 1.000 de apeluri
File Attachments10 $ per 1.000 de apeluri
Collections Search2,50 $ per 1.000 de apeluri

Faceți calculele pe propriul trafic înainte de a generaliza un instrument. O aplicație care declanșează o căutare web la fiecare cerere plătește 5 $ per o mie de interacțiuni doar pentru instrument, ceea ce depășește frecvent costul tokenilor consumați în aceeași perioadă. Căutarea web nu este superfluă, dar ar trebui declanșată condiționat, nu implicit.

Puncte cheie

  • Endpoint-ul POST /v1/tokenize-text vă permite să numărați tokenii fără facturare
  • Consola web de tokenizare este utilă pentru prototipare și înțelegerea tokenizatorului
  • Nu apelați endpoint-ul de tokenizare la fiecare cerere în producție: folosiți estimări
  • Instrumentele integrate (Web Search, Code Execution etc.) au costuri suplimentare per apel
  • Limba franceză consumă în medie aproximativ 1,5 tokeni per cuvânt