Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

It-Tokenizzazzjoni: Kif il-Mudell Jara l-Prompt Tiegħek

Lezzjoni 3 / 16 Aġġornat 28 ta’ Lulju 2026 Zviluppatur
F'din il-paġna
  1. It-Tokenizzazzjoni: Kif il-Mudell Jara l-Prompt Tiegħek
  2. X’inhu Token?
  3. L-Impatt tal-Lingwa fuq l-Ispejjeż
  4. Tliet Nawfragli Għaljin
  5. L-Ottimizzazzjoni tal-Prompts Tiegħek
  6. Kalkolu tal-Ispejjeż
  7. Punti Ewlenin

It-Tokenizzazzjoni: Kif il-Mudell Jara l-Prompt Tiegħek

Il-mudell ma jaqrax it-test; jipproċessa t-tokens. Din id-distinzjoni mhix akkademika. Hija tiddetermina kemm tħallas, kemm jidħol fil-tieqa tal-kuntest (context window) tiegħek, u xi kultant għaliex il-mudell jitfixkel fuq kelma li ħsibt li kienet trivjali. Li tifhem it-tokenizzazzjoni jagħtik tliet lievi konkreti għall-applikazzjoni tiegħek: li tottimizza l-prompts tiegħek, li tikkontrolla l-ispejjeż tiegħek, u li tispjega mġiba li tidher inspiegabbli meta taħseb f’termini ta’ kliem.

X’inhu Token?

Token huwa l-unità bażika li l-mudell jimmanipula. Mhuwiex kelma u lanqas karattru, iżda framment ta’ test prodott minn algoritmu ta’ kodifika msejjaħ BPE (Byte Pair Encoding), li jgħaqqad b’mod iterattiv l-aktar sekwenzi frekwenti ta’ karattri fil-korpustat-taħriġ. Medjament, token wieħed jirrappreżenta madwar 4 karattri bl-Ingliż, iżda din il-proporzjon tvarja ħafna skont il-lingwa. L-iskript ta’ hawn taħt juri dan b’sentenza bl-Ingliż u l-ekwivalenti Franċiż tagħha, u juri s-separazzjoni attwali. Li tara t-tokenizer jaqsam “aujourd’hui” (llum) jiswiew aktar minn kwalunkwe spjegazzjoni teoretika.

import tiktoken

# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")

texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"

tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)

print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")

# Visualize the split
for t in tokens_fr:
    print(f"  Token {t}: '{enc.decode([t])}'")

L-Impatt tal-Lingwa fuq l-Ispejjeż

Il-Franċiż jikkonsma medjament bejn 20% u 30% aktar tokens mill-Ingliż biex jesprimi l-istess idea. Dan iseħħ għax il-Franċiż huwa inqas rappreżentat fil-korpustat-taħriġ tat-tokenizer, allura l-kliem tiegħu jinqasam aktar spiss. L-ewwel konsegwenza hija finanzjarja: tħallas għal kull token tad-dħul u tal-ħruġ, allura bażi ta’ għarfien bil-Franċiż tiswiew mekkanikament aktar mit-traduzzjoni Ingliża tagħha għal kontenut identiku. It-tieni konsegwenza taffettwa t-tieqa tal-kuntest, li timtela aktar malajr b’dokumenti bil-Franċiż—storja ta’ konversazzjoni li żammet tletin skambju bl-Ingliż tista’ żżomm biss erbgħa u għoxrin bil-Franċiż. It-tielet hija l-latency: peress li kull token tal-ħruġ jiġi ġġenerat b’mod sekwenzjali, tweġiba bil-Franċiż tieħu aktar żmien biex tidher minn tweġiba bl-Ingliż b’kontenut ekwivalenti.

~4
Characters per token (EN)
~3
Characters per token (FR)
$2.50
Input GPT-5.6 Terra (per MTok)
200K
BPE o200k Encoding

Tliet Nawfragli Għaljin

Il-kliem rari u n-neoloġiżmi jinsabu fuq quddiem fil-lista. Peress li jidhru rarament fil-korpustat-taħriġ, dawn jinqasmu f’sub-tokens, li jista’ jnaqqas il-fehim tal-mudell. Dan japplika speċjalment għar-referenzi interni tal-prodott tiegħek u l-ismijiet tal-kodiċi magħmula fid-dar li t-tokenizer qatt ma ra:

# "Anticonstitutionnellement" (Unconstitutionally) will be split into multiple tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
    print(f"  '{enc.decode([t])}'")

Il-JSON u l-kodiċi strutturat fihom sorpriża simili. Il-braces, il-brackets u l-kwotazzjonijiet kull wieħed jikkonsma token, li jfisser li JSON b’indentazzjoni jiswiew ferm aktar mill-verżjoni mminimizzata tiegħu. F’prompt few-shot li jġorr diversi eżempji ta’ payload, ma tħallasx din id-differenza darba biss; tħallasha f’kull sejħa, il-ġurnata kollha.

json_verbose = '''{
    "nom": "Dupont",
    "prenom": "Jean",
    "age": 42
}'''

json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'

print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")

L-aktar nawfraġju sottili huwa l-iffurmatjar innifsu: l-ispazji ta’ quddiem, il-linji vojta u l-indentazzjoni kollha jgħoddu. Prompt tas-sistema allinjat bir-reqqa għal-leġġibbiltà tat-tim jiswiew aktar, għal kontenut strettament identiku, minn prompt kompatt. Din mhix raġuni biex tikteb kodiċi illegġibbli, iżda hija raġuni biex tagħmel dak il-kompromess b’mod konxju.

L-Ottimizzazzjoni tal-Prompts Tiegħek

Ir-regola tad-deheb hija li tkejjel qabel ma tottimizza: tiktoken jagħtik il-għadd eżatt, filwaqt li l-intuwizzjoni spiss tiżbalja b’fattur ta’ tnejn. Ladarba tkun kejilt, ippreferi struzzjonijiet konċiżi. “Respond in JSON” tgħid eżattament dak li tgħid “I would like you to respond using the JSON format”, għal terz tat-tokens. Fil-blokok tal-kuntest, l-abbrevjazzjonijiet jaħdmu tajjeb: il-mudell jinterpreta “Q:” u “A:” bl-istess affidabbiltà bħal “Question:” u “Answer:”. Fl-aħħar nett, ikkompressa l-kuntest tan-negozju billi tagħmel sommarju ta’ dokumenti twal minn qabel, minflok ma tikkopja għaxar paġni ta’ dokumentazzjoni f’kull talba meta għandek bżonn paragrafu wieħed biss.

Kalkolu tal-Ispejjeż

def estimate_cost(prompt: str, estimated_response: int = 500,
                 model: str = "gpt-5.6-terra") -> dict:
    """Estimates the cost of an API call."""
    enc = tiktoken.get_encoding("o200k_base")
    tokens_in = len(enc.encode(prompt))

    # GPT-5.6 Terra pricing, July 2026 (verify current rates)
    price_input = 2.50 / 1_000_000   # per token
    price_output = 15.00 / 1_000_000  # per token

    cost = (tokens_in * price_input) + (estimated_response * price_output)

    return {
        "tokens_input": tokens_in,
        "tokens_output_estimated": estimated_response,
        "estimated_cost_usd": round(cost, 6)
    }

Din il-funzjoni malajr issir utilità tal-proġett: qabbadha mal-prompts tiegħek qabel id-distribuzzjoni, u tgħidlek kemm se jiswiew ġurnata ta’ traffiku waqt li għad hemm żmien biex taġixxi. Estendi dan b’eżerċizzju li jipprova li huwa aktar istruttiv milli jidher. Installa tiktoken (pip install tiktoken), ittokenizza l-aktar prompt tas-sistema kumpless tiegħek, u identifika s-segmenti l-aktar għaljin—kważi dejjem l-eżempji few-shot u l-blokok JSON. Imbagħad iktebha mill-ġdid bil-għan li tnaqqas 20% tat-tokens mingħajr ma titlef biċċa waħda ta’ informazzjoni. Matul it-triq, se tiskopri kemm-il sentenza fil-prompt tiegħek kienet hemm biss biex tittranquillizza lilek innifsek.

Rati sal-5 ta’ Awwissu 2026 — il-prezzijiet jinbidlu regolarment. Qabel ma tibbaġitja, ivverifika l-karta tal-prezzijiet attwali fuq il-paġna uffiċjali tal-prezzijiet ta’ OpenAI.

Punti Ewlenin

  • Token mhuwiex kelma; huwa framment mill-BPE
  • Il-Franċiż jiswiew 20–30% aktar tokens mill-Ingliż
  • Kejjel sistematikament il-prompts tiegħek b’tiktoken
  • Ottimizza l-JSON u l-iffurmatjar biex tnaqqas l-ispejjeż
  • It-tieqa tal-kuntest titkejjel f’tokens, mhux f’kliem