Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Tokenú: Conas a Fheiceann an Múnla do Leid

Ceacht 3 as 16 Nuashonraithe 28 Iúil 2026 Forbróir
Ar an leathanach seo
  1. Tokenú: Conas a Fheiceann an Múnla do Leid
  2. Cad é Token?
  3. Tionchar na Teanga ar Chostas
  4. Trí Phitfall Costasach
  5. Do Leideanna a Bharrfheabhsú
  6. Ríomh Costais
  7. Príomhphointí

Tokenú: Conas a Fheiceann an Múnla do Leid

Ní léann an múnla téacs; déanann sé próiseáil ar thokenanna. Ní difríocht acadúil í seo. Cinneann sí cé mhéad a íocann tú, cé mhéad a oireann i d’fhuinneog chomhthéacs, agus uaireanta cén fáth a dtuiteann an múnla thar fhocal a shíl tú a bheith suarach. Tugann tuiscint ar thokenú trí ghiuirléid chruinne duit do d’fheidhmchlár: do leideanna a bharrfheabhsú, do chostais a rialú, agus iompraíochtaí a mhíniú a bhíonn dodhéanta nuair a smaoiníonn tú i bhfocail.

Cad é Token?

Is é an token an t-aonad bunúsach a láimhseálann an múnla. Ní focal ná carachtar é, ach blúire téacs a tháirgeann algartam ionchódaithe ar a dtugtar BPE (Byte Pair Encoding), a chumaiscíonn na seichimh charachtar is minice sa chorpas oiliúna go hiteráideach. Ar an meán, léiríonn token amháin thart ar 4 charachtar i mBéarla, ach athraíonn an cóimheas seo go mór de réir teanga. Taispeánann an script thíos é seo le habairt Bhéarla agus a coibhéis Fhraincise, ag taispeáint an scoilteadh iarbhír. Is fiú níos mó ná aon mhíniú teoiriciúil é an tokenizer a fheiceáil ag gearradh “aujourd’hui” (inniu).

import tiktoken

# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")

texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"

tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)

print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")

# Visualize the split
for t in tokens_fr:
    print(f"  Token {t}: '{enc.decode([t])}'")

Tionchar na Teanga ar Chostas

Úsáideann an Fhraincis 20% go 30% níos mó tokenanna ar an meán ná an Béarla chun an smaoineamh céanna a chur in iúl. Tarlaíonn sé seo toisc go bhfuil an Fhraincis níos lú ionadaíochta i gcorpas oiliúna an tokenizer, mar sin scoiltear a focail níos minice. Is é an chéad iarmhairt ná airgeadais: íocann tú in aghaidh gach token ionchuir agus aschuir, mar sin costóidh bonn eolais sa Fhraincis go meicniúil níos mó ná a aistriúchán Béarla don ábhar céanna. Baineann an dara hiarmhairt leis an bhfuinneog chomhthéacs, a líonann suas níos tapúla le doiciméid Fhraincise—d’fhéadfadh stair chomhrá a choinnigh tríocha malartú sa Bhéarla gan ach fiche ceathair a choinneáil sa Fhraincis. Is é an tríú ceann ná moill: ós rud é go ngintear gach token aschuir go seicheamhach, tógann freagra Fraincise níos faide le taispeáint ná freagra Béarla d’ábhar comhionann.

~4
Characters per token (EN)
~3
Characters per token (FR)
$2.50
Input GPT-5.6 Terra (per MTok)
200K
BPE o200k Encoding

Trí Phitfall Costasach

Tá focail neamhchoitianta agus neolaíochtaí ar bharr an liosta. Toisc go mbíonn siad le feiceáil go hannamh sa chorpas oiliúna, scoiltear iad ina bhfo-thokenanna, rud a fhéadann cur isteach ar thuiscint an mhúnla. Baineann sé seo go háirithe le do thagairtí inmheánacha táirge agus le hainmneacha cód baile nach bhfaca an tokenizer riamh:

# "Anticonstitutionnellement" (Unconstitutionally) will be split into multiple tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
    print(f"  '{enc.decode([t])}'")

Tá iontas cosúil le fáil i JSON agus i gcód struchtúrtha. Úsáideann lúibíní cúacha, lúibíní cearnacha, agus comharthaí luachana token gach ceann, rud a chiallaíonn go gcostaíonn JSON eangaithe go suntasach níos mó ná a leagan mionaithe. I leid few-shot a iompraíonn roinnt samplaí íoctha, ní íocann tú an difríocht seo uair amháin; íocann tú é ar gach glao, fad an lae.

json_verbose = '''{
    "nom": "Dupont",
    "prenom": "Jean",
    "age": 42
}'''

json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'

print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")

Is é an pitfall is subtle ná an formáidiú féin: comhaireamh spásanna tosaigh, línte bána, agus eangú. Costóidh leid córais atá ailínithe go cúramach le haghaidh inléiteachta foirne níos mó, d’ábhar atá go hiomlán comhionann, ná leid compact. Ní cúis é seo chun cód neamh-inléite a scríobh, ach is cúis é chun an malartú sin a dhéanamh go feasach.

Do Leideanna a Bharrfheabhsú

Is é an riail órga ná tomhas a dhéanamh sula ndéanann tú barrfheabhsú: tugann tiktoken an comhaireamh cruinn duit, cé go mbíonn an intinn mícheart go minic faoi fhachtóir de dhó. Nuair a bheidh tomhas déanta agat, roghnaigh treoracha gonta. Deir “Respond in JSON” díreach an rud céanna le “I would like you to respond using the JSON format”, ar thríú cuid na tokenanna. I mbloic chomhthéacs, oibríonn giorrúcháin go maith: léirmhíníonn an múnla “Q:” agus “A:” chomh hiontaofa le “Question:” agus “Answer:”. Ar deireadh, comhbhrúigh comhthéacs gnó trí dhoiciméid fhada a achoimriú suas sruth, seachas deich leathanach doiciméadaithe a chóipeáil isteach i ngach iarratas nuair nach bhfuil uait ach mír amháin.

Ríomh Costais

def estimate_cost(prompt: str, estimated_response: int = 500,
                 model: str = "gpt-5.6-terra") -> dict:
    """Estimates the cost of an API call."""
    enc = tiktoken.get_encoding("o200k_base")
    tokens_in = len(enc.encode(prompt))

    # GPT-5.6 Terra pricing, July 2026 (verify current rates)
    price_input = 2.50 / 1_000_000   # per token
    price_output = 15.00 / 1_000_000  # per token

    cost = (tokens_in * price_input) + (estimated_response * price_output)

    return {
        "tokens_input": tokens_in,
        "tokens_output_estimated": estimated_response,
        "estimated_cost_usd": round(cost, 6)
    }

Éiríonn an fheidhm seo go tapa ina fóntais tionscadail: ceangail í le do leideanna roimh imlonnú, agus inseoidh sí duit cé mhéad a chostóidh lá tráchta agus tá am fós agat gníomhú. Leathnaigh é seo le cleachtadh a chruthaíonn go bhfuil sé níos oideachasúla ná mar a bhreathnaíonn sé. Suiteáil tiktoken (pip install tiktoken), tokenú do leid córais is casta, agus aithin na codanna is costasaí—beagnach i gcónaí na samplaí few-shot agus na bloic JSON. Ansin athscríobh é ag díriú ar 20% níos lú tokenanna gan aon píosa eolais a chailleadh. Faighidh tú amach ar an mbealach cé mhéad sentence i do leid a bhí ann ach chun tú féin a mhuiníniú.

Rátaí ón 5 Lúnasa, 2026 — athraíonn praghsanna go rialta. Sula ndéanann tú buiséadú, fíoraigh an cárta rátaí reatha ar an leathanach praghsála oifigiúil OpenAI.

Príomhphointí

  • Ní focal é token; is blúire ó BPE é
  • Costóidh an Fhraincis 20–30% níos mó tokenanna ná an Béarla
  • Tomhais do leideanna go córasach le tiktoken
  • Barrfheabhsaigh JSON agus formáidiú chun costais a laghdú
  • Tomhaistear an fhuinneog chomhthéacs i tokenanna, ní i bhfocail