Τοκενοποίηση: Κατανοώντας πώς το μοντέλο βλέπει το prompt σας
Σε αυτήν τη σελίδα
Τοκενοποίηση: Κατανοώντας πώς το μοντέλο βλέπει το prompt σας
Το μοντέλο δεν διαβάζει κείμενο· επεξεργάζεται tokens. Αυτή η διάκριση δεν είναι ακαδημαϊκή. Καθορίζει πόσα πληρώνετε, πόσα χωρούν στο παράθυρο συμφραζομένων (context window) σας και, μερικές φορές, γιατί το μοντέλο δυσκολεύεται με μια λέξη που θεωρούσατε ασήμαντη. Η κατανόηση της τοκενοποίησης σας προσφέρει τρεις συγκεκριμένους μοχλούς για την εφαρμογή σας: βελτιστοποίηση των prompts σας, έλεγχος του κόστους και εξήγηση συμπεριφορών που φαίνονται ανεξήγητες όταν σκέφτεστε με λέξεις.
Τι είναι ένα Token;
Ένα token είναι η βασική μονάδα που χειρίζεται το μοντέλο. Δεν είναι ούτε λέξη ούτε χαρακτήρας, αλλά ένα τμήμα κειμένου που παράγεται από έναν αλγόριθμο κωδικοποίησης που ονομάζεται BPE (Byte Pair Encoding), ο οποίος συγχωνεύει επαναληπτικά τις πιο συχνές ακολουθίες χαρακτήρων στο corpus εκπαίδευσης. Κατά μέσο όρο, ένα token αντιπροσωπεύει περίπου 4 χαρακτήρες στα Αγγλικά, αλλά αυτή η αναλογία ποικίλλει σημαντικά ανάλογα με τη γλώσσα. Το παρακάτω σενάριο το δείχνουν με μια αγγλική πρόταση και το γαλλικό της ισοδύναμο, δείχνοντας τον πραγματικό διαχωρισμό. Το να δείτε τον tokenizer να κόβει το “aujourd’hui” (σήμερα) αξίζει περισσότερο από οποιαδήποτε θεωρητική εξήγηση.
import tiktoken
# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")
texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"
tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)
print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")
# Visualize the split
for t in tokens_fr:
print(f" Token {t}: '{enc.decode([t])}'")
Ο αντίκτυπος της γλώσσας στο κόστος
Τα Γαλλικά καταναλώνουν κατά μέσο όρο 20% έως 30% περισσότερα tokens από τα Αγγλικά για να εκφράσουν την ίδια ιδέα. Αυτό συμβαίνει επειδή τα Γαλλικά αντιπροσωπεύονται λιγότερο στο corpus εκπαίδευσης του tokenizer, οπότε οι λέξεις τους διαχωρίζονται συχνότερα. Η πρώτη συνέπεια είναι οικονομική: πληρώνετε ανά token εισόδου και εξόδου, επομένως μια βάση γνώσεων στα Γαλλικά κοστίζει μηχανικά περισσότερο από την αγγλική της μετάφραση για πανομοιότυπο περιεχόμενο. Η δεύτερη συνέπεια αφορά το παράθυρο συμφραζομένων, το οποίο γεμίζει γρηγορότερα με έγγραφα στα Γαλλικά· ένα ιστορικό συνομιλίας που χωρούσε τριάντα ανταλλαγές στα Αγγλικά, μπορεί να χωρέσει μόνο είκοσι τέσσερις στα Γαλλικά. Η τρίτη είναι η καθυστέρηση (latency): καθώς κάθε token εξόδου παράγεται διαδοχικά, μια απάντηση στα Γαλλικά χρειάζεται περισσότερο χρόνο για να εμφανιστεί από μια απάντηση στα Αγγλικά ισοδύναμου περιεχομένου.
Τρεις δαπανηρές παγίδες
Οι σπάνιες λέξεις και οι νεολογισμοί βρίσκονται στην κορυφή της λίστας. Επειδή εμφανίζονται σπάνια στο corpus εκπαίδευσης, διαχωρίζονται σε υπο-tokens, κάτι που μπορεί να υποβαθμίσει την κατανόηση του μοντέλου. Αυτό ισχύει ιδιαίτερα για τις εσωτερικές αναφορές των προϊόντων σας και τα ονόματα κώδικα που δημιουργήσατε εσείς και που ο tokenizer δεν έχει ξαναδεί:
# "Anticonstitutionnellement" (Αντισυνταγματικά) θα διαχωριστεί σε πολλαπλά tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
print(f" '{enc.decode([t])}'")
Το JSON και ο δομημένος κώδικας κρύβουν μια παρόμοια έκπληξη. Οι αγκύλες, οι παρενθέσεις και τα εισαγωγικά καταναλώνουν το καθένα ένα token, πράγμα που σημαίνει ότι το JSON με εσοχές κοστίζει σημαντικά περισσότερο από την ελαχιστοποιημένη (minified) έκδοσή του. Σε ένα few-shot prompt που μεταφέρει πολλά παραδείγματα payload, δεν πληρώνετε αυτή τη διαφορά μία φορά· την πληρώνετε σε κάθε κλήση, όλη μέρα.
json_verbose = '''{
"nom": "Dupont",
"prenom": "Jean",
"age": 42
}'''
json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'
print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")
Η πιο λεπτή παγίδα είναι η ίδια η μορφοποίηση: οι αρχικοί χώροι, οι κενές γραμμές και οι εσοχές μετρούν όλα. Ένα system prompt προσεκτικά ευθυγραμμισμένο για αναγνωσιμότητα από την ομάδα κοστίζει περισσότερο, για αυστηρά πανομοιότυπο περιεχόμενο, από ένα συμπαγές prompt. Αυτό δεν είναι λόγος να γράφετε δυσανάγνωστο κώδικα, αλλά είναι λόγος να κάνετε αυτή την ανταλλαγή εν γνώσει σας.
Βελτιστοποίηση των Prompts σας
Ο χρυσός κανόνας είναι να μετράτε πριν βελτιστοποιήσετε: το tiktoken σας δίνει τον ακριβή αριθμό, ενώ η διαίσθηση συχνά πέφτει έξω κατά συντελεστή δύο. Αφού μετρήσετε, προτιμήστε συνοπτικές οδηγίες. Το “Respond in JSON” λέει ακριβώς ό,τι λέει το “I would like you to respond using the JSON format”, με το ένα τρίτο των tokens. Στα μπλοκ συμφραζομένων, οι συντομογραφίες λειτουργούν καλά: το μοντέλο ερμηνεύει τα “Q:” και “A:” εξίσου αξιόπιστα με τα “Question:” και “Answer:”. Τέλος, συμπιέστε το επιχειρηματικό πλαίσιο συνοψίζοντας μακροσκελή έγγραφα εκ των προτέρων, αντί να αντιγράφετε δέκα σελίδες τεκμηρίωσης σε κάθε αίτημα όταν χρειάζεστε μόνο μία παράγραφο.
Υπολογισμός Κόστους
def estimate_cost(prompt: str, estimated_response: int = 500,
model: str = "gpt-5.6-terra") -> dict:
"""Estimates the cost of an API call."""
enc = tiktoken.get_encoding("o200k_base")
tokens_in = len(enc.encode(prompt))
# GPT-5.6 Terra pricing, July 2026 (verify current rates)
price_input = 2.50 / 1_000_000 # per token
price_output = 15.00 / 1_000_000 # per token
cost = (tokens_in * price_input) + (estimated_response * price_output)
return {
"tokens_input": tokens_in,
"tokens_output_estimated": estimated_response,
"estimated_cost_usd": round(cost, 6)
}
Αυτή η συνάρτηση γίνεται γρήγορα ένα χρήσιμο εργαλείο για το έργο σας: συνδέστε την με τα prompts σας πριν την ανάπτυξη και θα σας πει πόσο θα κοστίζει μια μέρα κίνησης ενώ υπάρχει ακόμα χρόνος να δράσετε. Επεκτείνετε το με μια άσκηση που αποδεικνύεται πιο διδακτική από ό,τι φαίνεται. Εγκαταστήστε το tiktoken (pip install tiktoken), τοκενοποιήστε το πιο πολύπλοκο system prompt σας και εντοπίστε τα πιο ακριβά τμήματα—σχεδόν πάντα τα παραδείγματα few-shot και τα μπλοκ JSON. Στη συνέχεια, ξαναγράψτε το στοχεύοντας σε 20% λιγότερα tokens χωρίς να χάσετε ούτε ένα κομμάτι πληροφορίας. Θα ανακαλύψετε στη διαδικασία πόσες προτάσεις στο prompt σας υπήρχαν απλώς για να σας καθησυχάσουν.
Τιμολόγηση της 5ης Αυγούστου 2026 — οι τιμές αλλάζουν τακτικά. Πριν κάνετε τον προϋπολογισμό σας, επαληθεύστε την τρέχουσα τιμολογιακή κάρτα στην επίσημη σελίδα τιμολόγησης του OpenAI.
Βασικά σημεία
- Ένα token δεν είναι λέξη· είναι ένα τμήμα από το BPE
- Τα Γαλλικά κοστίζουν 20–30% περισσότερα tokens από τα Αγγλικά
- Μετράτε συστηματικά τα prompts σας με το tiktoken
- Βελτιστοποιήστε το JSON και τη μορφοποίηση για μείωση του κόστους
- Το παράθυρο συμφραζομένων μετριέται σε tokens, όχι σε λέξεις