Κατηγοριοποίηση κειμένου με ενσωματώσεις
Σε αυτήν τη σελίδα
Στόχοι
- Κατηγοριοποιήστε κείμενο χωρίς να εκπαιδεύσετε μοντέλο
- Υλοποιήστε κατηγοριοποίηση zero-shot και few-shot χρησιμοποιώντας ενσωματώσεις
- Συγκρίνετε τις επιδόσεις με έναν ελαφρύ εποπτευόμενο ταξινομητή
Κατηγοριοποίηση Zero-shot
Η σημασιολογική αναζήτηση εντοπίζει έγγραφα παρόμοια με ένα ερώτημα μεταξύ χιλιάδων υποψηφίων. Η κατηγοριοποίηση αντιστρέφει αυτή τη διάταξη χωρίς να αλλάζει τους υποκείμενους μηχανισμούς: τα «έγγραφά» σας είναι πλέον οι κατηγορίες σας (πέντε ή δέκα), και το «ερώτημα» είναι το κείμενο που θέλετε να κατηγοριοποιήσετε. Η ετικέτα της οποίας η ενσωμάτωση είναι πλησιέστερη γίνεται η πρόβλεψη. Καμία εκπαίδευση, κανένα σχολιασμένο δεδομένο, απλώς μια κλήση API.
Δύο λεπτομέρειες υλοποίησης στον παρακάτω κώδικα αξίζουν προσοχής. Πρώτον, το κείμενο και τα ονόματα των κατηγοριών περνούν σε μια ενιαία κλήση embeddings.create, η οποία μειώνει τον λανθάνοντα χρόνο κατά τον αριθμό των ετικετών. Δεύτερον, η εφαρμογή softmax στα σκορ ομοιότητας μετατρέπει τις ακατέργαστες τιμές (τυπικά από 0,3 έως 0,5) σε πιθανότητες που αθροίζουν στο 1. Μπορείτε να εμφανίσετε αυτές τις πιθανότητες σε έναν χρήστη ή να τις συγκρίνετε με ένα κατώφλι εμπιστοσύνης.
from openai import OpenAI
import numpy as np
client = OpenAI()
def classifier_zero_shot(
texte: str,
categories: list[str],
model: str = "text-embedding-3-large"
) -> dict:
"""Classifies text into categories without training."""
# Embeddings for categories
all_inputs = [texte] + categories
response = client.embeddings.create(
input=all_inputs,
model=model
)
embs = [d.embedding for d in sorted(response.data, key=lambda x: x.index)]
texte_emb = np.array(embs[0])
cat_embs = np.array(embs[1:])
# Similarity with each category
scores = cat_embs @ texte_emb
# Softmax to get probabilities
exp_scores = np.exp(scores - np.max(scores))
probas = exp_scores / exp_scores.sum()
resultats = sorted(
zip(categories, probas),
key=lambda x: x[1], reverse=True
)
return {
"prediction": resultats[0][0],
"confiance": float(resultats[0][1]),
"scores": {cat: float(p) for cat, p in resultats}
}
# Usage
texte = "Le cours de l'action a chuté de 15% après l'annonce"
categories = ["Finance", "Sport", "Technologie", "Politique", "Santé"]
resultat = classifier_zero_shot(texte, categories)
print(f"Prédiction : {resultat['prediction']} "
f"({resultat['confiance']:.1%})")
print("Scores :", resultat["scores"])
Σε αυτό το παράδειγμα, η φράση «η τιμή της μετοχής έπεσε 15% μετά την ανακοίνωση» καταλήγει αναμενόμενα στα Οικονομικά. Η προσέγγιση αυτή προσκρούει σε ένα όριο όταν οι κατηγορίες είναι εσωτερικές ετικέτες των οποίων τα ονόματα δεν αποκαλύπτουν τίποτα για το περιεχόμενό τους. Μια ετικέτα όπως «P1» ή «κλιμάκωση επιπέδου 2» δεν φέρει κανένα εκμεταλλεύσιμο σημασιολογικό νόημα, καθιστώντας την κατηγοριοποίηση ουσιαστικά τυχαία.
Κατηγοριοποίηση Few-shot
Αυτό ακριβώς διορθώνει η κατηγοριοποίηση few-shot. Αντί να αναπαριστάτε μια κατηγορία με το όνομά της, την αναπαριστάτε με το κεντροειδές μερικών πραγματικών παραδειγμάτων. Η κατηγορία «σφάλμα» δεν είναι πλέον η λέξη «σφάλμα», αλλά ο μέσος όρος των ενσωματώσεων για «η εφαρμογή καταρρέει κατά την εκκίνηση», «σφάλμα 500 στη σελίδα σύνδεσης» και «το κουμπί δεν λειτουργεί στο κινητό». Τρία έως πέντε παραδείγματα ανά κλάση είναι συνήθως αρκετά, και το κόστος παραμένει αυτό μιας ενιαίας κλήσης API καθώς όλα τα κείμενα αποστέλλονται μαζί.
def classifier_few_shot(
texte: str,
exemples: dict[str, list[str]],
model: str = "text-embedding-3-large"
) -> dict:
"""Classifies by similarity to labeled examples.
Args:
exemples: {"category": ["example1", "example2", ...]}
"""
# Prepare all texts
tous_textes = [texte]
mapping = []
for cat, txts in exemples.items():
for t in txts:
tous_textes.append(t)
mapping.append(cat)
# Embeddings in a single call
response = client.embeddings.create(
input=tous_textes, model=model
)
embs = [d.embedding for d in sorted(response.data, key=lambda x: x.index)]
texte_emb = np.array(embs[0])
# Average embeddings per category
cat_embeddings = {}
for i, cat in enumerate(mapping):
emb = np.array(embs[i + 1])
if cat not in cat_embeddings:
cat_embeddings[cat] = []
cat_embeddings[cat].append(emb)
cat_moyennes = {
cat: np.mean(embs_list, axis=0)
for cat, embs_list in cat_embeddings.items()
}
# Similarity
scores = {
cat: float(np.dot(texte_emb, emb_moy) /
(np.linalg.norm(texte_emb) * np.linalg.norm(emb_moy)))
for cat, emb_moy in cat_moyennes.items()
}
prediction = max(scores, key=scores.get)
return {"prediction": prediction, "scores": scores}
# Usage
exemples = {
"bug": [
"L'application crash au démarrage",
"Erreur 500 sur la page de connexion",
"Le bouton ne fonctionne pas sur mobile",
],
"feature": [
"Pourriez-vous ajouter un mode sombre ?",
"Il serait utile d'exporter en PDF",
"Suggestion : intégrer un calendrier",
],
"question": [
"Comment changer mon mot de passe ?",
"Où trouver les paramètres de notification ?",
"Quelle est la limite de stockage ?",
],
}
texte = "L'export CSV ne contient pas toutes les colonnes"
resultat = classifier_few_shot(texte, exemples)
print(f"Catégorie : {resultat['prediction']}")
Το δοκιμαστικό αίτημα —«η εξαγωγή CSV λείπει στήλες»— δεν περιέχει ούτε τη λέξη «σφάλμα» ούτε «λάθος», αλλά μοιάζει με τα τρία παραδείγματα δυσλειτουργίας που παρέχθηκαν, οπότε εκεί καταλήγει. Σημειώστε ότι ο μέσος όρος των ενσωματώσεων προϋποθέτει μια ομοιογενή κατηγορία. Εάν τα παραδείγματα «ερώτησης» σας αναμειγνύουν ερωτήματα χρέωσης με ερωτήσεις API, το κεντροειδές τους θα πέσει σε σημασιολογική ουδετερότητα. Σε αυτή την περίπτωση, είναι καλύτερο να διαχωρίσετε την κατηγορία.
Ελαφρύς εποπτευόμενος ταξινομητής
Όταν έχετε αρκετές δεκάδες παραδείγματα ανά κλάση, ο μέσος όρος γίνεται σπατάλη πληροφοριών: ισοπεδώνει το σχήμα του νέφους σημείων. Ένας γραμμικός ταξινομητής εκπαιδευμένος στις ίδιες ενσωματώσεις μαθαίνει αντ’ αυτού ένα όριο απόφασης. Η ενσωμάτωση χειρίζεται την κατανόηση της γλώσσας, ενώ η LogisticRegression απλώς σχεδιάζει μια γεωμετρική γραμμή σε αυτόν τον χώρο. Αυτό έχει ως αποτέλεσμα χρόνους εκπαίδευσης λίγων δευτερολέπτων σε έναν τυπικό CPU, ενώ η λεπτομερής προσαρμογή (fine-tuning) ενός γλωσσικού μοντέλου θα απαιτούσε GPU.
Η διασταυρούμενη επικύρωση πέντε folds δεν είναι απλώς για εντυπωσιασμό. Σας δίνει την τυπική απόκλιση της ακρίβειας, παρέχοντας μια αίσθηση του πόσο αξιόπιστη είναι η εκτίμησή σας. Ένα σκορ 0,91 ± 0,02 είναι usable· το 0,91 ± 0,15 σηματοδοτεί ένα σύνολο δεδομένων που είναι πολύ μικρό ή μη ισορροπημένο.
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
import numpy as np
def entrainer_classifieur(
textes: list[str],
labels: list[str],
model: str = "text-embedding-3-large"
) -> LogisticRegression:
"""Trains a classifier on embeddings."""
# Generate embeddings
response = client.embeddings.create(
input=textes, model=model
)
X = np.array([d.embedding for d in sorted(response.data, key=lambda x: x.index)])
# Train a classifier
clf = LogisticRegression(max_iter=1000)
# Cross-validation
scores = cross_val_score(clf, X, labels, cv=5)
print(f"Accuracy (5-fold CV) : {scores.mean():.3f} ± {scores.std():.3f}")
# Train on the full dataset
clf.fit(X, labels)
return clf
def predire(clf, texte: str, model: str = "text-embedding-3-large") -> str:
"""Predicts the category of a text."""
emb = client.embeddings.create(
input=texte, model=model
).data[0].embedding
return clf.predict([emb])[0]
Σύγκριση προσεγγίσεων
| Προσέγγιση | Απαιτούμενα παραδείγματα | Ακρίβεια | Λανθάνων χρόνος |
|---|---|---|---|
| Zero-shot | 0 | ~70-80% | 1 κλήση API |
| Few-shot (3-5/κλάση) | 15-25 | ~80-90% | 1 κλήση API |
| Εποπτευόμενος (50+/κλάση) | 250+ | ~90-95% | 1 κλήση API + συμπερασμός |
Διαβάζοντας αυτές τις τρεις γραμμές με τη σειρά, περιγράφεται μια εξέλιξη που μπορείτε να ακολουθήσετε σε όλο τον κύκλο ζωής του προϊόντος. Ξεκινήστε με zero-shot την πρώτη ημέρα, χωρίς καθόλου δεδομένα. Μόλις διορθώσετε χειροκίνητα περίπου είκοσι προβλέψεις, επαναχρησιμοποιήστε τες ως παραδείγματα few-shot. Όταν ο όγκος σχολιασμού ξεπεράσει τα πενήντα ανά κλάση, εκπαιδεύστε τον εποπτευόμενο ταξινομητή. Λάβετε υπόψη ότι η γραμμή «λανθάνων χρόνος» σας υπενθυμίζει ότι ακόμη και το εποπτευόμενο μοντέλο παραμένει γρήγορο· ο τοπικός συμπερασμός προσθέτει αμελητέο επιπλέον κόστος σε σύγκριση με την κλήση API ενσωμάτωσης.
Βασικά σημεία
- Η κατηγοριοποίηση Zero-shot συγκρίνει το κείμενο με ετικέτες μέσω ενσωματώσεων
- Το Few-shot χρησιμοποιεί παραδείγματα για να ορίσει κάθε κατηγορία
- Ένας εποπτευόμενος ταξινομητής (LogisticRegression) επιτυγχάνει την καλύτερη απόδοση
- Ξεκινήστε με zero-shot και στη συνέχεια προσθέστε παραδείγματα εάν η ακρίβεια είναι ανεπαρκής