Προσωποποιημένες Συστάσεις
Σε αυτήν τη σελίδα
Στόχοι
- Δημιουργία ενός συστήματος συστάσεων βασισμένου σε ενσωματώσεις (embeddings)
- Υλοποίηση συστάσεων βάσει περιεχομένου και βάσει χρήστη
- Διαχείριση του προβλήματος της «ψυχρής εκκίνησης» (cold start) και της ποικιλομορφίας
Η Αρχή: Ομοιότητα Ισοδυναμεί με Σύσταση
Μια κλασική μηχανή συστάσεων παρατηρεί τη συμπεριφορά: «Τα άτομα που διάβασαν αυτό το άρθρο, διάβασαν και εκείνο». Χρειάζεται μεγάλη κίνηση πριν μπορέσει να πει κάτι χρήσιμο—αυτό είναι το πρόβλημα της ψυχρής εκκίνησης, το οποίο πλήττει τόσο τους νέους καταλόγους όσο και τα άρθρα που δημοσιεύθηκαν σήμερα το πρωί.
Η προσέγγιση με ενσωματώσεις παρακάμπτει αυτή την αναμονή. Εάν ένας χρήστης liked ένα άρθρο, του προτείνετε αυτά με τις πλησιέστερες ενσωματώσεις. Πρόκειται για σύσταση βάσει περιεχομένου: βασίζεται στο περιεχόμενο, όχι στη συμπεριφορά άλλων χρηστών. Ένα άρθρο που δημοσιεύθηκε πριν από δέκα λεπτά, το οποίο κανένας αναγνώστης δεν έχει ανοίξει ακόμα, διαθέτει ήδη μια ενσωμάτωση και γίνεται άμεσα προτεινόμενο.
Σύσταση Βάσει Περιεχομένου
Ο παρακάτω κατάλογος αναμειγνύει σκόπιμα δύο κόσμους—τη μηχανική μάθηση από τη μία και τη μηχανική λογισμικού από την άλλη—ώστε τα αποτελέσματα να είναι επαληθεύσιμα. Κάθε άρθρο κωδικοποιείται συνενώνοντας τον τίτλο και το περιεχόμενό του: ο τίτλος αποτυπώνει το θέμα συνοπτικά, το περιεχόμενο παρέχει το λεξιλόγιο, και η χρήση του ενός χωρίς το άλλο υποβαθμίζει την ποιότητα των γειτόνων που βρίσκονται.
Το κόλπο βρίσκεται στη γραμμή scores[idx] = -1. Χωρίς αυτήν, το άρθρο που είναι πιο όμοιο με ένα άρθρο θα ήταν πάντα το ίδιο, με βαθμολογία 1.0—και θα προτείνατε σε έναν αναγνώστη αυτό που μόλις τελείωσε.
from openai import OpenAI
import numpy as np
client = OpenAI()
# Article catalog
articles = [
{"id": "a1", "titre": "Introduction au machine learning",
"contenu": "Le ML permet aux machines d'apprendre à partir de données..."},
{"id": "a2", "titre": "Deep learning avec PyTorch",
"contenu": "PyTorch est un framework de deep learning flexible..."},
{"id": "a3", "titre": "Déployer une API REST avec FastAPI",
"contenu": "FastAPI est un framework Python pour créer des APIs..."},
{"id": "a4", "titre": "Les bases de PostgreSQL",
"contenu": "PostgreSQL est un SGBD relationnel open source..."},
{"id": "a5", "titre": "Réseaux de neurones convolutifs",
"contenu": "Les CNN sont utilisés pour la vision par ordinateur..."},
{"id": "a6", "titre": "NLP avec les transformers",
"contenu": "Les transformers ont révolutionné le traitement du langage..."},
]
# Index the catalog
textes = [f"{a['titre']}. {a['contenu']}" for a in articles]
response = client.embeddings.create(
input=textes, model="text-embedding-3-large"
)
catalogue_embs = np.array(
[d.embedding for d in sorted(response.data, key=lambda x: x.index)]
)
def recommander_similaires(
article_id: str,
k: int = 3
) -> list[dict]:
"""Recommends the k most similar articles."""
idx = next(i for i, a in enumerate(articles) if a["id"] == article_id)
article_emb = catalogue_embs[idx]
# Similarity with all other articles
scores = catalogue_embs @ article_emb
scores[idx] = -1 # Exclude the article itself
top_k = np.argsort(scores)[-k:][::-1]
return [
{"article": articles[i], "score": float(scores[i])}
for i in top_k
]
# A user reads "Introduction to ML"
recos = recommander_similaires("a1", k=3)
print("You read: Introduction au machine learning")
print("Recommendations:")
for r in recos:
print(f" [{r['score']:.3f}] {r['article']['titre']}")
Προφίλ Χρήστη από το Ιστορικό
Η σύσταση βάσει ενός μόνο άρθρου παγιδεύει γρήγορα τον αναγνώστη. Για να λάβετε υπόψη ολόκληρη τη διαδρομή του, δημιουργείτε ένα διάνυσμα προφίλ συνδυάζοντας τις ενσωματώσεις των άρθρων που είδαν: αυτό το μέσο σημείο αντιπροσωπεύει τα ενδιαφέροντά τους στον ίδιο χώρο με τον κατάλογο, και στη συνέχεια αναζητάτε τα άρθρα που βρίσκονται πλησιέστερα σε αυτό το σημείο.
Ωστόσο, οι αναγνώσεις πριν από έξι μήνες δεν πρέπει να ζυγίζουν όσο οι χθεσινές. Η στάθμιση πρόσφατης δραστηριότητας (recency weighting) το χειρίζεται αυτό: ο παράγοντας 0.5 ** (n - 1 - i) μειώνει στο μισό το βάρος σε κάθε βήμα πίσω στο ιστορικό. Ένας αναγνώστης που ακολουθούσε τη μηχανική μάθηση για μεγάλο χρονικό διάστημα αλλά πρόσφατα στραφεί στις APIs, θα δει τις συστάσεις του να μετατοπίζονται μέσα σε λίγα άρθρα αντί να παραμένουν παγωμένες. Η τελική κανονικοποίηση επαναφέρει το προφίλ στη μοναδιαία σφαίρα, μια προϋπόθεση ώστε το εσωτερικό γινόμενο με τον κατάλογο να αποτελεί σωστή ομοιότητα συνημιτόνου.
def creer_profil_utilisateur(
articles_consultes: list[str],
poids_recency: bool = True
) -> np.ndarray:
"""Creates a profile vector from history."""
indices = [
i for i, a in enumerate(articles)
if a["id"] in articles_consultes
]
if not indices:
return np.zeros(catalogue_embs.shape[1])
embs = catalogue_embs[indices]
if poids_recency:
# Recent articles count more
n = len(indices)
poids = np.array([0.5 ** (n - 1 - i) for i in range(n)])
poids /= poids.sum()
profil = np.average(embs, axis=0, weights=poids)
else:
profil = np.mean(embs, axis=0)
# Normalize
profil /= np.linalg.norm(profil)
return profil
def recommander_pour_utilisateur(
articles_consultes: list[str],
k: int = 3
) -> list[dict]:
"""Recommends articles based on the user profile."""
profil = creer_profil_utilisateur(articles_consultes)
scores = catalogue_embs @ profil
# Exclude already viewed articles
for i, a in enumerate(articles):
if a["id"] in articles_consultes:
scores[i] = -1
top_k = np.argsort(scores)[-k:][::-1]
return [
{"article": articles[i], "score": float(scores[i])}
for i in top_k
]
# User who read ML and deep learning
recos = recommander_pour_utilisateur(["a1", "a2"], k=3)
print("History: ML + PyTorch")
print("Recommendations:")
for r in recos:
print(f" [{r['score']:.3f}] {r['article']['titre']}")
Σύσταση με Ερώτημα Κειμένου
Το προφίλ συμπεριφοράς αγνοεί ένα πράγμα που ο χρήστης γνωρίζει καλύτερα από εσάς: τι αναζητά σήμερα. Εφόσον ο κατάλογος είναι ήδη κωδικοποιημένος, αρκεί να κωδικοποιήσετε μια φράση ελεύθερου κειμένου για να κάνετε ερώτημα στον ίδιο χώρο. Η φράση «Θέλω να μάθω πώς να δημιουργώ APIs» φέρνει στην επιφάνεια το άρθρο για το FastAPI, ακόμα και αν το ιστορικό του αναγνώστη περιέχει μόνο μηχανική μάθηση. Αυτή είναι επίσης η μόνη επιλογή διαθέσιμη για έναν επισκέπτη για τον οποίο δεν γνωρίζετε τίποτα.
def recommander_par_interet(
description: str,
k: int = 3
) -> list[dict]:
"""Recommends articles based on an interest description."""
query_emb = client.embeddings.create(
input=description,
model="text-embedding-3-large"
).data[0].embedding
scores = catalogue_embs @ np.array(query_emb)
top_k = np.argsort(scores)[-k:][::-1]
return [
{"article": articles[i], "score": float(scores[i])}
for i in top_k
]
# "I want to learn how to create APIs"
recos = recommander_par_interet("créer des APIs web en Python")
for r in recos:
print(f" [{r['score']:.3f}] {r['article']['titre']}")
Ποικιλομορφία στις Συστάσεις
Η ταξινόμηση βάσει καθαρής ομοιότητας παράγει ένα ορατό ελάττωμα στην παραγωγή: οι πέντε συστάσεις μοιάζουν μεταξύ τους. Ένας αναγνώστης του άρθρου για τα CNN λαμβάνει πέντε παραλλαγές της όρασης υπολογιστή, όταν η δεύτερη ή τρίτη πρόταση θα μπορούσε να είχε ανοίξει την πόρτα στους transformers.
Το MMR (Maximal Marginal Relevance) διορθώνει αυτό επιλέγοντας άρθρα ένα προς ένα: σε κάθε γύρο, επιλέγει αυτό που μεγιστοποιεί τη συνάφεια με το ερώτημα, μείον τη μέγιστη πλεονασματικότητα με ό,τι έχει ήδη επιλεγεί. Το lambda_param ορίζει την ισορροπία—στο 1.0 λαμβάνετε την κλασική ταξινόμηση, στο 0.5 ευνοείτε έντονα την ποικιλομορφία, και η προεπιλεγμένη τιμή του 0.7 δίνει μια σχετική λίστα που «αναπνέει».
def recommander_divers(
query_emb: np.ndarray,
k: int = 5,
lambda_param: float = 0.7
) -> list[int]:
"""MMR: balances relevance and diversity."""
scores = catalogue_embs @ query_emb
candidats = list(range(len(articles)))
selectionnes = []
for _ in range(k):
if not candidats:
break
meilleur_score = -float("inf")
meilleur_idx = -1
for idx in candidats:
# Relevance
pertinence = scores[idx]
# Max redundancy with already selected
if selectionnes:
sims_selectionnes = [
float(np.dot(catalogue_embs[idx], catalogue_embs[s]))
for s in selectionnes
]
redondance = max(sims_selectionnes)
else:
redondance = 0
# MMR Score
mmr_score = (
lambda_param * pertinence
- (1 - lambda_param) * redondance
)
if mmr_score > meilleur_score:
meilleur_score = mmr_score
meilleur_idx = idx
selectionnes.append(meilleur_idx)
candidats.remove(meilleur_idx)
return selectionnes
Βασικά σημεία
- Οι ενσωματώσεις επιτρέπουν τη σύσταση βάσει ομοιότητας περιεχομένου
- Το προφίλ χρήστη δημιουργείται μέσω του μέσου όρου των ενσωματώσεων που προβλήθηκαν
- Η στάθμιση πρόσφατης δραστηριότητας δίνει μεγαλύτερο βάρος στις πρόσφατες προβολές
- Το MMR ποικιλλομορφεί τις συστάσεις penalizing την πλεονασματικότητα