Személyre szabott ajánlások
Ezen az oldalon
Célok
- Ajánlórendszer építése beágyazások (embeddings) alapján
- Tartalomalapú és felhasználóalapú ajánlás megvalósítása
- A hidegindítási probléma és a sokszínűség kezelése
Az elv: A hasonlóság egyenlő az ajánlással
Egy klasszikus ajánlómotor a viselkedést figyeli: „Akik ezt a cikket olvasták, azt is elolvasták.“ Rengeteg forgalomra van szüksége, mielőtt bármi hasznosat tudna mondani – ez a hidegindítási probléma, amely mind az új katalógusokat, mind a reggel megjelent cikkeket érinti.
A beágyazásokon alapuló megközelítés kihagyja ezt a várakozást. Ha egy felhasználónak tetszett egy cikk, ajánld neki a legközelebbi beágyazással rendelkezőket. Ez tartalomalapú ajánlás: a tartalomra támaszkodik, nem más felhasználók viselkedésére. Egy tíz perce megjelent cikknek, amelyet még egyetlen olvasó sem nyitott meg, már van beágyazása, és azonnal ajánlhatóvá válik.
Tartalomalapú ajánlás
Az alábbi katalógus szándékosan kever két világot – a gépi tanulást az egyik oldalon, a szoftvermérnökséget a másikon –, így az eredmények ellenőrizhetők. Minden cikket a címe és a tartalma összefűzésével kódolunk: a cím dióhéjban ragadja meg a témát, a tartalom biztosítja a szókincset, és ha csak az egyiket használjuk, az rontja a megtalált szomszédok minőségét.
A trükk a scores[idx] = -1 sorban rejlik. Enélkül egy cikkhez leginkább hasonló cikk mindig önmaga lenne, 1,0-es pontszámmal – és azt ajánlanád az olvasónak, amit éppen most fejezett be.
from openai import OpenAI
import numpy as np
client = OpenAI()
# Article catalog
articles = [
{"id": "a1", "titre": "Introduction au machine learning",
"contenu": "Le ML permet aux machines d'apprendre à partir de données..."},
{"id": "a2", "titre": "Deep learning avec PyTorch",
"contenu": "PyTorch est un framework de deep learning flexible..."},
{"id": "a3", "titre": "Déployer une API REST avec FastAPI",
"contenu": "FastAPI est un framework Python pour créer des APIs..."},
{"id": "a4", "titre": "Les bases de PostgreSQL",
"contenu": "PostgreSQL est un SGBD relationnel open source..."},
{"id": "a5", "titre": "Réseaux de neurones convolutifs",
"contenu": "Les CNN sont utilisés pour la vision par ordinateur..."},
{"id": "a6", "titre": "NLP avec les transformers",
"contenu": "Les transformers ont révolutionné le traitement du langage..."},
]
# Index the catalog
textes = [f"{a['titre']}. {a['contenu']}" for a in articles]
response = client.embeddings.create(
input=textes, model="text-embedding-3-large"
)
catalogue_embs = np.array(
[d.embedding for d in sorted(response.data, key=lambda x: x.index)]
)
def recommander_similaires(
article_id: str,
k: int = 3
) -> list[dict]:
"""Recommends the k most similar articles."""
idx = next(i for i, a in enumerate(articles) if a["id"] == article_id)
article_emb = catalogue_embs[idx]
# Similarity with all other articles
scores = catalogue_embs @ article_emb
scores[idx] = -1 # Exclude the article itself
top_k = np.argsort(scores)[-k:][::-1]
return [
{"article": articles[i], "score": float(scores[i])}
for i in top_k
]
# A user reads "Introduction to ML"
recos = recommander_similaires("a1", k=3)
print("You read: Introduction au machine learning")
print("Recommendations:")
for r in recos:
print(f" [{r['score']:.3f}] {r['article']['titre']}")
Felhasználói profil a történet alapján
Egyetlen cikk alapján történő ajánlás gyorsan csapdába ejti az olvasót. Hogy figyelembe vedd a teljes útját, egy profilvektort építesz a megtekintett cikkek beágyazásainak kombinálásával: ez az átlagpont képviseli az érdeklődését ugyanabban a térben, mint a katalógus, majd megkeresed az ehhez a ponthoz legközelebbi cikkeket.
Ugyanakkor a hat hónappal ezelőtti olvasásoknak nem szabad ugyanolyan súllyal bírniuk, mint a tegnapieknek. Ezt kezeli a recencia súlyozás: a 0.5 ** (n - 1 - i) tényező minden egyes lépésnél felére csökkenti a súlyt a történetben visszafelé haladva. Egy olvasó, aki sokáig követte a gépi tanulást, de nemrégiben az API-kra váltott, néhány cikken belül eltolódó ajánlásokat lát, ahelyett, hogy azok befagynának. A végső normalizálás visszahozza a profilt az egységgömbre, ami feltétele annak, hogy a katalógussal vett skaláris szorzat megfelelő koszinusz-hasonlóság legyen.
def creer_profil_utilisateur(
articles_consultes: list[str],
poids_recency: bool = True
) -> np.ndarray:
"""Creates a profile vector from history."""
indices = [
i for i, a in enumerate(articles)
if a["id"] in articles_consultes
]
if not indices:
return np.zeros(catalogue_embs.shape[1])
embs = catalogue_embs[indices]
if poids_recency:
# Recent articles count more
n = len(indices)
poids = np.array([0.5 ** (n - 1 - i) for i in range(n)])
poids /= poids.sum()
profil = np.average(embs, axis=0, weights=poids)
else:
profil = np.mean(embs, axis=0)
# Normalize
profil /= np.linalg.norm(profil)
return profil
def recommander_pour_utilisateur(
articles_consultes: list[str],
k: int = 3
) -> list[dict]:
"""Recommends articles based on the user profile."""
profil = creer_profil_utilisateur(articles_consultes)
scores = catalogue_embs @ profil
# Exclude already viewed articles
for i, a in enumerate(articles):
if a["id"] in articles_consultes:
scores[i] = -1
top_k = np.argsort(scores)[-k:][::-1]
return [
{"article": articles[i], "score": float(scores[i])}
for i in top_k
]
# User who read ML and deep learning
recos = recommander_pour_utilisateur(["a1", "a2"], k=3)
print("History: ML + PyTorch")
print("Recommendations:")
for r in recos:
print(f" [{r['score']:.3f}] {r['article']['titre']}")
Ajánlás szöveges lekérdezéssel
A viselkedési profil figyelmen kívül hagy egy dolgot, amit a felhasználó jobban tud nálad: mit keres éppen ma. Mivel a katalógus már kódolva van, csak egy szabad szöveges kifejezést kell kódolnod, hogy lekérdezd ugyanazt a teret. A „API-k létrehozását szeretném megtanulni“ kifejezés előhozza a FastAPI cikket, akkor is, ha az olvasó történetében csak gépi tanulás szerepel. Ez az egyetlen lehetőség olyan látogatók esetén is, akikről semmit sem tudsz.
def recommander_par_interet(
description: str,
k: int = 3
) -> list[dict]:
"""Recommends articles based on an interest description."""
query_emb = client.embeddings.create(
input=description,
model="text-embedding-3-large"
).data[0].embedding
scores = catalogue_embs @ np.array(query_emb)
top_k = np.argsort(scores)[-k:][::-1]
return [
{"article": articles[i], "score": float(scores[i])}
for i in top_k
]
# "I want to learn how to create APIs"
recos = recommander_par_interet("créer des APIs web en Python")
for r in recos:
print(f" [{r['score']:.3f}] {r['article']['titre']}")
Az ajánlások sokszínűsége
A puszta hasonlóság szerinti rendezés egy látható hibát produkál éles környezetben: az öt ajánlás túlságosan hasonlít egymásra. A CNN-cikk olvasója öt számítógépes látással kapcsolatos variációt kap, miközben a második vagy harmadik javaslat már a transzformátorok felé nyithatott volna ajtót.
Az MMR (Maximális Marginális Relevancia) ezt úgy javítja, hogy cikket cikket választ ki: minden körben azt választja ki, amelyik maximalizálja a lekérdezéshez való relevanciát, mínusz a már kiválasztottakkal való maximális redundancia. A lambda_param állítja be az egyensúlyt: 1,0-nál klasszikus rendezést kapsz, 0,5-nél erősen favorizálod a változatosságot, az alapértelmezett 0,7-es érték pedig egy releváns, mégis szellős listát eredményez.
def recommander_divers(
query_emb: np.ndarray,
k: int = 5,
lambda_param: float = 0.7
) -> list[int]:
"""MMR: balances relevance and diversity."""
scores = catalogue_embs @ query_emb
candidats = list(range(len(articles)))
selectionnes = []
for _ in range(k):
if not candidats:
break
meilleur_score = -float("inf")
meilleur_idx = -1
for idx in candidats:
# Relevance
pertinence = scores[idx]
# Max redundancy with already selected
if selectionnes:
sims_selectionnes = [
float(np.dot(catalogue_embs[idx], catalogue_embs[s]))
for s in selectionnes
]
redondance = max(sims_selectionnes)
else:
redondance = 0
# MMR Score
mmr_score = (
lambda_param * pertinence
- (1 - lambda_param) * redondance
)
if mmr_score > meilleur_score:
meilleur_score = mmr_score
meilleur_idx = idx
selectionnes.append(meilleur_idx)
candidats.remove(meilleur_idx)
return selectionnes
Főbb megállapítások
- A beágyazások lehetővé teszik a tartalmi hasonlóság alapú ajánlást
- A felhasználói profil a megtekintett beágyazások átlagolásával épül fel
- A recencia súlyozás nagyobb súlyt ad a frissebb megtekintéseknek
- Az MMR a redundancia büntetésével teszi változatosabbá az ajánlásokat