Odporúčania na mieru
Na tejto strane
Ciele
- Vytvoriť odporúčací systém založený na vektorových reprezentáciách (embeddings)
- Implementovať odporúčania založené na obsahu aj na správaní používateľa
- Riešiť problém studeného štartu a zabezpečiť rozmanitosť výsledkov
Princíp: Podobnosť sa rovná odporúčaniu
Klasický odporúvací engine sleduje správanie: „Ľudia, ktorí čítali tento článok, čítali aj ten.“ Aby mohol povedať niečo užitočné, potrebuje veľkú návštevnosť – to je problém studeného štartu, ktorý postihuje nové katalógy aj články publikované dnes ráno.
Prístup využívajúci vektorové reprezentácie toto čakanie obchádza. Ak sa používateľovi páčil článok, odporučíš mu tie s najbližšími vektormi. Ide o odporúčanie založené na obsahu: spolieha sa na obsah, nie na správanie iných používateľov. Článok publikovaný pred desiatimi minútami, ktorý ešte žiadny čitateľ neotvoril, už má svoj vektor a okamžite sa stáva odporúčateľným.
Odporúčanie založené na obsahu
Nižšie uvedený katalóg zámerne mieša dva svety – strojové učenie na jednej strane a softvérové inžinierstvo na druhej – aby boli výsledky overiteľné. Každý článok je zakódovaný spojením jeho názvu a obsahu: názov zachytáva podstatu témy, obsah poskytuje slovnú zásobu a použitie len jedného z nich zhoršuje kvalitu nájdených susedov.
Fintou je riadok scores[idx] = -1. Bez neho by bol článok najpodobnejší sám sebe so skóre 1,0 – a čitateľovi by si odporúčal to, čo práve dočítal.
from openai import OpenAI
import numpy as np
client = OpenAI()
# Katalóg článkov
articles = [
{"id": "a1", "titre": "Introduction au machine learning",
"contenu": "Le ML permet aux machines d'apprendre à partir de données..."},
{"id": "a2", "titre": "Deep learning avec PyTorch",
"contenu": "PyTorch est un framework de deep learning flexible..."},
{"id": "a3", "titre": "Déployer une API REST avec FastAPI",
"contenu": "FastAPI est un framework Python pour créer des APIs..."},
{"id": "a4", "titre": "Les bases de PostgreSQL",
"contenu": "PostgreSQL est un SGBD relationnel open source..."},
{"id": "a5", "titre": "Réseaux de neurones convolutifs",
"contenu": "Les CNN sont utilisés pour la vision par ordinateur..."},
{"id": "a6", "titre": "NLP avec les transformers",
"contenu": "Les transformers ont révolutionné le traitement du langage..."},
]
# Indexovanie katalógu
textes = [f"{a['titre']}. {a['contenu']}" for a in articles]
response = client.embeddings.create(
input=textes, model="text-embedding-3-large"
)
catalogue_embs = np.array(
[d.embedding for d in sorted(response.data, key=lambda x: x.index)]
)
def recommander_similaires(
article_id: str,
k: int = 3
) -> list[dict]:
"""Odporúča k najpodobnejších článkov."""
idx = next(i for i, a in enumerate(articles) if a["id"] == article_id)
article_emb = catalogue_embs[idx]
# Podobnosť so všetkými ostatnými článkami
scores = catalogue_embs @ article_emb
scores[idx] = -1 # Vylúčenie samotného článku
top_k = np.argsort(scores)[-k:][::-1]
return [
{"article": articles[i], "score": float(scores[i])}
for i in top_k
]
# Používateľ číta „Úvod do strojového učenia“
recos = recommander_similaires("a1", k=3)
print("Čítal si: Introduction au machine learning")
print("Odporúčania:")
for r in recos:
print(f" [{r['score']:.3f}] {r['article']['titre']}")
Profil používateľa z histórie
Odporúčanie založené na jednom článku rýchlo uväzní čitateľa v bubline. Aby si zohľadnil celú jeho cestu, vytvoríš profilový vektor kombináciou vektorov článkov, ktoré si prezrel: tento priemerný bod predstavuje jeho záujmy v rovnakom priestore ako katalóg a následne hľadáš články najbližšie k tomuto bodu.
Čítanie spred šiestich mesiacov by však nemalo vážiť toľko ako včerajšie. Váženie podľa aktuálnosti to rieši: faktor 0.5 ** (n - 1 - i) znižuje váhu na polovicu pri každom kroku späť v histórii. Čitateľ, ktorý sa dlho venoval strojovému učeniu, ale nedávno prešiel na API, uvidí posun v odporúčaniach už po niekoľkých článkoch namiesto toho, aby zostali zamrznuté. Konečná normalizácia vráti profil späť na jednotkovú sféru, čo je podmienkou pre to, aby bol skalárny súčin s katalógom správnou kosínusovou podobnosťou.
def creer_profil_utilisateur(
articles_consultes: list[str],
poids_recency: bool = True
) -> np.ndarray:
"""Vytvorí profilový vektor z histórie."""
indices = [
i for i, a in enumerate(articles)
if a["id"] in articles_consultes
]
if not indices:
return np.zeros(catalogue_embs.shape[1])
embs = catalogue_embs[indices]
if poids_recency:
# Nedávne články majú väčšiu váhu
n = len(indices)
poids = np.array([0.5 ** (n - 1 - i) for i in range(n)])
poids /= poids.sum()
profil = np.average(embs, axis=0, weights=poids)
else:
profil = np.mean(embs, axis=0)
# Normalizácia
profil /= np.linalg.norm(profil)
return profil
def recommander_pour_utilisateur(
articles_consultes: list[str],
k: int = 3
) -> list[dict]:
"""Odporúča články na základe profilu používateľa."""
profil = creer_profil_utilisateur(articles_consultes)
scores = catalogue_embs @ profil
# Vylúčenie už prezeraných článkov
for i, a in enumerate(articles):
if a["id"] in articles_consultes:
scores[i] = -1
top_k = np.argsort(scores)[-k:][::-1]
return [
{"article": articles[i], "score": float(scores[i])}
for i in top_k
]
# Používateľ, ktorý čítal ML a deep learning
recos = recommander_pour_utilisateur(["a1", "a2"], k=3)
print("História: ML + PyTorch")
print("Odporúčania:")
for r in recos:
print(f" [{r['score']:.3f}] {r['article']['titre']}")
Odporúčanie pomocou textového dopytu
Behaviorálny profil ignoruje jednu vec, ktorú používateľ vie lepšie ako ty: čo hľadá práve dnes. Keďže katalóg je už zakódovaný, stačí zakódovať voľný textový dopyt, aby si sa opýtal toho istého priestoru. Fráza „Chcem sa naučiť vytvárať API“ vytiahne článok o FastAPI, aj keď história čitateľa obsahuje iba strojové učenie. Je to tiež jediná možnosť dostupná pre návštevníka, o ktorom nič nevieš.
def recommander_par_interet(
description: str,
k: int = 3
) -> list[dict]:
"""Odporúča články na základe popisu záujmu."""
query_emb = client.embeddings.create(
input=description,
model="text-embedding-3-large"
).data[0].embedding
scores = catalogue_embs @ np.array(query_emb)
top_k = np.argsort(scores)[-k:][::-1]
return [
{"article": articles[i], "score": float(scores[i])}
for i in top_k
]
# „Chcem sa naučiť vytvárať webové API v Pythone“
recos = recommander_par_interet("créer des APIs web en Python")
for r in recos:
print(f" [{r['score']:.3f}] {r['article']['titre']}")
Diverzifikácia odporúčaní
Zoradenie podľa čistej podobnosti produkuje viditeľnú chybu v produkcii: päť odporúčaní vyzerá rovnako. Čitateľ článku o CNN dostane päť variantov počítačového videnia, hoci druhé alebo tretie odporúčanie mohlo otvoriť dvere transformerom.
MMR (Maximal Marginal Relevance) to opravuje výberom článkov jeden po druhom: v každom kole vyberie ten, ktorý maximalizuje relevantnosť k dopytu mínus maximálna redundancia s tým, čo už bolo vybraté. Parameter lambda_param nastavuje kompromis – pri hodnote 1,0 dostaneš klasické zoradenie, pri 0,5 silno uprednostňuješ rozmanitosť a predvolená hodnota 0,7 poskytuje relevantný zoznam, ktorý dýcha.
def recommander_divers(
query_emb: np.ndarray,
k: int = 5,
lambda_param: float = 0.7
) -> list[int]:
"""MMR: vyvažuje relevantnosť a rozmanitosť."""
scores = catalogue_embs @ query_emb
candidats = list(range(len(articles)))
selectionnes = []
for _ in range(k):
if not candidats:
break
meilleur_score = -float("inf")
meilleur_idx = -1
for idx in candidats:
# Relevantnosť
pertinence = scores[idx]
# Maximálna redundancia s už vybranými
if selectionnes:
sims_selectionnes = [
float(np.dot(catalogue_embs[idx], catalogue_embs[s]))
for s in selectionnes
]
redondance = max(sims_selectionnes)
else:
redondance = 0
# Skóre MMR
mmr_score = (
lambda_param * pertinence
- (1 - lambda_param) * redondance
)
if mmr_score > meilleur_score:
meilleur_score = mmr_score
meilleur_idx = idx
selectionnes.append(meilleur_idx)
candidats.remove(meilleur_idx)
return selectionnes
Kľúčové poznatky
- Vektorové reprezentácie umožňujú odporúčanie na základe podobnosti obsahu
- Profil používateľa sa vytvára spriemerovaním vektorov prezeraných článkov
- Váženie podľa aktuálnosti pripisuje väčšiu váhu nedávnym zobrazeniam
- MMR diverzifikuje odporúčania penalizáciou redundancie