Ce este un embedding: intuiția
Pe această pagină
Obiective
- Să înțelegeți ce este un embedding și de ce contează
- Să asimilați intuiția geometrică din spatele vectorilor de cuvinte
- Să descoperiți principalele cazuri de utilizare
Problema: Mașinile nu înțeleg textul
Modelele lingvistice lucrează cu numere, nu cu cuvinte. Înainte ca o mașină să poată compara, căuta sau raționa asupra textului, trebuie să convertiți acel text într-o reprezentare numerică utilizabilă. Întrebarea cheie este: care reprezentare?
Abordarea naivă: Sacul de cuvinte (Bag of Words)
Cea mai simplă metodă numără aparițiile fiecărui cuvânt. Este simplă, dar ignoră complet sensul. Luați propozițiile „Pisica mănâncă șoarecele“ și „Șoarecele mănâncă pisica“: ambele conțin exact aceleași cuvinte în aceleași proporții, astfel încât produc exact aceeași reprezentare, deși descriu scene opuse. Problema inversă există și ea: „Automobil“ și „Mașină“ se referă la același lucru, dar deoarece sunt două șiruri de caractere distincte, abordarea de tip „sac de cuvinte“ le tratează ca pe concepte neînrudite. Ordinea cuvintelor și sinonimele – doi piloni ai limbajului – scapă complet acestei metode.
Embedding-urile: Captarea sensului
Un embedding este un vector dens – o listă de numere în virgulă mobilă – care captează sensul semantic al unui text. Două texte cu sensuri similare vor avea vectori care stau aproape unul de celălalt în spațiu, indiferent de cuvintele specifice utilizate. Iată cum generați unul:
from openai import OpenAI
client = OpenAI()
# Generate an embedding
response = client.embeddings.create(
input="Artificial intelligence is transforming the industry",
model="text-embedding-3-large"
)
vector = response.data[0].embedding
print(f"Vector dimension: {len(vector)}") # 3072
print(f"First elements: {vector[:5]}")
Acest vector de 3.072 de numere codifică sensul propoziției, fiecare dimensiune captând un aspect diferit al semanticii. Nu trebuie să știți ce reprezintă dimensiunea 417: ceea ce contează este că configurația globală rămâne stabilă și comparabilă între texte.
Intuiția geometrică
Imaginați-vă un spațiu tridimensional în care fiecare cuvânt sau frază ocupă un punct. „Rege“ și „Regină“ ajung unul lângă altul deoarece împărtășesc cea mai mare parte a sensului lor. „Măr“ și „Portocală“ formează un alt cartier, departe de primul. „Câine“ și „Pisică“ constituie încă un alt cluster. Această organizare spațială este ceea ce face comparația posibilă: măsurarea distanței dintre două puncte este echivalentă cu măsurarea similarității dintre două sensuri.
În realitate, embedding-urile moderne folosesc mii de dimensiuni – 3.072 pentru text-embedding-3-large – permițându-le să capteze nuanțe mult mai fine decât modelul nostru mental simplu cu trei axe.
Famoasa analogie
Embedding-urile captează, de asemenea, relații semantice regulate, într-atât încât le puteți manipula folosind aritmetica. Exemplul clasic arată astfel:
vector("King") - vector("Man") + vector("Woman") ≈ vector("Queen")
Cu alte cuvinte, scăderea componentei „masculin“ și adăugarea componentei „feminin“ deplasează punctul de la „Rege“ către „Regină“. Această proprietate arată că concepte abstracte precum genul, regalitatea sau mărimea sunt codificate într-un mod structurat, nu împrăștiate la întâmplare.
La ce sunt folosite embedding-urile?
Primul caz de utilizare este căutarea semantică: în loc să căutați cuvinte cheie exacte, comparați sensul interogării cu sensul documentelor. Un vizitator care tastează „Cum îmi hrănesc puiul de câine?“ va găsi un articol intitulat „Hrănirea câinelui tânăr“, deși cele două fraze nu au niciun cuvânt comun.
Al doilea este clasificarea: deoarece textele despre același subiect se grupează natural împreună în spațiu, puteți sorta automat tichete de suport, e-mailuri sau articole fără a scrie o singură regulă manuală. Recomandarea se bazează pe același mecanism, privit din celălalt capăt: pentru a sugera conținut unui utilizator, căutați vectorii cei mai apropiați de ceea ce acesta a vizualizat deja.
În final, există RAG (Retrieval-Augmented Generation / Generare Augmentată prin Recuperare), care îmbogățește răspunsul unui LLM cu documente relevante găsite prin similaritate semantică. Acesta este cazul de utilizare emblematic al acestui curs și combină toate celelalte: indexare, comparare și clasament.
Ce s-a schimbat în 2025–2026
API-ul de Embeddings de la OpenAI oferă acum două modele principale:
| Model | Dimensiuni | Utilizare recomandată |
|---|---|---|
text-embedding-3-large | 3,072 | Precizie ridicată, RAG, căutare |
text-embedding-3-small | 1,536 | Cost redus, clasificare, recomandare |
Aceste modele suportă reducerea dimensionalității: puteți solicita un vector mai scurt, de exemplu 256 de dimensiuni, pentru a economisi stocare cu o pierdere controlată a calității. Un corpus de un milion de fragmente scade astfel de la câteva zeci de gigaocteți la doar câțiva, schimbând fundamental cerințele de infrastructură.
Puncte cheie
- Un embedding convertește textul într-un vector numeric dens
- Textele similare din punct de vedere semantic au vectori apropiați
- Principalele cazuri de utilizare includ căutarea, clasificarea, recomandarea și RAG
- OpenAI oferă
text-embedding-3-large(3.072 dim) șitext-embedding-3-small(1.536 dim)