Mi az a beágyazás: az intuíció
Ezen az oldalon
Célok
- Megérteni, mi az a beágyazás (embedding), és miért fontos
- Elsajátítani a szóvektorok mögött rejlő geometriai intuíciót
- Felfedezni a legfontosabb alkalmazási területeket
A probléma: a gépek nem értik a szöveget
A nyelvi modellek számokkal dolgoznak, nem szavakkal. Mielőtt egy gép összehasonlíthatna, kereshetne vagy következtetéseket vonna le szövegekből, numerikus alakba kell alakítanod azokat. A kulcskérdés: milyen reprezentációt válassz?
A naiv megközelítés: zsákszöveg (Bag of Words)
A legegyszerűbb módszer megszámolja az egyes szavak előfordulását. Ez ugyan egyszerű, de teljesen figyelmen kívül hagyja a jelentést. Vegyük például a „A macska megeszi az egeret“ és az „Az egér megeszi a macskát“ mondatokat: mindkét mondat pontosan ugyanazokat a szavakat tartalmazza, ugyanolyan arányban, így teljesen azonos reprezentációt eredményeznek, noha ellentétes helyzeteket írnak le. A fordított probléma is fennáll: az „Automobile“ és a „Car“ ugyanarra a dologra utal, de mivel két különböző karaktersorozatról van szó, a zsákszöveg-módszer őket egymástól független fogalmakként kezeli. A szórend és a szinonimák – a nyelv két alapköve – ezzel a módszerrel teljesen megfoghatatlanok maradnak.
Beágyazások: a jelentés megragadása
A beágyazás (embedding) egy sűrű vektor – lebegőpontos számok listája –, amely megragadja a szöveg szemantikai jelentését. Két hasonló jelentésű szöveg vektora térben közel helyezkedik el egymáshoz, függetlenül a felhasznált konkrét szavaktól. Íme, hogyan hozhatsz létre egyet:
from openai import OpenAI
client = OpenAI()
# Generate an embedding
response = client.embeddings.create(
input="Artificial intelligence is transforming the industry",
model="text-embedding-3-large"
)
vector = response.data[0].embedding
print(f"Vector dimension: {len(vector)}") # 3072
print(f"First elements: {vector[:5]}")
Ez a 3072 számból álló vektor kódolja a mondat jelentését, ahol minden dimenzió a szemantika egy másik aspektusát ragadja meg. Nem kell tudnod, mit jelent a 417. dimenzió: ami számít, az az, hogy az általános konfiguráció stabil marad, és összehasonlítható a különböző szövegek között.
A geometriai intuíció
Képzelj el egy háromdimenziós teret, ahol minden szó vagy kifejezés egy pontot foglal el. A „King“ (király) és a „Queen“ (királynő) egymás mellett helyezkednek el, mert jelentésük nagy része közös. Az „Apple“ (alma) és az „Orange“ (narancs) egy másik negyedet alkot, távol az elsőtől. A „Dog“ (kutya) és a „Cat“ (macska) pedig egy újabb klasztert képez. Ez a térbeli elrendezés teszi lehetővé az összehasonlítást: két pont távolságának mérése egyenértékű két jelentés hasonlóságának mérésével.
A valóságban a modern beágyazások ezrei dimenziót használnak – a text-embedding-3-large esetén 3072-et –, így sokkal finomabb árnyalatokat képesek megragadni, mint az egyszerű háromtengelyes mentális modellünk.
A híres analógia
A beágyazások a rendszeres szemantikai kapcsolatokat is megragadják, méghozzá olyan mértékben, hogy aritmetikai műveletekkel manipulálhatod őket. A klasszikus példa így néz ki:
vector("King") - vector("Man") + vector("Woman") ≈ vector("Queen")
Más szóval: ha kivonjuk a „férfi“ komponenst, és hozzáadjuk a „női“ komponenst, a pont a „King“ (király) felől a „Queen“ (királynő) felé tolódik el. Ez a tulajdonság azt mutatja, hogy az olyan elvont fogalmak, mint a nem, a királyi rang vagy a méret, strukturált módon vannak kódolva, nem pedig véletlenszerűen szóródnak szét.
Mire használják a beágyazásokat?
Az első alkalmazási terület a szemantikai keresés: a pontos kulcsszavak keresése helyett a lekérdezés jelentését hasonlítod össze a dokumentumok jelentésével. Egy látogató, aki azt írja be, hogy „Hogyan etessem a kiskutyámat?“, megtalál egy „A fiatal kutya etetése“ című cikket, még akkor is, ha a két kifejezésnek nincs közös szava.
A második a osztályozás: mivel az azonos témájú szövegek természetesen klaszterekbe rendeződnek a térben, automatikusan rendszerezheted az ügyfélszolgálati jegyeket, e-maileket vagy cikkeket egyetlen manuális szabály megírása nélkül. Az ajánlás ugyanerre a mechanizmusra épül, csak másik irányból nézve: hogy tartalmat javasolj egy felhasználónak, megkeresed azokat a vektorokat, amelyek a legközelebb állnak azokhoz, amelyeket már megtekintett.
Végül ott van a RAG (Retrieval-Augmented Generation, Lekérdezéssel Bővített Generálás), amely releváns dokumentumokkal gazdagítja a nagy nyelvi modell (LLM) válaszait, a szemantikai hasonlóság alapján megtalálva azokat. Ez a tanfolyam zászlóshajó alkalmazási esete, és egyesíti az összes többit: indexelés, összehasonlítás és rangsorolás.
Mi változott 2025–2026-ban?
Az OpenAI Embeddings API-ja jelenleg két fő modellt kínál:
| Modell | Dimenziók | Ajánlott használat |
|---|---|---|
text-embedding-3-large | 3,072 | Nagy pontosság, RAG, keresés |
text-embedding-3-small | 1,536 | Alacsonyabb költség, osztályozás, ajánlás |
Ezek a modellek támogatják a dimenziócsökkentést: kérhetsz rövidebb vektort is, például 256 dimenzióval, hogy tárhelyet spórolj meg a minőség ellenőrzött vesztesége mellett. Így egymillió darabból álló korpusz tárigénye több tíz gigabájtról mindössze néhány gigabájtra csökken, ami alapvetően megváltoztatja az infrastruktúrális követelményeket.
Összefoglalás
- A beágyazás szöveget alakít át sűrű numerikus vektortá
- A szemantikailag hasonló szövegek vektorai közel helyezkednek el egymáshoz
- A fő alkalmazási területek: keresés, osztályozás, ajánlás és RAG
- Az OpenAI kínálatában szerepel a
text-embedding-3-large(3072 dimenzió) és atext-embedding-3-small(1536 dimenzió)