Što je ugradnja (embedding): Intuicija
Na ovoj stranici
Ciljevi
- Razumjeti što je ugradnja i zašto je važna
- Shvatiti geometrijsku intuiciju iza vektora riječi
- Otkriti glavne slučajeve uporabe
Problem: Strojevi ne razumiju tekst
Jezični modeli rade s brojevima, a ne s riječima. Prije nego što stroj može uspoređivati, pretraživati ili rezonirati o tekstu, moraš taj tekst pretvoriti u upotrebljivi numerički zapis. Ključno je pitanje: koji zapis?
Naivan pristup: Vreća riječi
Najjednostavnija metoda broji pojavljivanja svake riječi. Jednostavna je, ali potpuno ignorira značenje. Uzmi rečenice „Mačka jede miša“ i „Miš jede mačku“: obje sadrže točno iste riječi u istim omjerima, pa proizvode identičan zapis, iako opisuju suprotne situacije. Postoji i obrnuti problem: „Automobil“ i „Auto“ označavaju istu stvar, no budući da su dva različita niza znakova, pristup vreće riječi tretira ih kao nepovezane koncepte. Redoslijed riječi i sinonimi – dva stupa jezika – ovom metodom potpuno izmiču.
Ugradnje: Hvatanje značenja
Ugradnja (embedding) je gusti vektor – popis brojeva s pomičnim zarezom – koji bilježi semantičko značenje teksta. Dva teksta sličnog značenja imat će vektore koji u prostoru leže blizu jedan drugoga, bez obzira na korištene riječi. Evo kako generiraš jednu:
from openai import OpenAI
client = OpenAI()
# Generate an embedding
response = client.embeddings.create(
input="Artificial intelligence is transforming the industry",
model="text-embedding-3-large"
)
vector = response.data[0].embedding
print(f"Vector dimension: {len(vector)}") # 3072
print(f"First elements: {vector[:5]}")
Ovaj vektor od 3072 broja kodira značenje rečenice, pri čemu svaka dimenzija bilježi drugačiji aspekt semantike. Ne moraš znati što predstavlja dimenzija 417: bitno je da cjelokupna konfiguracija ostaje stabilna i usporediva kroz različite tekstove.
Geometrijska intuicija
Zamisli trodimenzionalni prostor u kojem svaka riječ ili fraza zauzima točku. „Kralj“ i „Kraljica“ završavaju jedno do drugoga jer dijele većinu svog značenja. „Jabuka“ i „Naranča“ čine drugu četvrt, daleko od prve. „Pas“ i „Mačka“ tvore još jedan klaster. Upravo ta prostorna organizacija omogućuje usporedbu: mjerenje udaljenosti između dviju točaka ekvivalentno je mjerenju sličnosti između dva značenja.
U stvarnosti, moderne ugradnje koriste tisuće dimenzija – 3072 za text-embedding-3-large – što im omogućuje hvatanje nijansi daleko finijih od našeg jednostavnog mentalnog modela s tri osi.
Poznata analogija
Ugradnje također bilježe pravilne semantičke odnose, i to do te mjere da njima možeš manipulirati aritmetički. Klasičan primjer izgleda ovako:
vector("King") - vector("Man") + vector("Woman") ≈ vector("Queen")
Drugim riječima, oduzimanje komponente „muško“ i dodavanje komponente „žensko“ pomiče točku od „Kralja“ prema „Kraljici“. Ovo svojstvo pokazuje da su apstraktni koncepti poput spola, kraljevskog dostojanstva ili veličine kodirani na strukturiran način, a ne nasumično raspršeni.
Čemu služe ugradnje?
Prvi slučaj uporabe je semantičko pretraživanje: umjesto traženja točnih ključnih riječi, uspoređuješ značenje upita sa značenjem dokumenata. Posjetitelj koji upiše „Kako hraniti štene?“ pronaći će članak naslovljen „Hranjenje mladog psa“, iako te dvije fraze nemaju nijednu zajedničku riječ.
Drugi je klasifikacija: budući da se tekstovi o istoj temi prirodno grupiraju zajedno u prostoru, možeš automatski sortirati zahtjeve za podršku, e-poruke ili članke bez pisanja ijednog ručnog pravila. Preporučivanje se oslanja na isti mehanizam gledan s druge strane: da bi korisniku predložio sadržaj, tražiš vektore najbliže onima koje je već pregledao.
Konačno, tu je RAG (Retrieval-Augmented Generation), koji obogaćuje odgovor velikog jezičnog modela (LLM) relevantnim dokumentima pronađenima putem semantičke sličnosti. Ovo je vodeći slučaj uporabe ovog tečaja i kombinira sve ostale: indeksiranje, usporedbu i rangiranje.
Što se promijenilo 2025.–2026.
OpenAIjev API za ugradnje sada nudi dva glavna modela:
| Model | Dimenzije | Preporučena uporaba |
|---|---|---|
text-embedding-3-large | 3,072 | Visoka preciznost, RAG, pretraživanje |
text-embedding-3-small | 1,536 | Niži trošak, klasifikacija, preporučivanje |
Ovi modeli podržavaju smanjenje dimenzionalnosti: možeš zatražiti kraći vektor, primjerice od 256 dimenzija, kako bi uštedio na pohrani uz kontrolirani gubitak kvalitete. Korpus od milijun isječaka tako pada s nekoliko desetaka gigabajta na samo nekoliko, što temeljito mijenja zahtjeve infrastrukture.
Ključne točke
- Ugradnja pretvara tekst u gusti numerički vektor
- Semantički slični tekstovi imaju vektore koji su blizu jedan drugome
- Glavni slučajevi uporabe uključuju pretraživanje, klasifikaciju, preporučivanje i RAG
- OpenAI nudi
text-embedding-3-large(3072 dim) itext-embedding-3-small(1536 dim)