Kas ir iegulums: intuīcija
Šajā lapā
Mērķi
- Saprast, kas ir iegulums un kāpēc tas ir svarīgi
- Izprast ģeometrisko intuīciju aiz vārdu vektoriem
- Atklāt galvenos lietojumgadījumus
Problēma: mašīnas nesaprot tekstu
Valodu modeļi strādā ar skaitļiem, nevis vārdiem. Pirms mašīna var salīdzināt, meklēt vai spriest par tekstu, tev tas ir jāpārvērš lietojamā skaitliskā attēlojumā. Galvenais jautājums ir: kādā attēlojumā?
Naivā pieeja: vārdu maisiņš
Vienkāršākā metode saskaita katra vārda sastopamības biežumu. Tā ir vienkārša, taču pilnībā ignorē nozīmi. Paņem piemēru „Kaķis ēd peli” un „Pele ēd kaķi”: abos teikumos ir tieši tie paši vārdi tādās pašās proporcijās, tāpēc tie rada identisku attēlojumu, lai gan apraksta pretējas situācijas. Pastāv arī apgriezta problēma: „Automobiļs” un „Mašīna” apzīmē vienu un to pašu, taču, tā kā tās ir divas atšķirīgas rakstzīmju virknes, vārdu maisiņa pieeja tās uzskata par nesaistītiem jēdzieniem. Vārdu kārtība un sinonīmi – divi valodas stūrakmeņi – šai metodei pilnībā aizbēg.
Iegulumi: nozīmes fiksēšana
Iegulums ir blīvs vektors – peldošā komata skaitļu saraksts –, kas fiksē teksta semantisko nozīmi. Diviem tekstiem ar līdzīgu nozīmi būs vektori, kas telpā atrodas tuvu viens otram, neatkarīgi no izmantotajiem konkrētajiem vārdiem. Lūk, kā to ģenerēt:
from openai import OpenAI
client = OpenAI()
# Generate an embedding
response = client.embeddings.create(
input="Artificial intelligence is transforming the industry",
model="text-embedding-3-large"
)
vector = response.data[0].embedding
print(f"Vector dimension: {len(vector)}") # 3072
print(f"First elements: {vector[:5]}")
Šis 3072 skaitļu vektors kodē teikuma nozīmi, kur katra dimensija fiksē atšķirīgu semantikas aspektu. Tev nav jāzina, ko tieši apzīmē 417. dimensija: svarīgi ir tas, ka kopējā konfigurācija paliek stabila un salīdzināma starp dažādiem tekstiem.
Ģeometriskā intuīcija
Iedomājies trīsdimensiju telpu, kur katrs vārds vai frāze ieņem konkrētu punktu. „Karalis” un „Karaliene” nonāk blakus, jo tiem ir kopīga lielākā daļa nozīmes. „Ābols” un „Apelsīns” veido citu apkaimi, tālu no pirmās. „Suns” un „Kaķis” veido vēl vienu kopu. Tieši šī telpiskā organizācija ļauj veikt salīdzināšanu: attāluma mērīšana starp diviem punktiem ir līdzvērtīga līdzības mērīšanai starp divām nozīmēm.
Patiesībā mūsdienu iegulumi izmanto tūkstošiem dimensiju – 3072 priekš text-embedding-3-large –, ļaujot tiem fiksēt nianses, kas ir daudz smalkākas nekā mūsu vienkāršotais trīsasu garīgais modelis.
Slavenā analoģija
Iegulumi fiksē arī regulāras semantiskas sakarības tādā mērā, ka tās var manipulēt, izmantojot aritmētiku. Klasiskais piemērs izskatās šādi:
vector("King") - vector("Man") + vector("Woman") ≈ vector("Queen")
Citiem vārdiem sakot, atņemot „vīriešu” komponenti un pieskaitot „sieviešu” komponenti, punkts nobīdās no „Karalis” virzienā uz „Karaliene”. Šī īpašība parāda, ka abstrakti jēdzieni, piemēram, dzimums, valdnieka statuss vai izmērs, ir kodēti strukturētā veidā, nevis izkaisīti nejauši.
Kam izmanto iegulumus?
Pirmais lietojumgadījums ir semantiskā meklēšana: tā vietā, lai meklētu precīzus atslēgvārdus, tu salīdzini vaicājuma nozīmi ar dokumentu nozīmi. Apmeklētājs, kurš ievada „Kā barot savu kucēnu?”, atrastu rakstu ar nosaukumu „Jauna suņa barošana”, lai gan abās frāzēs nav neviena kopīga vārda.
Otrais ir klasifikācija: tā kā teksti par vienu un to pašu tēmu dabiski grupējas kopā telpā, tu vari automātiski šķirot atbalsta biļetes, e-pastus vai rakstus, nerakstot nevienu manuālu noteikumu. Ieteikumu sistēmas balstās uz to pašu mehānismu, tikai skatītu no otras puses: lai lietotājam ieteiktu saturu, tu meklē vektorus, kas ir vistuvākie tam, ko viņš jau ir apskatījis.
Visbeidzot, pastāv RAG (Retrieval-Augmented Generation – meklēšanas papildināta ģenerēšana), kas bagātina LLM atbildi ar atbilstošiem dokumentiem, kas atrasti, izmantojot semantisko līdzību. Tas ir šī kursa galvenais lietojumgadījums, un tas apvieno visus pārējos: indeksēšanu, salīdzināšanu un rangēšanu.
Kas mainījies 2025.–2026. gadā
OpenAI iegulumu API tagad piedāvā divus galvenos modeļus:
| Modelis | Dimensijas | Ieteicamais lietojums |
|---|---|---|
text-embedding-3-large | 3,072 | Augsta precizitāte, RAG, meklēšana |
text-embedding-3-small | 1,536 | Zemākas izmaksas, klasifikācija, ieteikumi |
Šie modeļi atbalsta dimensionalitātes samazināšanu: tu vari pieprasīt īsāku vektoru, piemēram, 256 dimensijas, lai ietaupītu krātuves vietu ar kontrolētu kvalitātes zudumu. Miljona fragmentu korpuss tādējādi samazinās no vairākām desmitām gigabaitu līdz tikai dažiem, fundamentāli mainot infrastruktūras prasības.
Kopsavilkums
- Iegulums pārvērš tekstu blīvā skaitliskā vektorā
- Tekstiem ar semantiski līdzīgu nozīmi ir tuvu esoši vektori
- Galvenie lietojumgadījumi ietver meklēšanu, klasifikāciju, ieteikumus un RAG
- OpenAI piedāvā
text-embedding-3-large(3072 dim) untext-embedding-3-small(1536 dim)