Kas yra įterpimas: intuicija
Šiame puslapyje
Tikslai
- Suprasti, kas yra įterpimas ir kodėl jis svarbus
- Perprasti geometrines žodžių vektorių intuicijas
- Atrasti pagrindinius naudojimo atvejus
Problema: mašinos nesupranta teksto
Kalbos modeliai dirba su skaičiais, o ne su žodžiais. Prieš mašinai palyginant, ieškant ar samprotaujant apie tekstą, tą tekstą reikia paversti tinkamu skaitiniu atvaizdu. Pagrindinis klausimas: kokiu atvaizdu?
Naivusis būdas: žodžių maišas
Paprastiausias metodas – suskaičiuoti kiekvieno žodžio pasikartojimus. Jis paprastas, tačiau visiškai ignoruoja prasmę. Paimkime sakinius „Katė ėda pelę“ ir „Pelė ėda katę“: abiejuose sakiniuose yra tie patys žodžiai tomis pačiomis proporcijomis, todėl gaunamas visiškai toks pats atvaizdas, nors aprašomos priešingos situacijos. Egzistuoja ir atvirkštinė problema: „Automobilis“ ir „Mašina“ reiškia tą patį, tačiau kadangi tai dvi skirtingos simbolių eilutės, žodžių maišo metodas jas laiko nesusijusiomis sąvokomis. Žodžių tvarka ir sinonimai – du kalbos pamatai – šiam metodui visiškai neprieinami.
Įterpimai: prasmės fiksavimas
Įterpimas yra tankus vektorius – slankiojo kablelio skaičių sąrašas – kuris fiksuoja teksto semantinę prasmę. Du panašios prasmės tekstai turės vektorius, erdvėje esančius arti vienas kito, nepaisant naudotų konkrečių žodžių. Štai kaip jį sugeneruoti:
from openai import OpenAI
client = OpenAI()
# Generate an embedding
response = client.embeddings.create(
input="Artificial intelligence is transforming the industry",
model="text-embedding-3-large"
)
vector = response.data[0].embedding
print(f"Vector dimension: {len(vector)}") # 3072
print(f"First elements: {vector[:5]}")
Šis 3 072 skaičių vektorius koduoja sakinio prasmę, kur kiekviena dimensija fiksuoja skirtingą semantikos aspektą. Tau nereikia žinoti, ką reiškia 417-oji dimensija: svarbu tai, kad bendra konfigūracija išlieka stabili ir palyginama tarp skirtingų tekstų.
Geometrinė intuicija
Įsivaizduok trimatę erdvę, kurioje kiekvienas žodis ar frazė užima tam tikrą tašką. „Karalius“ ir „Karalienė“ atsiduria greta, nes dalijasi didžiąja dalimi savo prasmės. „Obuolys“ ir „Apelsinas“ sudaro kitą kaimynystę, nutolusią nuo pirmosios. „Šuo“ ir „Katė“ sudaro dar vieną klasterį. Būtent ši erdvinė organizacija leidžia atlikti palyginimus: atstumo tarp dviejų taškų matavimas yra lygiavertis panašumo tarp dviejų prasmių matavimui.
Tikrovėje šiuolaikiniai įterpimai naudoja tūkstančius dimensijų – 3 072 modeliui text-embedding-3-large – todėl jie gali fiksuoti daug subtilesnius niuansus nei mūsų paprastas trijų ašių mentalinis modelis.
Garsioji analogija
Įterpimai taip pat fiksuoja taisyklingus semantinius ryšius iki tokio lygio, kad juos galima manipuliuoti aritmetiškai. Klasikinis pavyzdys atrodo taip:
vector("King") - vector("Man") + vector("Woman") ≈ vector("Queen")
Kitaip tariant, atėmus „vyrišką“ komponentą ir pridėjus „moterišką“ komponentą, taškas perkeliamas nuo „Karaliaus“ link „Karalienės“. Ši savybė rodo, kad abstrakčios sąvokos, tokios kaip lytis, karališkumas ar dydis, yra koduojamos struktūruotu būdu, o ne atsitiktinai išbarstytos.
Kam naudojami įterpimai?
Pirmasis naudojimo atvejis yra semantinė paieška: vietoj to, kad ieškotumėte tikslių raktažodžių, lyginate užklausos prasmę su dokumentų prasme. Lankytojas, įvedęs „Kaip maitinti šuniuką?“, ras straipsnį pavadinimu „Jauno šuns maitinimas“, nors šiose dviejose frazėse nėra bendrų žodžių.
Antrasis – klasifikavimas: kadangi tos pačios temos tekstai erdvėje natūraliai susitelkia į grupes, galite automatiškai rūšiuoti palaikymo bilietus, el. laiškus ar straipsnius nerašydami nė vienos rankinės taisyklės. Rekomendacijos remiasi tuo pačiu mechanizmu, tik žiūrint iš kitos pusės: norint pasiūlyti turinį naudotojui, ieškoma vektorių, artimiausių tiems, kuriuos jis jau peržiūrėjo.
Galiausiai, tai RAG (Retrieval-Augmented Generation – generavimas, papildytas gavimu), kuris praturtina didžiojo kalbos modelio (LLM) atsakymą relevantiškais dokumentais, rastais pagal semantinį panašumą. Tai yra pagrindinis šio kurso naudojimo atvejis, sujungiantis visus kitus: indeksavimą, palyginimą ir reitingavimą.
Kas pasikeitė 2025–2026 m.
„OpenAI“ įterpimų API dabar siūlo du pagrindinius modelius:
| Modelis | Dimensijos | Rekomenduojamas naudojimas |
|---|---|---|
text-embedding-3-large | 3,072 | Didelis tikslumas, RAG, paieška |
text-embedding-3-small | 1,536 | Mažesnė kaina, klasifikavimas, rekomendacijos |
Šie modeliai palaiko dimensijų mažinimą: galite paprašyti trumpesnio vektoriaus, pavyzdžiui, 256 dimensijų, kad sutaupytumėte saugojimo vietos, patirdami kontroliuojamą kokybės nuostolį. Milijono fragmentų korpusas taip sumažėja nuo kelių dešimčių gigabaitų iki vos kelių, iš esmės keičiant infrastruktūros reikalavimus.
Svarbiausi punktai
- Įterpimas paverčia tekstą tankiu skaitiniu vektoriumi
- Semantiškai panašūs tekstai turi artimus vektorius
- Pagrindiniai naudojimo atvejai: paieška, klasifikavimas, rekomendacijos ir RAG
- „OpenAI“ siūlo
text-embedding-3-large(3 072 dim.) irtext-embedding-3-small(1 536 dim.)