Mikä on upotus: intuitio
Tällä sivulla
Tavoitteet
- Ymmärtää, mitä upotus on ja miksi se on tärkeä
- Hahmottaa sanavektoreiden geometrinen intuitio
- Tutustua tärkeimpiin käyttötarkoituksiin
Ongelma: koneet eivät ymmärrä tekstiä
Kielimallit käsittelevät lukuja, eivät sanoja. Ennen kuin kone voi vertailla, hakea tai päätellä tekstistä, sinun on muutettava teksti käyttökelpoiseksi numeeriseksi esitykseksi. Keskeinen kysymys kuuluu: millainen esitys?
Naiivi lähestymistapa: sanapussi
Yksinkertaisin menetelmä laskee kunkin sanan esiintymiskerrat. Se on suoraviivaista, mutta jättää merkityksen täysin huomiotta. Ota esimerkiksi lauseet “Kissa syö hiiren” ja “Hiiri syö kissan”: molemmissa lauseissa on täsmälleen samat sanat samoissa suhteissa, joten ne tuottavat täysin saman esityksen, vaikka ne kuvaavat vastakkaisia tilanteita. Käänteinen ongelma on myös olemassa: “Auto” ja “Henkilöauto” viittaavat samaan asiaan, mutta koska ne ovat kaksi erillistä merkkijonoa, sanapussi-menetelmä kohtelee niitä toisistaan riippumattomina käsitteinä. Sanajärjestys ja synonyymit – kaksi kielen peruspilaria – karkaavat tältä menetelmältä kokonaan.
Upotukset: merkityksen tallentaminen
Upotus on tiheä vektori – liukulukujen lista – joka tallentaa tekstin semanttisen merkityksen. Kahden tekstin, joilla on samankaltainen merkitys, vektorit sijaitsevat avaruudessa lähellä toisiaan riippumatta käytetyistä sanoista. Näin luot sellaisen:
from openai import OpenAI
client = OpenAI()
# Generate an embedding
response = client.embeddings.create(
input="Artificial intelligence is transforming the industry",
model="text-embedding-3-large"
)
vector = response.data[0].embedding
print(f"Vector dimension: {len(vector)}") # 3072
print(f"First elements: {vector[:5]}")
Tämä 3 072 luvun vektori koodaa lauseen merkityksen siten, että jokainen ulottuvuus sieppaa eri näkökulman semantiikasta. Sinun ei tarvitse tietää, mitä ulottuvuus 417 edustaa: oleellista on, että kokonaiskonfiguraatio pysyy vakaana ja vertailukelpoisena tekstien välillä.
Geometrinen intuitio
Kuvittele kolmiulotteinen avaruus, jossa jokainen sana tai fraasi vie oman pisteensä. “Kuningas” ja “kuningatar” päätyvät vierekkäin, koska ne jakavat suurimman osan merkityksestään. “Omena” ja “appelsiini” muodostavat toisen naapuruston kaukana ensimmäisestä. “Koira” ja “kissa” muodostavat vielä yhden klusterin. Tämä tilallinen organisaatio mahdollistaa vertailun: kahden pisteen välisen etäisyyden mittaaminen vastaa kahden merkityksen samankaltaisuuden mittaamista.
Todellisuudessa nykyaikaiset upotukset käyttävät tuhansia ulottuvuuksia – 3 072 mallille text-embedding-3-large – mikä mahdollistaa paljon hienovaraisempien sävyjen sieppaamisen kuin yksinkertainen kolmen akselin mielikuvitusmallimme.
Kuuluisa analogia
Upotukset sieppaavat myös säännöllisiä semanttisia suhteita siinä määrin, että niitä voi manipuloida aritmetiikalla. Klassinen esimerkki näyttää tältä:
vector("King") - vector("Man") + vector("Woman") ≈ vector("Queen")
Toisin sanoen “mies”-komponentin vähentäminen ja “nainen”-komponentin lisääminen siirtää pistettä kohdasta “kuningas” kohti kohtaa “kuningatar”. Tämä ominaisuus osoittaa, että abstraktit käsitteet kuten sukupuoli, kuninkaallisuus tai koko on koodattu jäsennellyllä tavalla, ei satunnaisesti hajautettuna.
Mihin upotuksia käytetään?
Ensimmäinen käyttötarkoitus on semanttinen haku: tarkkojen avainsanojen etsimisen sijaan vertaat kyselyn merkitystä dokumenttien merkitykseen. Vierailija, joka kirjoittaa “Miten ruokin pentua?”, löytää artikkelin otsikolla “Nuoren koiran ruokinta”, vaikka lauseet eivät jakaisi yhtään yhteistä sanaa.
Toinen on luokittelu: koska samaa aihetta käsittelevät tekstit klusteroituvat luonnostaan yhteen avaruudessa, voit lajitella tukipyyntöjä, sähköposteja tai artikkeleita automaattisesti kirjoittamatta yhtään manuaalista sääntöä. Suositusjärjestelmät perustuvat samaan mekanismiin, mutta tarkasteltuna toisesta päästä: ehdottaaksesi sisältöä käyttäjälle etsit vektoreita, jotka ovat lähimpänä niitä, joita hän on jo katsellut.
Lopuksi on RAG (Retrieval-Augmented Generation), joka rikastuttaa suuren kielimallin vastausta semanttisen samankaltaisuuden avulla löydetyillä asiaankuuluvilla dokumenteilla. Tämä on tämän kurssin lippulaivakäyttötapaus, ja se yhdistää kaikki muut: indeksoinnin, vertailun ja sijoituksen.
Mikä muuttui vuosina 2025–2026
OpenAI:n Embeddings API tarjoaa nyt kahta päämallia:
| Malli | Ulottuvuudet | Suositeltu käyttötarkoitus |
|---|---|---|
text-embedding-3-large | 3 072 | Korkea tarkkuus, RAG, haku |
text-embedding-3-small | 1 536 | Alhaisempi kustannus, luokittelu, suositus |
Nämä mallit tukevat ulottuvuuksien vähentämistä: voit pyytää lyhyempää vektoria, esimerkiksi 256 ulottuvuutta, säästääksesi tallennustilaa laadun hallitulla menetyksellä. Miljoonan osan korpus putoaa näin useista kymmenistä gigatavuista vain muutamaan, mikä muuttaa infrastruktuurivaatimuksia perusteellisesti.
Keskeiset asiat
- Upotus muuntaa tekstin tiheäksi numeeriseksi vektoriksi
- Semanttisesti samankaltaisilla teksteillä on lähellä toisiaan sijaitsevat vektorit
- Tärkeimpiä käyttötarkoituksia ovat haku, luokittelu, suositus ja RAG
- OpenAI tarjoaa mallit
text-embedding-3-large(3 072 ulottuvuutta) jatext-embedding-3-small(1 536 ulottuvuutta)