Mis on manustamine: intuitsioon
Sellel lehel
Eesmärgid
- Mõista, mis on manustamine ja miks see oluline on
- Haara sõnavektorite geomeetriline intuitsioon
- Avasta peamised kasutusjuhud
Probleem: masinad ei mõista teksti
Keelemudelid töötavad numbrite, mitte sõnadega. Enne kui masin suudab teksti võrrelda, otsida või selle üle arutleda, pead teisendama selle teksti kasutatavaks numbriliseks esituseks. Peamine küsimus on: milliseks esituseks?
Lihtsustatud lähenemine: sõnade kott
Lihtsaim meetod loendab iga sõna esinemiskordi. See on küll sirgjooneline, kuid eirab täielikult tähendust. Võta laused „Kass sööb hiirt“ ja „Hiir sööb kassi“: mõlemad laused sisaldavad täpselt samu sõnu samades proportsioonides, nii et need tekitavad täpselt sama esituse, kuigi kirjeldavad vastandlikke stseene. Samuti eksisteerib vastupidine probleem: „Auto“ ja „Sõiduauto“ viitavad samale asjale, kuid kuna tegemist on kahe erineva märgijadaga, käsitleb sõnade koti meetod neid kui omavahel seostamata mõisteid. Sõnajärjestus ja sünonüümid – kaks keele sammast – jäävad sellest meetodist täielikult välja.
Manustamised: tähenduse püüdmine
Manustamine on tihe vektor – ujukomaarvude loend –, mis haarab teksti semantilise tähenduse. Kahel sarnase tähendusega tekstil on vektorid, mis asuvad ruumis teineteisele lähedal, sõltumata kasutatud konkreetsetest sõnadest. Siin on näide, kuidas üks selline genereerida:
from openai import OpenAI
client = OpenAI()
# Generate an embedding
response = client.embeddings.create(
input="Artificial intelligence is transforming the industry",
model="text-embedding-3-large"
)
vector = response.data[0].embedding
print(f"Vector dimension: {len(vector)}") # 3072
print(f"First elements: {vector[:5]}")
See 3072 numbri koosnev vektor kodeerib lause tähenduse, kusjuures iga mõõde haarab semantika erinevat aspekti. Sa ei pea teadma, mida tähistab 417. mõõde: oluline on, et üldine konfiguratsioon püsiks stabiilsena ja oleks tekstide lõikes võrreldav.
Geomeetriline intuitsioon
Kujutle kolmemõõtmelist ruumi, kus iga sõna või fraas hõivab kindla punkti. „Kuningas“ ja „Kuninganna“ satuvad kõrvuti, kuna nad jagavad enamikku oma tähendusest. „Õun“ ja „Apelsin“ moodustavad teise naabruskonna, mis asub esimesest kaugel. „Koer“ ja „Kass“ moodustavad veel ühe klastrite rühma. Just see ruumiline korraldus võimaldab võrdlemist: kahe punkti vahelise kauguse mõõtmine on samaväärne kahe tähenduse sarnasuse mõõtmisega.
Tegelikult kasutavad kaasaegsed manustamised tuhandeid mõõtmeid – text-embedding-3-large puhul 3072 –, võimaldades haarata nüansse, mis on palju peenemad kui meie lihtne kolme teljega vaimne mudel.
Kuulus analoogia
Manustamised haaravad ka regulaarseid semantilisi seoseid nii hästi, et saad neid aritmeetika abil manipuleerida. Klassikaline näide näeb välja selline:
vector("King") - vector("Man") + vector("Woman") ≈ vector("Queen")
Teisisõnu, „meessoost“ komponendi lahutamine ja „naissoost“ komponendi liitmine nihutab punkti „Kuningas“ suunalt „Kuninganna“ poole. See omadus näitab, et abstraktsed mõisted nagu sugu, kuninglikkus või suurus on kodeeritud struktureeritud viisil, mitte juhuslikult laiali pillutatuna.
Millega manustamisi kasutatakse?
Esimene kasutusjuht on semantiline otsing: täpsete märksõnade otsimise asemel võrdled päringu tähendust dokumentide tähendusega. Külastaja, kes sisestab „Kuidas oma kutsikat toita?“, leiab artikli pealkirjaga „Noore koera toitmine“, kuigi need kaks fraasi ei jaga ühtegi ühist sõna.
Teine on klassifitseerimine: kuna sama teemaga tekstid klastruvad ruumis loomulikult kokku, saad automaatselt sorteerida tugipileteid, meile või artikleid, kirjutamata ühtegi käsitsi reeglit. Soovitamine tugineb samale mehhanismile, vaadatuna teisest otsast: et pakkuda kasutajale sisu, otsid vektoreid, mis on kõige lähemal sellele, mida ta on juba vaadanud.
Lõpuks on olemas RAG (Retrieval-Augmented Generation – otsinguga täiendatud genereerimine), mis rikastab suure keelemudeli vastust asjakohaste dokumentidega, mis on leitud semantilise sarnasuse kaudu. See on selle kursuse lipulaevaks olev kasutusjuhtum ja see ühendab kõiki teisi: indekseerimist, võrdlemist ja järjestamist.
Mis muutus aastatel 2025–2026
OpenAI manustamiste API pakub nüüd kahte peamist mudelit:
| Mudel | Mõõtmed | Soovitatav kasutus |
|---|---|---|
text-embedding-3-large | 3,072 | Kõrge täpsus, RAG, otsing |
text-embedding-3-small | 1,536 | Madalam kulu, klassifitseerimine, soovitamine |
Need mudelid toetavad mõõtmete vähendamist: saad taotleda lühemat vektorit, näiteks 256 mõõtmega, et säästa salvestusruumi kvaliteedi kontrollitud kaotuse arvelt. Miljonist tükist koosnev korpus väheneb seega mitmelt kümnelgelt gigabaidilt vaid mõnele, muutes fundamentaalselt infrastruktuuri nõudeid.
Kokkuvõte
- Manustamine teisendab teksti tihedaks numbriliseks vektoriks
- Semantiliselt sarnaste tekstide vektorid asuvad teineteisele lähedal
- Peamised kasutusjuhud hõlmavad otsingut, klassifitseerimist, sovitamist ja RAG-i
- OpenAI pakub mudeleid
text-embedding-3-large(3072 mõõdet) jatext-embedding-3-small(1536 mõõdet)