Sissejuhatus manustesse
Sellel lehel
Uuendatud 2. novembril 2026 – Mudelid. Mistral Large 3 (
mistral-large-2512) ja Mistral Medium 3.5 tunnistati aegunuks 31. oktoobril 2026 ning need eemaldatakse kasutusest 30. aprillil 2027. Nende määratud järeltulija, Mistral Large 4 (mistral-large-4), on olnud avalikus eelvaates alates 6. oktoobrist. Selles kursuses kasutatavad näited põhinevad aliasselmistral-large-latest, mis viitab ametliku spetsifikatsiooni kohaselt endiselt Mistral Large 3-le (kontrollitud 3. novembril 2026). Samuti viitab aliasmistral-medium-latestmudelile Mistral Medium 3.5. Need aliased kehtivad kuni 30. aprillini 2027. Uute projektide jaoks testi nende määratud järeltulijatmistral-large-4.
Mis on manus (embedding)?
Manus on teksti numbriline esitus vektorina mitmemõõtmelises ruumis. Iga sõna, lause või dokument muundatakse arvude loendiks ehk vektoriks, mis haarab selle semantilist tähendust. Selle teisenduse põhjus on lihtne: arvutid ei mõista toorteksti, nad töötavad arvudega. Manused tõlgivad inimkeele vormingusse, mida algoritmid saavad manipuleerida, võrrelda ja analüüsida.
Kujuta ette klienditoe meeskonda, kes arhiveerib kümne aasta pikkust pöördumiste ajalugu. Seni, kuni need pöördumised on lihttekstina, on ainus võimalik mehaaniline toiming täpne märksõnade otsing: otsides sõna “tarne”, ei leia sa kunagi sõna “saadetis”. Kui pöördumised kodeeritakse vektoriteks, muutuvad need ruumis võrreldavateks punktideks. “Mu pakett ei jõudnud kunagi kohale” grupeerub koos “tellimus ei ole kätte saadud”, kuigi neil pole ühtegi ühist sõna.
Vektorid ja semantiline ruum
Kujuta ette ruumi paljude mõõtmetega (näiteks 1024 mõõdet mudeli mistral-embed puhul). Iga tekst hõivab selles ruumis täpse asukoha ja sarnase tähendusega tekstid satuvad üksteisele geomeetriliselt lähedale.
# Manus on lihtsalt arvude loend
embedding_example = [0.0234, -0.1567, 0.0891, 0.0456] # tegelikkuses 1024 väärtust
# Kahel sarnasel lausel on lähedased vektorid
sentence_1 = "The cat sleeps on the couch" # -> vektor A
sentence_2 = "The feline dozes on the sofa" # -> vektor B (lähedal A-le)
sentence_3 = "The stock market crashed yesterday" # -> vektor C (kaugel A-st ja B-st)
Just see omadus teeb manused nii võimsaks: geomeetriline lähedus peegeldab semantilist lähedust. Mudel ei õppinud reeglit, et “feline” on sõna “cat” sünonüüm. Selle asemel õppis ta paigutama need kaks sõna sarnastesse kontekstidesse, mis on piisav, et tuua vektorid A ja B üksteisele lähemale, hoides C eraldi.
Kaugus sarnasuse mõõduna
Et teha kindlaks, kas kaks teksti on sarnased, mõõdad nende vektorite vahelist kaugust. Selles valdkonnas domineerivad kolm meetrikat. Eukleidiline kaugus vastab kahe punkti vahelisele sirgjoonele: mida lühem on joon, seda sarnasemad on tekstid. Koosiinussarnasus mõõdab kahe vektori vahelist nurka; 0° nurk (koosiinus = 1) tähendab, et tekstid on semantiliselt identsed. Lõpuks on skalaarkorrutis arvutuslikult kiire, mis seletab, miks seda kasutatakse sageli järjestamiseks.
Koosiinussarnasusest sai standard, kuna see ignoreerib vektori pikkust. Võrdle kolmerealist lepingu kokkuvõtet neljakümneleheküljelise täislepinguga. Eukleidiline kaugus karistaks kokkuvõtet, kuigi see käsitleb täpselt sama teemat, samas kui kahe vektori vaheline nurk jääb väikeseks.
import numpy as np
def cosine_similarity(vec_a, vec_b):
"""Arvuta kahe vektori vaheline koosiinussarnasus."""
dot_product = np.dot(vec_a, vec_b)
norm_a = np.linalg.norm(vec_a)
norm_b = np.linalg.norm(vec_b)
return dot_product / (norm_a * norm_b)
# Tulemus vahemikus -1 kuni 1
# 1.0 = identsed, 0.0 = mitteseotud, -1.0 = vastandid
Manuste rakendused
Manused on paljude kaasaegsete rakenduste aluseks ja tasub vaadata, kuidas igaüks neist praktikas välja näeb. Semantiline otsing leiab dokumente tähenduse, mitte täpsete märksõnade põhjal: sisene protseduuride andmebaas vastab küsimusele “mida teha, kui klient keeldub tarne vastuvõtmisest”, isegi kui protseduuri pealkiri on “tagastuste haldamine laos”. RAG (Retrieval-Augmented Generation) viib selle loogika veelgi kaugemale, sisestades leitud dokumendid suure keelemudeli (LLM) sisendisse, võimaldades sellel vastata sinu andmete, mitte oma treeningumälu põhjal.
Kolm muud kasutusjuhtu tuginevad samale geomeetriale. Teksti klassifitseerimine kategoriseerib dokumente automaatselt, vaadates, millisele teadaolevale grupile nende vektor kõige lähemal on – saabuv e-kiri satub kategooriasse “arveldamine” või “tehniline tugi” ilma ühegi käsitsi kirjutatud reeglita. Duplikaatide tuvastamine märkab andmebaasis peaaegu identset sisu, hoides ära sama tootelehe topeltavaldamise, kui kaks meeskonda on selle kirjutanud. Klasterdamine grupeerib dokumente teemade kaupa ilma eelnevalt määratletud siltideta, mis on levinud meetod struktuurita tekstikogumike mõtestamiseks. Lõpuks soovitavad soovitussüsteemid sarnast sisu, täpselt nagu “seotud artiklid” mehhanism lehe allosas.
Miks valida manuste jaoks Mistral?
Mistral pakub kahte spetsialiseeritud manuste mudelit. mistral-embed töötleb loomulikku keelt ja loob 1024 mõõtmega vektoreid; codestral-embed on treenitud lähtekoodil ja ulatub kuni 3072 mõõtmeni. Valik nende vahel sõltub sinu toormaterjali olemusest: kas tegemist on kirjaliku dokumentatsiooniga või .py ja .ts failidega.
Neile mudelitele pääsed ligi lihtsa API kaudu, mis pakub suurepärast hinna ja jõudluse suhet. Järgmistes tundides õpid, kuidas neid praktikas kasutada.
Peamised punktid
- Manus teisendab teksti mitmemõõtmeliseks numbriliseks vektoriks
- Vektorite geomeetriline lähedus peegeldab semantilist sarnasust
- Koosiinussarnasus on kõige levinum meetrik manuste võrdlemisel
- Mistral pakub kahte mudelit: mistral-embed (tekst) ja codestral-embed (kood)
- Manused on RAG-i, semantilise otsingu ja klasterdamise aluseks