Įvadas į įterpinius (Embeddings)
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 2 d. – Modeliai. „Mistral Large 3“ (
mistral-large-2512) ir „Mistral Medium 3.5“ buvo pripažinti pasenusiais 2026 m. spalio 31 d. ir bus visiškai nutraukti 2027 m. balandžio 30 d. Jų įpėdinis, Mistral Large 4 (mistral-large-4), viešojo peržiūros etapo metu yra nuo spalio 6 d. Šiame kurse naudojami pavyzdžiai remiasi aliasumistral-large-latest, kuris pagal oficialią specifikaciją (patikrinta 2026 m. lapkričio 3 d.) vis dar nukreipia į „Mistral Large 3“. Panašiaimistral-medium-latestnukreipia į „Mistral Medium 3.5“. Šie aliasai galios iki 2027 m. balandžio 30 d. Naujiems projektams testuokitemistral-large-4– jų numatytą įpėdinį.
Kas yra įterpinys (embedding)?
Įterpinys (embedding) yra skaitmeninis teksto atvaizdavimas kaip vektorius daugiamatėje erdvėje. Kiekvienas žodis, sakinys ar dokumentas paverčiamas skaičių sąrašu – vektoriumi, kuris fiksuoja jo semantinę prasmę. Šio virsmo priežastis paprasta: kompiuteriai nesupranta žaliavinio teksto; jie dirba su skaičiais. Įterpiniai paverčia žmogaus kalbą formatu, kurį algoritmai gali manipuliuoti, lyginti ir analizuoti.
Įsivaizduokite klientų aptarnavimo komandą, archyvuojančią dešimties metų trukmės bilietus. Kol šie bilietai lieka paprastu tekstu, vienintelė galima mechaninė operacija yra tikslus raktažodžių paieška: ieškant „pristatymas“ niekada nerasi „siuntos“. Kai bilietai užkoduojami kaip vektoriai, jie tampa palyginamais taškais erdvėje. „Mano siunta taip ir neatvyko“ susigrupuoja su „užsakymas negautas“, nors jie ir neturi bendrų žodžių.
Vektoriai ir semantinė erdvė
Įsivaizduokite erdvę su daugybe matmenų (pavyzdžiui, 1024 matmenys modelio mistral-embed atveju). Kiekvienas tekstas užima tikslią poziciją šioje erdvėje, o panašios prasmės tekstai atsiduria geometriškai arti vienas kito.
# Įterpinys yra tiesiog skaičių sąrašas
embedding_example = [0.0234, -0.1567, 0.0891, 0.0456] # realybėje 1024 reikšmės
# Du panašūs sakiniai turės artimus vektorius
sentence_1 = "The cat sleeps on the couch" # -> vektorius A
sentence_2 = "The feline dozes on the sofa" # -> vektorius B (artimas A)
sentence_3 = "The stock market crashed yesterday" # -> vektorius C (tolimas nuo A ir B)
Ši savybė daro įterpinius tokiais galingais: geometrinis artumas atspindi semantinį artumą. Modelis neišmoko taisyklės, kad „feline“ (katinių šeimos gyvūnas) yra „cat“ (katė) sinonimas. Vietoj to, jis išmoko šiuos du žodžius talpinti į panašius kontekstus, o to pakanka, kad vektoriai A ir B priartėtų vienas prie kito, o C liktų atskirai.
Atstumas kaip panašumo matas
Norint nustatyti, ar du tekstai yra panašūs, reikia išmatuoti atstumą tarp jų vektorių. Šioje srityje dominuoja trys metrikos. Euklido atstumas atitinka tiesią liniją tarp dviejų taškų: kuo trumpesnė linija, tuo tekstai panašesni. Kosinusinis panašumas matuoja kampą tarp dviejų vektorių; 0° kampas (kosinusas = 1) reiškia, kad tekstai semantiškai identiški. Galiausiai, skaliarinė sandauga yra greitai apskaičiuojama, todėl ji dažnai naudojama reitingavimui.
Kosinusinis panašumas tapo standartu, nes jis ignoruoja vektoriaus ilgį. Palyginkite trijų eilučių sutarties santrauką su pilna keturiasdešimties puslapių sutartimi. Euklido atstumas nubaus santrauką, nors ji apima tą pačią temą, tuo tarpu kampas tarp dviejų vektorių lieka mažas.
import numpy as np
def cosine_similarity(vec_a, vec_b):
"""Apskaičiuoja kosinusinį panašumą tarp dviejų vektorių."""
dot_product = np.dot(vec_a, vec_b)
norm_a = np.linalg.norm(vec_a)
norm_b = np.linalg.norm(vec_b)
return dot_product / (norm_a * norm_b)
# Rezultatas nuo -1 iki 1
# 1.0 = identiški, 0.0 = nesusiję, -1.0 = priešingi
Įterpinių taikymo sritys
Įterpiniai yra daugelio šiuolaikinių programų pagrindas, todėl verta pamatyti, kaip kiekviena iš jų atrodo praktiškai. Semantinė paieška randa dokumentus pagal prasmę, o ne pagal tikslius raktažodžius: vidinė procedūrų duomenų bazė atsako į klausimą „ką daryti, jei klientas atsisako pristatymo“, net jei procedūra pavadinta „grąžinimų valdymas sandėlyje“. RAG (Retrieval-Augmented Generation – generavimas, papildytas gavimu) šią logiką vysto toliau, įterpdamas gautus dokumentus į didžiojo kalbos modelio (LLM) užklausą, leisdamas jam atsakyti remiantis jūsų duomenimis, o ne mokymosi atmintimi.
Trys kiti naudojimo atvejai taip pat pasitelkia tą pačią geometriją. Teksto klasifikavimas automatiškai kategorizuoja dokumentus stebint, kuriai žinomai grupei jų vektorius yra artimiausias – gaunamas el. laiškas atsiduria kategorijoje „sąskaitos“ arba „techninė pagalba“ be jokių rankiniu būdu rašytų taisyklių. Dublikatų aptikimas pastebi beveik identišką turinį duomenų bazėje, neleidžiant du kartus publikuoti to paties produkto aprašo, kurį parašė dvi skirtingos komandos. Klasterizavimas sugrupuoja dokumentus pagal temas be iš anksto nustatytų etikečių; tai dažnas būdas suprasti korpusą, kurio struktūros niekas nežino. Galiausiai, rekomendacijų sistemos siūlo panašų turinį, tiksliai taip pat, kaip ir „susiję straipsniai“ mechanizmas puslapio apačioje.
Kodėl verta rinktis „Mistral“ įterpiniams?
„Mistral“ siūlo du specializuotus įterpinių modelius. mistral-embed apdoroja natūraliąją kalbą ir sukuria 1024 matmenų vektorius; codestral-embed yra mokytas su programiniu kodu ir siekia iki 3072 matmenų. Renkatės tarp jų pagal savo žaliavos pobūdį: viena vertus – rašytinė dokumentacija, kita vertus – .py arba .ts failai.
Šie modeliai pasiekiami per paprastą API, pasižymintį puikiu kainos ir našumo santykiu. Kitose pamokose išmoksi, kaip juos naudoti praktiškai.
Svarbiausi punktai
- Įterpinys paverčia tekstą daugiamatiu skaitmeniniu vektoriumi
- Geometrinis vektorių artumas atspindi semantinį panašumą
- Kosinusinis panašumas yra dažniausiai naudojama metrika įterpiniams lyginti
- „Mistral“ siūlo du modelius: mistral-embed (tekstui) ir codestral-embed (kodui)
- Įterpiniai yra RAG, semantinės paieškos ir klasterizavimo pagrindas