Ievads iegulumos (Embeddings)
Šajā lapā
Atjaunināts 2026. gada 2. novembrī — Modeļi. Mistral Large 3 (
mistral-large-2512) un Mistral Medium 3.5 tika pārtraukti 2026. gada 31. oktobrī, un to darbība tiks pilnībā izbeigta 2027. gada 30. aprīlī. To noteiktais pēctecis, Mistral Large 4 (mistral-large-4), kopš 6. oktobra ir publiskās priekšskatīšanas režīmā. Šī kursa piemēros tiek izmantots aliasmistral-large-latest, kas saskaņā ar tā oficiālo specifikāciju (pārbaudīts 2026. gada 3. novembrī) joprojām norāda uz Mistral Large 3. Līdzīgimistral-medium-latestnorāda uz Mistral Medium 3.5. Šie aliasi būs derīgi līdz 2027. gada 30. aprīlim. Jauniem projektiem testēmistral-large-4, kas ir to noteiktais pēctecis.
Kas ir iegulums (embedding)?
Iegulums ir skaitlisks teksta attēlojums kā vektors daudzdimensiju telpā. Katrs vārds, teikums vai dokuments tiek pārveidots par skaitļu sarakstu — vektoru — kas fiksē tā semantisko nozīmi. Šīs transformācijas iemesls ir vienkāršs: datori nesaprot neapstrādātu tekstu; tie strādā ar skaitļiem. Iegulumi pārvērš cilvēka valodu formātā, ko algoritmi var manipulēt, salīdzināt un analizēt.
Iedomājies klientu atbalsta komandu, kas arhivē desmit gadu biļetes. Kamēr šīs biļetes paliek vienkāršs teksts, vienīgā mehāniskā operācija, ko var veikt, ir precīza atslēgvārdu meklēšana: meklējot “piegāde”, nekad neatradīsi “sūtījumu”. Tiklīdz biļetes tiek kodētas kā vektori, tās kļūst par salīdzināmiem punktiem telpā. “Mans sūtījums nekad neieradās” grupējas kopā ar “pasūtījums nav saņemts”, lai gan tiem nav kopīgu vārdu.
Vektori un semantiskā telpa
Iedomājies telpu ar daudzām dimensijām (piemēram, 1024 dimensijas priekš mistral-embed). Katrs teksts ieņem precīzu pozīciju šajā telpā, un teksti ar līdzīgu nozīmi nonāk ģeometriski tuvu viens otram.
# Iegulums ir vienkārši skaitļu saraksts
embedding_example = [0.0234, -0.1567, 0.0891, 0.0456] # realitātē 1024 vērtības
# Diviem līdzīgiem teikumiem būs tuvi vektori
sentence_1 = "The cat sleeps on the couch" # -> vektors A
sentence_2 = "The feline dozes on the sofa" # -> vektors B (tuvs A)
sentence_3 = "The stock market crashed yesterday" # -> vektors C (tāls no A un B)
Šī īpašība padara iegulumus tik spēcīgus: ģeometriskais tuvums atspoguļo semantisko tuvumu. Modelis nekad nav iemācījies likumu, ka “feline” (kaķu dzimtas) ir sinonīms vārdam “cat” (kaķis). Tā vietā tas ir iemācījies novietot šos divus vārdus līdzīgos kontekstos, kas ir pietiekami, lai tuvinātu vektorus A un B, vienlaikus turot C atstatumā.
Attālums kā līdzības mērs
Lai noteiktu, vai divi teksti ir līdzīgi, tu mēri attālumu starp to vektoriem. Šajā jomā dominē trīs metrikas. Eiklīda attālums atbilst taisnai līnijai starp diviem punktiem: jo īsāka līnija, jo līdzīgāki ir teksti. Kosinusa līdzība mēra leņķi starp diviem vektoriem; 0° leņķis (kosinuss = 1) nozīmē, ka teksti ir semantiski identiski. Visbeidzot, skalārais reizinājums (dot product) ir ātri aprēķināms, kas izskaidro, kāpēc to bieži izmanto rangēšanai.
Kosinusa līdzība kļuva par standartu, jo tā ignorē vektora garumu. Salīdzini trīs rindu līguma kopsavilkumu ar pilnu četrdesmit lappušu līgumu. Eiklīda attālums sodīs kopsavilkumu, lai gan tas aptver tieši to pašu tēmu, turpretī leņķis starp abiem vektoriem paliek mazs.
import numpy as np
def cosine_similarity(vec_a, vec_b):
"""Aprēķina kosinusa līdzību starp diviem vektoriem."""
dot_product = np.dot(vec_a, vec_b)
norm_a = np.linalg.norm(vec_a)
norm_b = np.linalg.norm(vec_b)
return dot_product / (norm_a * norm_b)
# Rezultāts no -1 līdz 1
# 1.0 = identiski, 0.0 = nesaistīti, -1.0 = pretēji
Iegulumu pielietojumi
Iegulumi ir daudzu mūsdienu lietotņu pamatā, un ir vērts apskatīt, kā katra no tām izskatās praksē. Semantiskā meklēšana atrod dokumentus pēc nozīmes, nevis pēc precīziem atslēgvārdiem: iekšējā procedūru datubāze atbild uz jautājumu “ko darīt, ja klients atsakās no piegādes”, pat ja procedūra ir nosaukta “atgriezumu apstrāde noliktavā”. RAG (Retrieval-Augmented Generation) attīsta šo loģiku tālāk, ievadot atrastos dokumentus LLM uzvednē (prompt), ļaujot tam sniegt atbildes, balstoties uz taviem datiem, nevis tikai uz tā apmācības atmiņu.
Trīs citi lietojumi izmanto to pašu ģeometriju. Teksta klasifikācija automātiski kategorizē dokumentus, novērojot, kurai zināmai grupai to vektors ir vistuvākais — ienākošs e-pasts nonāk kategorijā “rēķini” vai “tehniskais atbalsts” bez jebkādiem manuāli rakstītiem noteikumiem. Dublikātu noteikšana atklāj gandrīz identisku saturu datubāzē, novēršot viena un tā paša produkta apraksta publicēšanu divreiz, jo to ir uzrakstījušas divas dažādas komandas. Klasterizācija grupē dokumentus pēc tēmām bez iepriekš definētām etiķetēm, kas ir izplatīta metode, lai saprastu korpusu, kura struktūra nevienam nav zināma. Visbeidzot, ieteikumu sistēmas piedāvā līdzīgu saturu, tieši tāpat kā mehānisms “saistītie raksti” lapas apakšdaļā.
Kāpēc Mistral iegulumiem?
Mistral piedāvā divus specializētus iegulumu modeļus. mistral-embed apstrādā dabisko valodu un ģenerē 1024 dimensijas; codestral-embed ir apmācīts uz pirmkodu un sasniedz līdz 3072 dimensijām. Tu izvēlies starp tiem atkarībā no izejmateriāla rakstura: no vienas puses rakstītā dokumentācija, no otras — .py vai .ts faili.
Šie modeļi ir pieejami, izmantojot vienkāršu API ar izcilu cenas un veiktspējas attiecību. Turpmākajās nodarbībās tu iemācīsies, kā tos izmantot praksē.
Galvenās atziņas
- Iegulums pārveido tekstu daudzdimensiju skaitliskā vektorā
- Ģeometriskais tuvums starp vektoriem atspoguļo semantisko līdzību
- Kosinusa līdzība ir visizplatītākā metrika iegulumu salīdzināšanai
- Mistral piedāvā divus modeļus: mistral-embed (teksts) un codestral-embed (kods)
- Iegulumi ir RAG, semantiskās meklēšanas un klasterizācijas pamatā