Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

LLM ir architektūra

Paskaita 11 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Pradedantisiems
Šiame puslapyje
  1. Kaip veikia kalbos modelis
  2. Kas yra LLM?
  3. Modelio parametrai
  4. „Transformer“ architektūra
  5. Ekspertų mišinys (MoE) – „Mistral“ ypatybė
  6. Modelio svoriai
  7. Dviejų etapų mokymas
  8. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 2 d. – „Le Chat“ dabar yra „Vibe“. Nuo 2026 m. gegužės 28 d. „Le Chat“ tapo „Vibe“ (vis dar adresu chat.mistral.ai): vienu agentu darbui ir kodui, perkeliančiu jūsų pokalbius, nustatymus ir prenumeratas. Senoji „Le Chat“ patirtis vis dar pasiekiama režimu „Chat“; režimu „Work“ agentai dabar yra įgūdžiai (kviečiami naudojant @), atmintys yra žinių bazė, o giluminė paieška – tai įgūdis „Deep Research“. Planai dabar vadinami „Mistral Free“, „Pro“, „Team“ ir „Enterprise“. Šioje pamokoje naudojamas pavadinimas „Vibe“; kai kurie čia aprašyti meniu pavadinimai arba vietos galėjo pasikeisti.

Kaip veikia kalbos modelis

Kalbos modeliu naudojatės kiekvieną kartą, kai „Vibe“ užduodate klausimą. Bet kas iš tikrųjų vyksta tarp momento, kai paspaudžiate „Enter“, ir momento, kai atsiranda atsakymas? Ši pamoka suteiks jums raktus suprasti pagrindinę architektūrą nesigilinant į matematines detales. Tai ne tik bendrosios žinios: mechanizmo supratimas padeda numatyti, ką modelis daro gerai, ką – prastai, ir kodėl.

Kas yra LLM?

LLM (didelis kalbos modelis) yra kompiuterinė programa, apmokyta didžiuliais teksto kiekiais, kad išmoktų numatyti kitą sakinio žodį. Šis principas atrodo apgaulingai paprastas, tačiau taikomas dideliu mastu jis duoda stebėtinai nuoseklių ir naudingų rezultatų. Konkrečiai, kai užduodate klausimą „Mistral Small 4“, modelis elgiasi taip:

  1. Jūsų tekstą paverčia tokenais
  2. Šiuos tokenus apdoroja atlikdamas milijardus skaičiavimų
  3. Numato tikimiausią tokeną, kuris turėtų eiti po to
  4. Kartoją operaciją tokenas po tokeno, kol užbaigia atsakymą

Tai paaiškina reiškinį, kurį pastebėjote jau per pirmąjį bendravimą: atsakymas ekrane atsiranda palaipsniui (srautiniu būdu), nes modelis iš tikrųjų generuoja atsakymą žodis po žodžio. Tai, ką matote slenkant, nėra vaizdo artefaktas – tai pats generavimas realiuoju laiku.

Modelio parametrai

Kai kalbame apie „7 mlrd. parametrų“ arba „14 mlrd. parametrų“ modelį, turime omenyje modelio turimų reguliuojamų skaitmeninių ryšių skaičių. Šie parametrai yra modelio svoriai. Norint pateikti analogiją: jei modelis būtų smegenys, parametrai būtų sinapsės – ryšiai tarp neuronų. Kuo daugiau parametrų, tuo daugiau niuansų ir sudėtingų kalbos ryšių modelis gali užfiksuoti.

Tačiau būkite atsargūs ir nepaverskite šio skaičiaus vieninteliu kriterijumi: didesnis modelis nebūtinai yra geresnis. Efektyvumas vienodai priklauso nuo mokymo duomenų kokybės – švarūs ir įvairūs duomenys duoda geresnių rezultatų, – nuo modelio architektūros, tai yra, kaip parametrai yra organizuoti, nuo naudojamų mokymo technikų, skirtų šiems parametrams derinti, ir nuo tikslinio derinimo (fine-tuning) – patobulinimo po mokymo konkrečioms užduotims. Būtent tai leidžia „Mistral“ konkuruoti su daug didesniais modeliais: efektyvi architektūra ir aukštos kokybės mokymo duomenys.

„Transformer“ architektūra

Visi šiuolaikiniai LLM remiasi „Transformer“ architektūra, pristatyta 2017 m. Dviejų idėjų pakanka, kad suprastumėte esmę.

Pirmoji yra dėmesio (attention) mechanizmas – „Transformer“ širdis. Jis leidžia modeliui „žiūrėti“ į visą įvesties tekstą, kad suprastų ryšius tarp žodžių, net jei jie sakinyje yra nutolę vienas nuo kito. Paimkime sakinį: „Katė, kuri miegojo ant sofos, pabudo“: dėka dėmesio mechanizmo modelis supranta, kad „pabudo“ reiškia katę, o ne sofą. Šis gebėjimas susieti nutolusius elementus yra tai, kas išskiria „Transformer“ iš ankstesnių kalbos modelių kartų.

Antroji idėja yra sluoksnių kaupimas. „Transformer“ sudaro keli sukrauti sluoksniai, ir kiekvienas iš jų patobulina teksto supratimą: ankstyvieji sluoksniai fiksuoja paprastus gramatinius ryšius, o gilieji sluoksniai suvokia abstrakčias sąvokas ir sudėtingus semantinius ryšius. Taigi supratimas kuriamas per nuoseklius patobulinimus, lyg skaitymas, judantis nuo sintaksės prie prasmės.

Ekspertų mišinys (MoE) – „Mistral“ ypatybė

Viena iš didžiųjų „Mistral AI“ inovacijų yra ekspertų mišinio (MoE) architektūros naudojimas, išpopuliarintas su „Mixtral 8x7B“. Principas laužo klasikinį požiūrį: vietoj vieno milžiniško neuronų tinklo, apdorojančio viską, MoE padalija modelį į kelis specializuotus „ekspertus“, o maršrutizavimo mechanizmas kiekvienam apdorotam tokenui pasirenka tinkamiausius ekspertus.

Nauda yra dviguba. Efektyvumo požiūriu kiekvienam tokenui suaktyvinami tik keli ekspertai, o tai žymiai sumažina skaičiavimo laiką. Veikimo požiūriu modelis naudojasi bendra visų kartu paimtų ekspertų talpa, tačiau mokama tik už tų, kurie iš tikrųjų dirba, skaičiavimo kainą – kiekvienas ekspertas taip pat gali specializuotis tam tikro tipo turinyje arba užduotyje. Praktiškai 47 mlrd. parametrų MoE modelis, suaktyvinantis tik 12 mlrd. vienam tokenui, gali pasiūlyti veikimą, panašų į tankų 47 mlrd. modelį, tačiau būti toks pat greitas kaip 12 mlrd. modelis. Tai paaiškina, kodėl „Mistral“ modeliai dažnai siūlo geresnį veikimo ir greičio santykį nei konkurentai.

Modelio svoriai

Svoriai yra skaitinės reikšmės, apibrėžiančios modelio elgseną – tai tie patys garsieji parametrai, baigus mokymą. Kai „Mistral“ išleidžia modelį kaip „Open“ (atvirą), tai reiškia, kad šiuos svorius galima atsisiųsti. Svorų turėjimas keičia viską: galite talpinti modelį savo serveriuose, vykdyti jį be interneto ryšio, modifikuoti arba tiksliai derinti jį bei integruoti į įterptines sistemas. Be svorių priklausote nuo tiekėjo API. Tai esminis skirtumas tarp „Open“ ir „Premier“ modelių, su kuriais susidūrėte ankstesnėse pamokose – dabar suprantate, kas slypi už to techniškai.

Dviejų etapų mokymas

Kaip sukuriamas toks modelis kaip „Mistral Small 4“? Dviem pagrindiniais žingsniais. Pirmasis yra išankstinis mokymas: modelis yra veikiamas didžiulių teksto kiekių – knygų, straipsnių, šaltinio kodo, tinklalapių – ir išmoksta kalbos struktūrų. Šiam etapui reikia tūkstančių GPU, jis trunka savaites ir kainuoja milijonus eurų; jis suteikia modeliui kultūrą ir kalbos įvaldymą.

Antrasis žingsnis yra tikslinis derinimas ir suderinimas: iš anksto apmokytas modelis patobulinamas, kad jis vykdytų instrukcijas, būtų naudingas ir vengtų pavojingo turinio kūrimo. Šiam etapui naudojami žmonių anotuoti duomenys ir tokios technikos kaip RLHF (mokymasis sustiprinimu iš žmonių grįžtamojo ryšio). Būtent tai paverčia žalią teksto prognozavimo įrankį asistentu, gebančiu vesti dialogą – tai skirtumas tarp modelio, kuris tiesiog baigia frazes, ir modelio, kuris jums atsako.

Svarbiausi punktai

  • LLM numato kitą tokeną, kartojamas tūkstančius kartų, kad sukurtų pilną atsakymą
  • Parametrai (svoriai) yra skaitmeniniai ryšiai, koduojantys modelio žinias
  • „Transformer“ architektūra ir jos dėmesio mechanizmas leidžia suprasti ryšius tekste
  • Ekspertų mišinys (MoE) yra „Mistral“ ypatybė: didelio modelio veikimas, mažo modelio greitis
  • Modeliai kuriami dviem etapais: masinis išankstinis mokymas, o tada tikslinis tikslinis derinimas
  • Atviri svoriai leidžia savarankišką talpinimą ir pritaikymą