LLM-ek és az architektúra
Ezen az oldalon
Frissítve: 2026. november 2. — A Le Chat mostantól Vibe. 2026. május 28-tól a Le Chat neve Vibe lett (a cím továbbra is: chat.mistral.ai): ez egyetlen ügynök munkához és kódoláshoz, amely megőrzi beszélgetéseidet, beállításaidat és előfizetéseidet. A régi Le Chat élmény továbbra is elérhető a Chat módban; a Work módban az ügynökök készségekké (skills) váltak (a
@jellel hívhatók meg), az emlékek a tudásbázist képezik, a mély keresés pedig a Deep Research készség. A csomagok neve mostantól: Mistral Free, Pro, Team és Enterprise. Ez a lecke a Vibe nevet használja; egyes itt leírt menük neve vagy helye megváltozhatott.
Hogyan működik egy nyelvi modell?
Minden alkalommal használsz egy nyelvi modellt, amikor kérdést teszel fel a Vibenek. De mi történik valójában abban a pillanatban, amikor megnyomod az Entert, és amikor a válasz megjelenik? Ez a lecke kulcsokat ad a mögöttes architektúra megértéséhez anélkül, hogy elmerülnénk a matematikai részletekben. Ez nem csupán ingyenes általános tudás: a mechanizmus ismerete segít előre jelezni, mit csinál jól a modell, mit rosszul, és miért.
Mi az az LLM?
Az LLM (Large Language Model, azaz nagy nyelvi modell) egy számítógépes program, amelyet hatalmas mennyiségű szövegen tanítottak arra, hogy megjósolja a következő szót egy mondatban. Ez az elv megtévesztően egyszerűnek tűnik – mégis, nagy léptékben alkalmazva meglepően koherens és hasznos eredményeket produkál. Konkrétan, amikor kérdést teszel fel a Mistral Small 4-nek, a modell a következőképpen jár el:
- Átalakítja a szövegedet tokenekké
- Milliárdnyi számítással feldolgozza ezeket a tokeneket
- Megjósolja a legvalószínűbb tokent, amelynek következnie kell
- Tokenről tokenre ismétli a műveletet, amíg be nem fejezi a választ
Ez megmagyarázza azt a jelenséget, amelyet már az első beszélgetésednél észrevettél: a válasz fokozatosan jelenik meg a képernyőn (streaming), mert a modell ténylegesen szóról szóra generálja a választ. Amit görgetve látsz, az nem egy megjelenítési hiba – maga a generálás valós időben.
A modell paraméterei
Amikor „7 milliárd paraméteres“ vagy „14 milliárd paraméteres“ modellről beszélünk, a modellben lévő állítható digitális kapcsolatok számára utalunk. Ezek a paraméterek a modell súlyai (weights). Hogy egy hasonlattal éljünk: ha a modell egy agy lenne, a paraméterek a szinapszisok lennének – a neuronok közötti kapcsolatok. Minél több a paraméter, annál több árnyalatot és összetett nyelvi kapcsolatot képes a modell megragadni.
Ugyanakkor vigyázz, nehogy ezt a számot egyetlen döntő kritériumnak tekintsed: egy nagyobb modell nem automatikusan jobb. A hatékonyság ugyanannyira függ a tanítóadatok minőségétől – a tiszta és változatos adatok jobb eredményeket hoznak –, a modell architektúrájától, vagyis attól, hogyan szerveződnek a paraméterek, az ezek finomhangolására használt tanítási technikáktól, valamint a fine-tuningtól, ami a specifikus feladatokra szabott utólagos finomhangolás. Pontosan ez teszi lehetővé, hogy a Mistral versenyképes legyen a sokkal nagyobb modellekkel: egy hatékony architektúra és kiváló minőségű tanítóadatok.
A Transformer architektúra
Minden modern LLM a Transformer architektúrára épül, amelyet 2017-ben vezettek be. Két ötlet elég ahhoz, hogy megértsd a lényeget.
Az első az figyelem (attention) mechanizmus, ami a Transformer szíve. Lehetővé teszi a modell számára, hogy „rápillantson“ a teljes bemeneti szövegre, hogy megértse a szavak közötti kapcsolatokat, még akkor is, ha azok távol vannak egymástól a mondatban. Vegyük például ezt: „A macska, amely a kanapén aludt, felébredt“: a figyelem mechanizmusnak köszönhetően a modell megérti, hogy a „felébredt“ a macskára vonatkozik, nem a kanapéra. Ez a távoli elemek összekapcsolásának képessége különbözteti meg a Transformatoreket a nyelvi modellek korábbi generációitól.
A második ötlet a rétegek (layers) egymásra halmozása. Egy Transformer több egymásra helyezett rétegből áll, és mindegyik finomítja a szöveg megértését: a korai rétegek egyszerű nyelvtani kapcsolatokat ragadnak meg, míg a mély rétegek elvont fogalmakat és összetett szemantikai összefüggéseket értenek meg. A megértés tehát egymást követő finomításokon keresztül épül fel, hasonlóan egy olvasáshoz, amely a szintaxistól a jelentés felé halad.
Szakértők keveréke (MoE) — A Mistral specialitása
A Mistral AI egyik fő innovációja a Szakértők keveréke (Mixture of Experts, MoE) architektúra használata, amelyet a Mixtral 8x7B tett népszerűvé. Az elv szakít a klasszikus megközelítéssel: egyetlen hatalmas neurális hálózat helyett, amely mindent feldolgoz, az MoE több specializált „szakértőre“ osztja a modellt, és egy útválasztó mechanizmus minden feldolgozott token esetén kiválasztja a legrelevánsabb szakértőket.
Az előny kétszeres. Hatékonyság szempontjából minden tokenhez csak néhány szakértő aktiválódik, ami jelentősen csökkenti a számítási időt. Teljesítmény szempontjából a modell profitál az összes szakértő együttes kapacitásából, miközben csak azok számítási költségét fizeti meg, amelyek ténylegesen dolgoznak – minden szakértő specializálódhat egy adott tartalomtípusra vagy feladatra is. A gyakorlatban egy 47 milliárd paraméteres MoE modell, amely tokenenként csak 12 milliárdot aktivál, teljesítményben összemérhető egy sűrű 47 milliárdos modellel, miközben sebességben egy 12 milliárdos modellével egyenlő. Ez magyarázza, miért kínál a Mistral modellek gyakran jobb teljesítmény-sebesség arányt, mint a versenytársak.
Modellsúlyok
A súlyok (weights) azok a numerikus értékek, amelyek meghatározzák a modell viselkedését – ezek a híres paraméterek, miután a tanítás befejeződött. Amikor a Mistral egy modellt „Open“ (nyílt)ként ad ki, az azt jelenti, hogy ezek a súlyok letölthetők. És a súlyok birtoklása mindent megváltoztat: saját szervereidre telepítheted a modellt, internetkapcsolat nélkül futtathatod, módosíthatod vagy finomhangolhatod, valamint beágyazott rendszerekbe integrálhatod. Súlyok nélkül a szolgáltató API-jától függesz. Ez az alapvető különbség az Open és a Premier modellek között, amelyekkel az előző leckékben találkoztál – most már érted, mi áll ennek a hátterében technikailag.
Két fázisú tanítás
Hogyan készül egy olyan modell, mint a Mistral Small 4? Két fő lépésben. Az első a előtanítás (pre-training): a modellt hatalmas mennyiségű szövegnek – könyveknek, cikkeknek, forráskódnak, weboldalaknak – teszik ki, és megtanulja a nyelvi struktúrákat. Ez a fázis ezer GPU-t igényel heteken át, és millió euróba kerül; ez adja meg a modell kulturális hátterét és nyelvi jártasságát.
A második lépés a finomhangolás és igazítás (fine-tuning and alignment): az előtanított modellt finomítják, hogy kövesse az utasításokat, hasznos legyen, és elkerülje a veszélyes tartalmak előállítását. Ez a fázis ember által annotált adatokra és olyan technikákra támaszkodik, mint az RLHF (Reinforcement Learning from Human Feedback, azaz megerősítéses tanítás emberi visszajelzésből). Ez változtatja meg a nyers szöveg-előrejelzőt olyan asszisztenssé, amely képes párbeszédre – ez a különbség egy olyan modell között, amely csak kiegészíti a mondatokat, és egy olyan között, amely válaszol neked.
Főbb megállapítások
- Egy LLM megjósolja a következő tokent, ezt ezerszer megismételve állítja elő a teljes választ
- A paraméterek (súlyok) azok a digitális kapcsolatok, amelyek kódolják a modell tudását
- A Transformer architektúra és annak figyelem (attention) mechanizmusa lehetővé teszi a szövegben lévő kapcsolatok megértését
- A Szakértők keveréke (MoE) a Mistral specialitása: egy nagy modell teljesítménye, egy kicsi sebessége
- A modellek két fázisban készülnek: hatalmas előtanítás, majd célzott finomhangolás
- A nyílt súlyok lehetővé teszik az önálló üzemeltetést és testreszabást