LLM a architektúra
Na tejto strane
Aktualizované 2. novembra 2026 — Le Chat je teraz Vibe. Od 28. mája 2026 je Le Chat teraz Vibe (stále na adrese chat.mistral.ai): jediný agent pre prácu aj kód, ktorý si zachováva tvoje konverzácie, nastavenia a predplatné. Pôvodné prostredie Le Chat zostáva dostupné v režime Chat; v režime Work sú agenti teraz zručnosti (vyvolávané pomocou
@), spomienky predstavujú znalostnú bázu a hĺbkové vyhľadávanie je zručnosť Deep Research. Plány sa teraz nazývajú Mistral Free, Pro, Team a Enterprise. Táto lekcia používa názov Vibe; niektoré tu opísané ponuky mohli zmeniť názvy alebo umiestnenie.
Ako funguje jazykový model
Jazykový model používaš zakaždým, keď položíš otázku vo Vibe. Čo sa však vlastne deje medzi okamihom, keď stlačíš Enter, a momentom, keď sa objaví odpoveď? Táto lekcia ti dá kľúče k pochopeniu základnej architektúry bez ponárania sa do matematických detailov. Nie je to len všeobecná znalosť zadarmo: pochopenie mechanizmu ti pomôže predvídať, čo model robí dobre, čo robí zle a prečo.
Čo je to LLM?
LLM (Large Language Model – veľký jazykový model) je počítačový program trénovaný na obrovskom množstve textu, aby sa naučil predpovedať ďalšie slovo vo vete. Tento princíp sa zdá byť zvodne jednoduchý – a predsa, aplikovaný vo veľkom meradle, prináša prekvapivo koherentné a užitočné výsledky. Konkrétne, keď položíš otázku modelu Mistral Small 4, model postupuje takto:
- Tvoj text transformuje na tokeny
- Spracuje tieto tokeny pomocou miliárd výpočtov
- Predpovedá najpravdepodobnejší token, ktorý by mal nasledovať
- Opakuje operáciu token po tokene, kým nedokončí svoju odpoveď
To vysvetľuje jav, ktorý si pozoroval už pri prvej výmene: odpoveď sa na obrazovke objavuje postupne (streaming), pretože model skutočne generuje svoju odpoveď slovo po slove. To, čo vidíš rolovať, nie je artefakt zobrazovania – je to samotná generácia v reálnom čase.
Parametre modelu
Keď hovoríme o modeli s „7 miliardami parametrov“ alebo „14 miliardami parametrov“, odkazujeme na počet nastaviteľných digitálnych spojení, ktoré model obsahuje. Tieto parametre sú váhy modelu. Aby sme použili analógiu: ak by bol model mozgom, parametre by boli synapsie – spojenia medzi neurónmi. Čím viac parametrov, tým viac nuáns a zložitých vzťahov v jazyku dokáže model zachytiť.
Daj si však pozor, aby si toto číslo neurobil jediným kritériom: väčší model nie je automaticky lepší. Efektivita závisí rovnako od kvality trénovacích dát – čisté a rozmanité dáta prinášajú lepšie výsledky – architektúry modelu, teda spôsobu organizácie parametrov, použitých tréningových techník na úpravu týchto parametrov a jemného doladenia (fine-tuning), čo je refinácia po tréningu pre konkrétne úlohy. Presne to umožňuje Mistralu konkurovať oveľa väčším modelom: efektívna architektúra a vysokokvalitné trénovacie dáta.
Architektúra Transformer
Všetky moderné LLM sa spoliehajú na architektúru Transformer, predstavenú v roku 2017. Na pochopenie podstaty stačia dve myšlienky.
Prvou je mechanizmus pozornosti (attention), srdce Transformera. Umožňuje modelu „pozrieť sa“ na celý vstupný text, aby pochopil vzťahy medzi slovami, aj keď sú vo vete vzdialené. Vezmi si vetu: „Mačka, ktorá spala na gauči, sa prebudila“: vďaka pozornosti model pochopí, že „sa prebudila“ sa vzťahuje na mačku, nie na gauč. Táto schopnosť spájať vzdialené prvky je tým, čo odlišuje Transformery od predchádzajúcich generácií jazykových modelov.
Druhou myšlienkou je vrstvenie vrstiev. Transformer sa skladá z viacerých naskladaných vrstiev a každá z nich spresňuje pochopenie textu: skoré vrstvy zachytávajú jednoduché gramatické vzťahy, zatiaľ čo hlboké vrstvy chápu abstraktné koncepty a zložité sémantické vzťahy. Pochopenie sa teda buduje postupným spresňovaním, podobne ako čítanie, ktoré prechádza od syntaxe k významu.
Zmes expertov (MoE) – špecialita Mistralu
Jednou z hlavných inovácií Mistral AI je použitie architektúry Zmesi expertov (Mixture of Experts – MoE), ktorú popularizoval model Mixtral 8x7B. Princíp láme s klasickým prístupom: namiesto jednej masívnej neurónovej siete, ktorá spracováva všetko, MoE rozdeľuje model na niekoľko špecializovaných „expertov“ a smerovací mechanizmus vyberá pre každý spracovaný token tých najrelevantnejších expertov.
Výhoda je dvojitá. Z hľadiska efektivity sa pre každý token aktivuje len niekoľko expertov, čo výrazne znižuje čas výpočtu. Z hľadiska výkonu model benefituje z celkovej kapacity všetkých expertov dohromady, zatiaľ čo platí výpočtovú cenu len za tých, ktorí skutočne pracujú – každý expert sa môže špecializovať aj na určitý typ obsahu alebo úlohy. V praxi môže model MoE s 47 miliardami parametrov, ktorý aktivuje len 12 miliárd na token, ponúknuť výkon porovnateľný s hustým (dense) modelom s 47 miliardami parametrov, pričom je rovnako rýchly ako model s 12 miliardami. To vysvetľuje, prečo modely Mistral ponúkajú pomer výkonu k rýchlosti často lepší ako konkurencia.
Váhy modelu
Váhy sú číselné hodnoty, ktoré definujú správanie modelu – sú to ony slávne parametre po dokončení trénovania. Keď Mistral vydá model ako „Open“, znamená to, že tieto váhy sú na stiahnutie. A vlastnenie váh mení všetko: model môžeš hostiť na vlastných serveroch, spúšťať ho bez pripojenia na internet, upravovať ho alebo jemne doladiť a integrovať do vstavaných systémov. Bez váh závisíš od API poskytovateľa. To je zásadný rozdiel medzi modelmi Open a Premier, s ktorými si sa stretol v predchádzajúcich lekciách – teraz technicky chápeš, čo sa za tým skrýva.
Dvojfázový tréning
Ako vzniká model ako Mistral Small 4? V dvoch hlavných krokoch. Prvým je predtrénovanie (pre-training): model je vystavený obrovskému množstvu textu – knihy, články, zdrojový kód, webové stránky – a učí sa jazykové štruktúry. Táto fáza vyžaduje tisíce GPU počas týždňov a stojí milióny eur; modelu dáva jeho kultúru a ovládanie jazyka.
Druhým krokom je jemné doladenie a zarovnanie (fine-tuning and alignment): predtrénovaný model sa spresní, aby nasledoval inštrukcie, bol užitočný a vyhýbal sa generovaniu nebezpečného obsahu. Táto fáza sa spolieha na ľuďmi anotované dáta a techniky ako RLHF (posilnené učenie z ľudskej spätnej väzby). To je to, čo transformuje surového prediktora textu na asistenta schopného dialógu – rozdiel medzi modelom, ktorý dokončuje vety, a modelom, ktorý ti odpovedá.
Kľúčové poznatky
- LLM predpovedá ďalší token, čo sa opakuje tisíckrát, aby vznikla kompletná odpoveď
- Parametre (váhy) sú digitálne spojenia, ktoré kódujú znalosti modelu
- Architektúra Transformer a jej mechanizmus pozornosti umožňujú chápať vzťahy v texte
- Zmes expertov (MoE) je špecialitou Mistralu: výkon veľkého modelu, rýchlosť malého
- Modely vznikajú v dvoch fázach: masívne predtrénovanie a následne cielené jemné doladenie
- Otvorené váhy umožňujú vlastný hosting a prispôsobenie