LLM a architektura
Na této stránce
Aktualizováno 2. listopadu 2026 — Le Chat je nyní Vibe. Od 28. května 2026 je Le Chat nyní Vibe (stále na adrese chat.mistral.ai): jediný agent pro práci i kódování, který přenáší vaše konverzace, nastavení a předplatná. Původní prostředí Le Chat zůstává dostupné v režimu Chat; v režimu Work jsou agenti nyní dovednosti (vyvolávané pomocí
@), paměti představují znalostní bázi a hloubkové vyhledávání je dovednost Deep Research. Plány se nyní nazývají Mistral Free, Pro, Team a Enterprise. Tato lekce nyní používá název Vibe; některá zde popsaná menu mohla změnit názvy nebo umístění.
Jak jazykový model funguje
Jazykový model používáš pokaždé, když položíš otázku ve Vibe. Co se ale skutečně děje mezi okamžikem, kdy stiskneš Enter, a chvílí, kdy se objeví odpověď? Tato lekce ti dá klíče k pochopení základní architektury, aniž by se ponořila do matematických detailů. Nejde jen o obecné znalosti zdarma: pochopení mechanismu ti pomůže předvídat, co model zvládá dobře, co hůře a proč.
Co je to LLM?
LLM (Large Language Model neboli velký jazykový model) je počítačový program trénovaný na obrovském množství textu, aby se naučil předpovídat další slovo ve větě. Tento princip se zdá být zrádně jednoduchý – a přece při aplikaci ve velkém měřítku přináší překvapivě koherentní a užitečné výsledky. Konkrétně, když položíš otázku modelu Mistral Small 4, model postupuje takto:
- Tvůj text převede na tokeny
- Tyto tokeny zpracuje prostřednictvím miliard výpočtů
- Předpoví nejpravděpodobnější token, který by měl následovat
- Operaci opakuje token po tokenu, dokud nedokončí svou odpověď
To vysvětluje jev, který jsi pozoroval už při první výměně: odpověď se na obrazovce objevuje postupně (streaming), protože model svou odpověď skutečně generuje slovo po slově. To, co vidíš posouvat, není artefakt zobrazení – je to samotná generace v reálném čase.
Parametry modelu
Když mluvíme o modelu s „7 miliardami parametrů“ nebo „14 miliardami parametrů“, odkazujeme na počet nastavitelných digitálních spojení, která model obsahuje. Tyto parametry jsou váhy modelu. Abychom použili analogii: pokud by model byl mozek, parametry by byly synapse – spojení mezi neurony. Čím více parametrů, tím více nuancí a složitých vztahů v jazyce dokáže model zachytit.
Dej si však pozor, abys toto číslo nepovažoval za jediné kritérium: větší model není automaticky lepší. Efektivita závisí stejně tak na kvalitě trénovacích dat – čistá a rozmanitá data přinášejí lepší výsledky – na architektuře modelu, tedy na tom, jak jsou parametry uspořádány, na trénovacích technikách použitých k úpravě těchto parametrů a na jemném doladění (fine-tuning), což je následné vylepšení po tréninku pro specifické úkoly. Přesně to umožňuje Mistralu konkurovat mnohem větším modelům: efektivní architektura a vysoce kvalitní trénovací data.
Architektura Transformer
Všechny moderní LLM spoléhají na architekturu Transformer, představenou v roce 2017. K pochopení podstaty stačí dvě myšlenky.
První je mechanismus pozornosti (attention), srdce Transformeru. Umožňuje modelu „podívat se“ na celý vstupní text, aby pochopil vztahy mezi slovy, i když jsou ve větě vzdálená. Vezmi si větu: „Kočka, která spala na gauči, se probudila“: díky pozornosti model pochopí, že „se probudila“ se vztahuje ke kočce, nikoliv ke gauči. Tato schopnost propojovat vzdálené prvky je tím, co odlišuje Transformery od předchozích generací jazykových modelů.
Druhou myšlenkou je vrstvení vrstev. Transformer se skládá z více naskládaných vrstev a každá z nich zpřesňuje chápání textu: rané vrstvy zachycují jednoduché gramatické vztahy, zatímco hluboké vrstvy chápou abstraktní koncepty a složité sémantické vztahy. Chápání je tedy budováno prostřednictvím postupných zpřesňování, podobně jako čtení, které přechází od syntaxe k významu.
Směs expertů (MoE) – Specialita Mistralu
Jednou z hlavních inovací Mistral AI je použití architektury Směs expertů (Mixture of Experts – MoE), zpopularizované s modelem Mixtral 8x7B. Princip rozbíjí klasický přístup: místo jedné masivní neuronové sítě, která zpracovává vše, MoE dělí model na několik specializovaných „expertů“ a směrovací mechanismus vybírá pro každý zpracovávaný token ty nejrelevantnější experty.
Přínos je dvojnásobný. Z hlediska efektivity je pro každý token aktivováno pouze několik expertů, což významně snižuje dobu výpočtu. Z hlediska výkonu model těží z celkové kapacity všech expertů dohromady, zatímco platí výpočetní cenu pouze za ty, které skutečně pracují – každý expert se může také specializovat na určitý typ obsahu nebo úkolu. V praxi může model MoE s 47 miliardami parametrů, který aktivuje pouze 12 miliard na token, nabídnout výkon srovnatelný s hustým (dense) modelem o 47 miliardách parametrů, přičemž je stejně rychlý jako model o 12 miliardách parametrů. To vysvětluje, proč modely Mistral nabízejí poměr výkonu k rychlosti často lepší než konkurence.
Váhy modelu
Váhy jsou číselné hodnoty, které definují chování modelu – jsou to ony slavné parametry po dokončení tréninku. Když Mistral vydá model jako „Open“, znamená to, že tyto váhy jsou ke stažení. A vlastnictví vah mění vše: model můžeš hostovat na vlastních serverech, spouštět jej bez připojení k internetu, upravovat nebo jej jemně doladit a integrovat do vestavěných systémů. Bez vah závisíš na API poskytovatele. To je zásadní rozdíl mezi modely Open a Premier, se kterými ses setkal v předchozích lekcích – nyní chápeš, co se za tím technicky skrývá.
Dvoufázový trénink
Jak vzniká model jako Mistral Small 4? Ve dvou hlavních krocích. Prvním je předtrénink: model je vystaven obrovskému množství textu – knihám, článkům, zdrojovým kódům, webovým stránkám – a učí se jazykové struktury. Tato fáze vyžaduje tisíce GPU po dobu týdnů a stojí miliony eur; dává modelu jeho kulturu a mistrovství v jazyce.
Druhým krokem je jemné doladění a zarovnání: předtrénovaný model je vylepšen tak, aby dodržoval pokyny, byl užitečný a vyhýbal se generování nebezpečného obsahu. Tato fáze spoléhá na lidmi anotovaná data a techniky jako RLHF – česky posilované učení z lidské zpětné vazby („Reinforcement Learning from Human Feedback“). To je to, co transformuje surového prediktora textu na asistenta schopného dialogu – rozdíl mezi modelem, který doplňuje věty, a modelem, který ti odpovídá.
Klíčové poznatky
- LLM předpovídá další token, což se opakuje tisíckrát, aby vznikla úplná odpověď
- Parametry (váhy) jsou digitální spojení, která kódují znalosti modelu
- Architektura Transformer a její mechanismus pozornosti umožňují chápat vztahy v textu
- Směs expertů (MoE) je specialitou Mistralu: výkon velkého modelu, rychlost malého
- Modely jsou vytvářeny ve dvou fázích: masivní předtrénink, následovaný cíleným jemným doladěním
- Otevřené váhy umožňují vlastní hostování a přizpůsobení