LLM-y a architektura
Na tej stronie
Zaktualizowano 2 listopada 2026 r. — Le Chat to teraz Vibe. Od 28 maja 2026 r. Le Chat funkcjonuje jako Vibe (nadal pod adresem chat.mistral.ai): pojedynczy agent do pracy i kodowania, który zachowuje Twoje konwersacje, ustawienia i subskrypcje. Starsza wersja Le Chat jest nadal dostępna w trybie Chat; w trybie Work agenci pełnią rolę umiejętności (wywoływanych za pomocą `@»), pamięć stanowi bazę wiedzy, a głębokie wyszukiwanie to umiejętność Deep Research. Plany noszą teraz nazwy: Mistral Free, Pro, Team i Enterprise. W tej lekcji używamy nazwy Vibe; niektóre opisane tu menu mogły zmienić nazwy lub lokalizację.
Jak działa model językowy
Korzystasz z modelu językowego za każdym razem, gdy zadajesz pytanie w Vibe. Ale co dokładnie dzieje się między naciśnięciem klawisza Enter a pojawieniem się odpowiedzi? Ta lekcja da Ci klucze do zrozumienia podstawowej architektury bez zagłębiania się w szczegóły matematyczne. To nie tylko ogólna wiedza: zrozumienie mechanizmu pomaga przewidzieć, co model robi dobrze, co źle i dlaczego.
Czym jest LLM?
LLM (Large Language Model, czyli duży model językowy) to program komputerowy szkolony na ogromnych ilościach tekstu, aby nauczyć się przewidywać następne słowo w zdaniu. Zasada ta wydaje się zwodniczo prosta, a jednak zastosowana na dużą skalę przynosi zaskakująco spójne i użyteczne rezultaty. Konkretnie, gdy zadajesz pytanie modelowi Mistral Small 4, działa on w następujący sposób:
- Przekształca Twój tekst w tokeny.
- Przetwarza te tokeny poprzez miliardy obliczeń.
- Przewiduje najbardziej prawdopodobny token, który powinien nastąpić.
- Powtarza operację token po tokenie, aż ukończy odpowiedź.
Wyjaśnia to zjawisko, które zaobserwowałeś już przy pierwszej wymianie: odpowiedź pojawia się na ekranie stopniowo (streaming), ponieważ model faktycznie generuje swoją odpowiedź słowo po słowie. To, co widzisz przewijające się na ekranie, nie jest artefaktem wyświetlania – to sama generacja w czasie rzeczywistym.
Parametry modelu
Gdy mówimy o modelu „7 miliardów parametrów“ lub „14 miliardów parametrów“, mamy na myśli liczbę regulowanych połączeń cyfrowych, jakie zawiera model. Te parametry to wagi modelu. Używając analogii: gdyby model był mózgiem, parametry byłyby synapsami – połączeniami między neuronami. Im więcej parametrów, tym więcej niuansów i złożonych relacji w języku model jest w stanie wychwycić.
Uważaj jednak, by nie czynić z tej liczby jedynego kryterium: większy model nie jest automatycznie lepszy. Efektywność zależy równie mocno od jakości danych treningowych – czyste i zróżnicowane dane dają lepsze rezultaty – architektury modelu, czyli sposobu organizacji parametrów, zastosowanych technik treningowych służących do dostosowania tych parametrów oraz dostrajania (fine-tuning), czyli doszlifowania po wstępnym treningu pod kątem konkretnych zadań. To właśnie pozwala Mistral konkurować z znacznie większymi modelami: efektywna architektura i wysokiej jakości dane treningowe.
Architektura Transformera
Wszystkie współczesne LLM-y opierają się na architekturze Transformera, wprowadzonej w 2017 roku. Dwie idee wystarczą, by pojąć sedno.
Pierwszą jest mechanizm uwagi (attention), będący sercem Transformera. Pozwala on modelowi „spojrzeć“ na cały tekst wejściowy, aby zrozumieć relacje między słowami, nawet gdy są one odległe w zdaniu. Weźmy przykład: „The cat that was sleeping on the sofa woke up“ (Kot, który spał na kanapie, obudził się). Dzięki uwadze model rozumie, że „obudził się“ odnosi się do kota, a nie do kanapy. Ta zdolność do łączenia odległych elementów odróżnia Transformery od poprzednich generacji modeli językowych.
Drugą ideą jest warstwowanie warstw. Transformer składa się z wielu ułożonych jedna na drugiej warstw, a każda z nich dopracowuje zrozumienie tekstu: wczesne warstwy wychwytują proste relacje gramatyczne, podczas gdy głębokie warstwy pojmują abstrakcyjne koncepcje i złożone relacje semantyczne. Zrozumienie jest więc budowane poprzez successive refinements (kolejne dopracowania), niczym czytanie przechodzące od składni do znaczenia.
Mieszanka Ekspertów (MoE) – specjalność Mistral
Jedną z głównych innowacji Mistral AI jest zastosowanie architektury Mixture of Experts (MoE, Mieszanka Ekspertów), spopularyzowanej wraz z modelem Mixtral 8x7B. Zasada ta zrywa z klasycznym podejściem: zamiast pojedynczej, masywnej sieci neuronowej przetwarzającej wszystko, MoE dzieli model na kilku wyspecjalizowanych „ekspertów“, a mechanizm routingu wybiera dla każdego przetwarzanego tokena najbardziej odpowiednich ekspertów.
Korzyści są podwójne. Pod względem efektywności, dla każdego tokena aktywowanych jest tylko kilku ekspertów, co znacząco skraca czas obliczeń. Pod względem wydajności, model korzysta z całkowitej pojemności wszystkich ekspertów razem wziętych, ponosząc koszt obliczeniowy tylko za tych, którzy faktycznie pracują – każdy ekspert może się również specjalizować w danym typie treści lub zadania. W praktyce model MoE o 47 miliardach parametrów, aktywujący tylko 12 miliardów na token, może oferować wydajność porównywalną z gęstym modelem 47-miliardowym, będąc jednocześnie tak szybkim jak model 12-miliardowy. Wyjaśnia to, dlaczego modele Mistral oferują stosunek wydajności do prędkości często lepszy niż konkurencja.
Wagi modelu
Wagi to wartości liczbowe definiujące zachowanie modelu – to właśnie owe słynne parametry po zakończeniu treningu. Gdy Mistral udostępnia model jako „Open“, oznacza to, że wagi te można pobrać. Posiadanie wag zmienia wszystko: możesz hostować model na własnych serwerach, uruchamiać go bez połączenia z internetem, modyfikować lub dostrajać go oraz integrować z systemami wbudowanymi. Bez wag jesteś zależny od API dostawcy. To fundamentalna różnica między modelami Open i Premier, z którymi spotkałeś się w poprzednich lekcjach – teraz rozumiesz, co stoi za tym technicznie.
Dwufazowy trening
Jak powstaje model taki jak Mistral Small 4? W dwóch głównych krokach. Pierwszym jest wstępny trening (pre-training): model jest wystawiany na działanie ogromnych ilości tekstu – książek, artykułów, kodu źródłowego, stron internetowych – i uczy się struktur językowych. Faza ta wymaga tysięcy procesorów GPU przez wiele tygodni i kosztuje miliony euro; nadaje modelowi kulturę i biegłość językową.
Drugim krokiem jest dostrajanie i wyrównywanie (fine-tuning i alignment): wstępnie wytrenowany model jest dopracowywany, aby podążał za instrukcjami, był użyteczny i unikał generowania niebezpiecznych treści. Faza ta opiera się na danych oznaczanych przez ludzi i technikach takich jak RLHF (Reinforcement Learning from Human Feedback, uczenie ze wzmocnieniem), gdzie model uczy się na podstawie ocen wystawianych przez ludzi. To właśnie przekształca surowy predyktor tekstu w asystenta zdolnego do dialogu – różnica między modelem, który kończy zdania, a modelem, który Ci odpowiada.
Kluczowe wnioski
- LLM przewiduje następny token, powtarzając to tysiące razy, aby wygenerować pełną odpowiedź.
- Parametry (wagi) to połączenia cyfrowe kodujące wiedzę modelu.
- Architektura Transformera i jej mechanizm uwagi pozwalają zrozumieć relacje w tekście.
- Mieszanka Ekspertów (MoE) to specjalność Mistral: wydajność dużego modelu, prędkość małego.
- Modele tworzy się w dwóch fazach: masywny wstępny trening, a następnie celowe dostrajanie.
- Otwarte wagi pozwalają na samodzielny hosting i dostosowywanie.