LLMs und Architektur

Aktualisiert am 2. November 2026 — Le Chat ist jetzt Vibe. Ab dem 28. Mai 2026 ist Le Chat zu Vibe (nach wie vor unter chat.mistral.ai) geworden: ein einziger Agent für Arbeit und Code, der Ihre Gespräche, Einstellungen und Abonnements übernimmt. Die klassische Le Chat-Erfahrung bleibt im Chat-Modus zugänglich; im Work-Modus sind Agenten nun Fähigkeiten (über @ aufrufbar), Erinnerungen bilden die Wissensbasis und die tiefe Suche ist die Fähigkeit Deep Research. Pläne werden nun Mistral Free, Pro, Team und Enterprise genannt. In dieser Lektion wird der Name Vibe verwendet; einige hier beschriebene Menüs können sich in Namen oder Position geändert haben.

Wie ein Sprachmodell funktioniert

Sie nutzen ein Sprachmodell jedes Mal, wenn Sie auf Vibe eine Frage stellen. Was passiert aber eigentlich zwischen dem Moment, in dem Sie Enter drücken, und dem Moment, in dem die Antwort erscheint? Diese Lektion gibt Ihnen die Schlüssel, um die zugrundeliegende Architektur zu verstehen, ohne in mathematische Details einzusteigen. Es handelt sich nicht nur um kostenlose Allgemeinbildung: Das Verständnis des Mechanismus hilft Ihnen vorherzusehen, was das Modell gut kann, wo es Schwächen hat und warum.

Was ist ein LLM?

Ein LLM (Large Language Model) ist ein Computerprogramm, das auf riesige Mengen an Text trainiert wurde, um zu lernen, das nächste Wort in einem Satz vorherzusagen. Dieses Prinzip scheint täuschend einfach – und doch führt es im großen Maßstab zu überraschend kohärenten und nützlichen Ergebnissen. Konkret verfährt das Modell, wenn Sie Mistral Small 4 eine Frage stellen, wie folgt:

1. Es wandelt Ihren Text in Token um
2. Es verarbeitet diese Token durch Milliarden von Berechnungen
3. Es sagt das wahrscheinlichste Token voraus, das folgen sollte
4. Es wiederholt die Operation Token für Token, bis es seine Antwort abgeschlossen hat

Dies erklärt ein Phänomen, das Sie von Ihrem ersten Austausch beobachtet haben: Die Antwort erscheint schrittweise auf dem Bildschirm (Streaming), weil das Modell seine Antwort effektiv Wort für Wort generiert. Was Sie scrollend sehen, ist kein Anzeigefehler – es ist die Generierung selbst, in Echtzeit.

Modellparameter

Wenn wir von einem „7-Milliarden-Parameter-” oder „14-Milliarden-Parameter-”Modell sprechen, beziehen wir uns auf die Anzahl der justierbaren digitalen Verbindungen, die das Modell enthält. Diese Parameter sind die Gewichte des Modells. Um eine Analogie zu ziehen: Wenn das Modell ein Gehirn wäre, wären die Parameter die Synapsen – die Verbindungen zwischen den Neuronen. Je mehr Parameter, desto mehr Nuancen und komplexe Beziehungen in der Sprache kann das Modell erfassen.

Seien Sie jedoch vorsichtig, diese Zahl nicht zum alleinigen Kriterium zu machen: Ein größeres Modell ist nicht automatisch besser. Die Effizienz hängt genauso stark von der Qualität der Trainingsdaten ab – saubere und diverse Daten produzieren bessere Ergebnisse – der Modellarchitektur, also der Organisation der Parameter, den Trainingsverfahren, die verwendet werden, um diese Parameter anzupassen, und dem Feinabstimmung (Fine-Tuning), der Nachbearbeitung für spezifische Aufgaben nach dem Training. Genau dies ermöglicht es Mistral, mit deutlich größeren Modellen zu konkurrieren: eine effiziente Architektur und hochwertige Trainingsdaten.

Die Transformer-Architektur

Alle modernen LLMs stützen sich auf die Transformer-Architektur, die 2017 vorgestellt wurde. Zwei Ideen reichen aus, um das Wesentliche zu erfassen.

Die erste ist der Attention-Mechanismus, das Herzstück des Transformers. Er ermöglicht es dem Modell, sich das gesamte Eingabetext zu „anschauen”, um Beziehungen zwischen Wörtern zu verstehen, auch wenn diese im Satz weit voneinander entfernt sind. Nehmen Sie „Die Katze, die auf dem Sofa schlief, wurde wach”: Dank des Attention-Mechanismus versteht das Modell, dass „wurde wach” sich auf die Katze bezieht, nicht auf das Sofa. Diese Fähigkeit, entfernte Elemente zu verknüpfen, unterscheidet Transformers von früheren Generationen von Sprachmodellen.

Die zweite Idee ist das Stapeln von Schichten. Ein Transformer besteht aus mehreren gestapelten Schichten, und jede verfeinert das Verständnis des Textes: Die frühen Schichten erfassen einfache grammatikalische Beziehungen, während die tiefen Schichten abstrakte Konzepte und komplexe semantische Beziehungen erfassen. Das Verständnis wird daher durch sukzessive Verfeinerungen aufgebaut, ähnlich wie ein Lesen, das von der Syntax zur Bedeutung fortschreitet.

Mixture of Experts (MoE) — Die Spezialität von Mistral

Eine der großen Innovationen von Mistral AI ist die Verwendung der Mixture of Experts (MoE)-Architektur, die mit Mixtral 8x7B populär wurde. Das Prinzip bricht mit dem klassischen Ansatz: Statt eines einzelnen massiven neuronalen Netzwerks, das alles verarbeitet, teilt MoE das Modell in mehrere spezialisierte „Experten” auf, und ein Routing-Mechanismus wählt für jedes verarbeitete Token die relevantesten Experten aus.

Der Vorteil ist zweifach. Hinsichtlich der Effizienz werden für jedes Token nur wenige Experten aktiviert, was die Rechenzeit erheblich reduziert. Hinsichtlich der Leistung profitiert das Modell von der gesamten Kapazität aller Experten zusammen, während es nur die Rechenkosten für diejenigen trägt, die tatsächlich arbeiten – jeder Experte kann sich auch auf eine Art von Inhalt oder Aufgabe spezialisieren. In der Praxis kann ein MoE-Modell mit 47 Milliarden Parametern, das pro Token nur 12 Milliarden aktiviert, eine Leistung bieten, die einem dichten 47-Milliarden-Modell vergleichbar ist, während es so schnell ist wie ein 12-Milliarden-Modell. Dies erklärt, warum Mistral-Modelle ein Leistungs-zu-Geschwindigkeits-Verhältnis bieten, das oft überlegen ist gegenüber der Konkurrenz.

Modellgewichte

Gewichte sind die numerischen Werte, die das Verhalten des Modells definieren – das sind die berühmten Parameter, sobald das Training abgeschlossen ist. Wenn Mistral ein Modell als „Open” veröffentlicht, bedeutet dies, dass diese Gewichte herunterladbar sind. Und das Besitz der Gewichte ändert alles: Sie können das Modell auf Ihren eigenen Servern hosten, es ohne Internetverbindung ausführen, es modifizieren oder feinabstimmen, und es in eingebettete Systeme integrieren. Ohne die Gewichte sind Sie von der API des Anbieters abhängig. Dies ist der fundamentale Unterschied zwischen den Open- und Premier-Modellen, die Sie in vorherigen Lektionen kennengelernt haben – Sie verstehen nun, was technisch dahintersteckt.

Zweiphasiges Training

Wie wird ein Modell wie Mistral Small 4 erstellt? In zwei Hauptschritten. Der erste ist das Vorabtraining (Pre-Training): Das Modell wird riesigen Mengen an Text ausgesetzt – Büchern, Artikeln, Quellcode, Webseiten – und lernt Sprachstrukturen. Diese Phase erfordert Tausende von GPUs über Wochen und kostet Millionen von Euro; sie verleiht dem Modell seine Kultur und Sprachbeherrschung.

Der zweite Schritt ist das Feinabstimmen und Ausrichten (Fine-Tuning und Alignment): Das vorab trainierte Modell wird verfeinert, um Anweisungen zu befolgen, nützlich zu sein und gefährliche Inhalte zu vermeiden. Diese Phase stützt sich auf von Menschen annotierte Daten und Techniken wie RLHF (Reinforcement Learning from Human Feedback). Genau dies verwandelt einen rohen Textvorhersager in einen Assistenten, der Dialog führen kann – der Unterschied zwischen einem Modell, das Sätze vervollständigt, und einem Modell, das Ihnen antwortet.

Kernaussagen

• Ein LLM sagt das nächste Token voraus, wiederholt dies Tausende von Malen, um eine vollständige Antwort zu erzeugen
• Parameter (Gewichte) sind die digitalen Verbindungen, die das Wissen des Modells kodieren
• Die Transformer-Architektur und ihr Attention-Mechanismus ermöglichen das Verständnis von Beziehungen in Texten
• Mixture of Experts (MoE) ist die Spezialität von Mistral: Leistung eines großen Modells, Geschwindigkeit eines kleinen
• Modelle werden in zwei Phasen erstellt: massives Vorabtraining gefolgt von gezieltem Feinabstimmung
• Offene Gewichte ermöglichen Selbsthosting und Anpassung