Einführung in Embeddings

Aktualisiert am 2. November 2026 — Modelle. Mistral Large 3 (mistral-large-2512) und Mistral Medium 3.5 wurden am 31. Oktober 2026 eingestellt und werden am 30. April 2027 aus dem Dienst genommen. Ihr offizieller Nachfolger, Mistral Large 4 (mistral-large-4), steht seit dem 6. Oktober in der öffentlichen Vorschau. Die Beispiele in diesem Kurs verwenden den Alias mistral-large-latest, der gemäß der offiziellen Spezifikation (verifiziert am 3. November 2026) weiterhin auf Mistral Large 3 verweist. Ebenso verweist mistral-medium-latest auf Mistral Medium 3.5. Diese Aliase bleiben bis zum 30. April 2027 gültig. Für neue Projekte testen Sie mistral-large-4, den vorgesehenen Nachfolger.

Was ist ein Embedding?

Ein Embedding ist eine numerische Darstellung von Text als Vektor in einem mehrdimensionalen Raum. Jedes Wort, jeder Satz oder jedes Dokument wird in eine Liste von Zahlen – einen Vektor – umgewandelt, der seine semantische Bedeutung erfasst. Der Grund für diese Transformation ist einfach: Computer verstehen rohen Text nicht; sie arbeiten mit Zahlen. Embeddings übersetzen die menschliche Sprache in ein Format, das Algorithmen manipulieren, vergleichen und analysieren können.

Stellen Sie sich ein Kundendienst-Team vor, das zehn Jahre lang Tickets archiviert. Solange diese Tickets als reiner Text vorliegen, ist die einzige mechanische Operation eine exakte Keyword-Suche: Eine Suche nach „Lieferung” findet niemals „Versand”. Sobald die Tickets als Vektoren kodiert sind, werden sie zu vergleichbaren Punkten im Raum. „Mein Paket ist nie eingetroffen” gruppiert sich mit „Bestellung nicht erhalten”, auch wenn sie keine gemeinsamen Wörter teilen.

Vektoren und semantischer Raum

Stellen Sie sich einen Raum mit vielen Dimensionen vor (beispielsweise 1.024 Dimensionen für mistral-embed). Jeder Text nimmt in diesem Raum eine präzise Position ein, und Texte mit ähnlichen Bedeutungen landen geometrisch nah beieinander.

# Ein Embedding ist einfach eine Liste von Zahlen
embedding_example = [0.0234, -0.1567, 0.0891, 0.0456]  # In der Realität 1024 Werte

# Zwei ähnliche Sätze haben nahe Vektoren
sentence_1 = "The cat sleeps on the couch"     # -> Vektor A
sentence_2 = "The feline dozes on the sofa"    # -> Vektor B (nahe bei A)
sentence_3 = "The stock market crashed yesterday" # -> Vektor C (weit von A und B entfernt)

Dieses Merkmal macht Embeddings so leistungsfähig: geometrische Nähe spiegelt semantische Nähe wider. Das Modell hat keine Regel gelernt, die besagt, dass „feline” ein Synonym für „Katze” ist. Stattdessen hat es gelernt, diese beiden Wörter in ähnlichen Kontexten zu platzieren, was ausreicht, um Vektoren A und B näher zusammenzurücken, während C getrennt bleibt.

Distanz als Maß für Ähnlichkeit

Um festzustellen, ob zwei Texte ähnlich sind, messen Sie die Distanz zwischen ihren Vektoren. Drei Metriken dominieren das Feld. Die euklidische Distanz entspricht der geraden Linie zwischen zwei Punkten: Je kürzer die Linie, desto ähnlicher sind die Texte. Die kosinische Ähnlichkeit misst den Winkel zwischen zwei Vektoren; ein Winkel von 0° (kosinus = 1) bedeutet, dass die Texte semantisch identisch sind. Schließlich ist das Skalarprodukt schnell zu berechnen, was erklärt, warum es häufig für das Ranking verwendet wird.

Die kosinische Ähnlichkeit wurde zum Standard, weil sie die Vektorlänge ignoriert. Vergleichen Sie eine dreizeilige Zusammenfassung eines Vertrags mit dem vollständigen vierzigseitigen Vertrag. Die euklidische Distanz bestraft die Zusammenfassung, obwohl sie das exakt gleiche Thema abdeckt, während der Winkel zwischen den beiden Vektoren klein bleibt.

import numpy as np

def cosine_similarity(vec_a, vec_b):
    """Berechnet die kosinische Ähnlichkeit zwischen zwei Vektoren."""
    dot_product = np.dot(vec_a, vec_b)
    norm_a = np.linalg.norm(vec_a)
    norm_b = np.linalg.norm(vec_b)
    return dot_product / (norm_a * norm_b)

# Ergebnis zwischen -1 und 1
# 1.0 = identisch, 0.0 = unverbunden, -1.0 = entgegengesetzt

Anwendungen von Embeddings

Embeddings bilden die Grundlage für viele moderne Anwendungen, und es lohnt sich, zu sehen, wie jede davon in der Praxis aussieht. Die semantische Suche findet Dokumente nach ihrer Bedeutung statt nach exakten Schlüsselwörtern: Eine interne Verfahrensdatenbank beantwortet die Frage „was tun, wenn ein Kunde die Lieferung ablehnt”, auch wenn das Verfahren „Rücksendungen am Depot verwalten” heißt. RAG (Retrieval-Augmented Generation) geht diese Logik weiter, indem es abgerufene Dokumente in den Prompt eines LLM injiziert, sodass es auf Basis Ihrer Daten antworten kann, anstatt auf sein Trainingsgedächtnis.

Drei weitere Anwendungsfälle nutzen dieselbe Geometrie. Die Textklassifizierung kategorisiert Dokumente automatisch, indem sie beobachtet, zu welcher bekannten Gruppe ihr Vektor am nächsten liegt – eine eingehende E-Mail landet in „Abrechnung” oder „Technik”, ohne dass handgeschriebene Regeln erforderlich sind. Die Duplikaterkennung erkennt nahezu identischen Inhalt in einer Datenbank und verhindert, dass Sie das gleiche Produktdatenblatt zweimal veröffentlichen, weil zwei Teams es geschrieben haben. Das Clustering gruppiert Dokumente nach Themen ohne vordefinierte Labels, eine gängige Methode, um einen Korpus zu verstehen, dessen Struktur niemand kennt. Schließlich nutzen Empfehlungssysteme ähnlichen Inhalt, genau wie der Mechanismus „ähnliche Artikel” am unteren Rand einer Seite.

Warum Mistral für Embeddings?

Mistral bietet zwei spezialisierte Embedding-Modelle. mistral-embed verarbeitet natürliche Sprache und erzeugt 1.024 Dimensionen; codestral-embed ist auf Quellcode trainiert und geht bis zu 3.072 Dimensionen. Sie wählen zwischen ihnen basierend auf der Natur Ihres Rohmaterials: geschriebene Dokumentation auf der einen Seite, .py- oder .ts-Dateien auf der anderen.

Diese Modelle sind über eine einfache API mit einem hervorragenden Preis-Leistungs-Verhältnis zugänglich. In den folgenden Lektionen lernen Sie, wie Sie sie in der Praxis verwenden.

Kernaussagen

• Ein Embedding wandelt Text in einen mehrdimensionalen numerischen Vektor um
• Die geometrische Nähe zwischen Vektoren spiegelt die semantische Ähnlichkeit wider
• Die kosinische Ähnlichkeit ist die gebräuchlichste Metrik zum Vergleichen von Embeddings
• Mistral bietet zwei Modelle: mistral-embed (Text) und codestral-embed (Code)
• Embeddings sind die Grundlage für RAG, semantische Suche und Clustering