Was ist ein Embedding: Die Intuition

Lernziele

• Verstehen, was ein Embedding ist und warum es wichtig ist
• Die geometrische Intuition hinter Wortvektoren erfassen
• Die primären Anwendungsfälle entdecken

Das Problem: Maschinen verstehen keinen Text

Sprachmodelle arbeiten mit Zahlen, nicht mit Wörtern. Bevor eine Maschine Text vergleichen, durchsuchen oder darauf schlussfolgern kann, müssen Sie diesen Text in eine verwertbare numerische Darstellung umwandeln. Die entscheidende Frage lautet: Welche Darstellung?

Der naive Ansatz: Bag of Words

Die einfachste Methode zählt die Vorkommen jedes Wortes. Sie ist zwar einfach, ignoriert aber die Bedeutung vollständig. Nehmen Sie sich „The cat eats the mouse” und „The mouse eats the cat”: Beide Sätze enthalten exakt dieselben Wörter in denselben Anteilen und erzeugen daher die exakte gleiche Darstellung, obwohl sie entgegengesetzte Szenarien beschreiben. Das umgekehrte Problem besteht ebenfalls: „Automobile” und „Car” beziehen sich auf dieselbe Sache, werden aber von der Bag-of-Words-Methode als zwei unterschiedliche Zeichenketten behandelt und somit als unverbundene Konzepte betrachtet. Wortreihenfolge und Synonyme – zwei Säulen der Sprache – entgehen dieser Methode gänzlich.

Embeddings: Bedeutung erfassen

Ein Embedding ist ein dichter Vektor – eine Liste von Gleitkommazahlen – der die semantische Bedeutung eines Textes erfasst. Zwei Texte mit ähnlicher Bedeutung haben Vektoren, die im Raum nahe beieinander liegen, unabhängig von den spezifisch verwendeten Wörtern. So generieren Sie eines:

from openai import OpenAI

client = OpenAI()

# Generieren eines Embeddings
response = client.embeddings.create(
    input="Künstliche Intelligenz transformiert die Branche",
    model="text-embedding-3-large"
)

vector = response.data[0].embedding
print(f"Vektordimension: {len(vector)}")  # 3072
print(f"Erste Elemente: {vector[:5]}")

Dieser Vektor aus 3.072 Zahlen kodiert die Bedeutung des Satzes, wobei jede Dimension einen anderen Aspekt der Semantik erfasst. Sie müssen nicht wissen, was Dimension 417 repräsentiert: Wichtig ist, dass die Gesamtanordnung über Texte hinweg stabil und vergleichbar bleibt.

Die geometrische Intuition

Stellen Sie sich einen dreidimensionalen Raum vor, in dem jedes Wort oder jeder Ausdruck einen Punkt einnimmt. „King” und „Queen” landen nebeneinander, da sie die meisten ihrer Bedeutung teilen. „Apple” und „Orange” bilden eine weitere Nachbarschaft, weit entfernt von der ersten. „Dog” und „Cat” bilden noch einen weiteren Cluster. Diese räumliche Organisation macht Vergleiche erst möglich: Die Messung des Abstands zwischen zwei Punkten entspricht der Messung der Ähnlichkeit zwischen zwei Bedeutungen.

In der Realität nutzen moderne Embeddings Tausende von Dimensionen – 3.072 für text-embedding-3-large – was es ihnen ermöglicht, Nuancen zu erfassen, die weit feiner sind als unser einfaches mentalen Modell mit drei Achsen.

Die berühmte Analogie

Embeddings erfassen auch regelmäßige semantische Beziehungen, bis zum Punkt, dass man sie mit Arithmetik manipulieren kann. Das klassische Beispiel sieht so aus:

vector("King") - vector("Man") + vector("Woman") ≈ vector("Queen")

Mit anderen Worten: Das Abziehen des „männlichen” Anteils und das Hinzufügen des „weiblichen” Anteils verschiebt den Punkt von „King” hin zu „Queen”. Diese Eigenschaft zeigt, dass abstrakte Konzepte wie Geschlecht, Adel oder Größe auf strukturierte Weise kodiert sind und nicht zufällig verstreut.

Wofür werden Embeddings verwendet?

Der erste Anwendungsfall ist die semantische Suche: Anstatt nach exakten Schlüsselwörtern zu suchen, vergleichen Sie die Bedeutung der Abfrage mit der Bedeutung der Dokumente. Ein Besucher, der „Wie füttere ich meinen Welpen?” eingibt, findet einen Artikel mit dem Titel „Füttern des jungen Hundes”, obwohl die beiden Phrasen keine gemeinsamen Wörter teilen.

Der zweite ist die Klassifizierung: Da sich Texte zum selben Thema im Raum natürlicherweise zu Clustern zusammenfinden, können Sie Support-Tickets, E-Mails oder Artikel automatisch sortieren, ohne eine einzige manuelle Regel zu schreiben. Die Empfehlung stützt sich auf denselben Mechanismus, nur aus der anderen Perspektive betrachtet: Um einem Nutzer Inhalte vorzuschlagen, suchen Sie nach Vektoren, die den am nächsten zu dem liegen, was dieser bereits angesehen hat.

Schließlich gibt es RAG (Retrieval-Augmented Generation), das die Antwort eines LLMs mit relevanten Dokumenten anreichert, die über semantische Ähnlichkeit gefunden wurden. Dies ist der Flaggschiff-Anwendungsfall dieses Kurses und kombiniert alle anderen: Indexierung, Vergleich und Ranking.

Was hat sich 2025–2026 geändert

Die Embeddings-API von OpenAI bietet nun zwei Hauptmodelle:

Diese Modelle unterstützen die Dimensionsreduktion: Sie können einen kürzeren Vektor anfordern, beispielsweise mit 256 Dimensionen, um Speicherplatz zu sparen, bei einem kontrollierten Qualitätsverlust. Ein Korpus aus einer Million Chunks reduziert sich somit von mehreren zehn Gigabyte auf nur wenige, was die Infrastrukturanforderungen grundlegend verändert.

Zusammenfassung

• Ein Embedding wandelt Text in einen dichten numerischen Vektor um
• Semantisch ähnliche Texte haben Vektoren, die nahe beieinander liegen
• Primäre Anwendungsfälle umfassen Suche, Klassifizierung, Empfehlung und RAG
• OpenAI bietet text-embedding-3-large (3.072 Dim) und text-embedding-3-small (1.536 Dim) an