Wat is een embedding: de intuïtie
Op deze pagina
Doelstellingen
- Begrijpen wat een embedding is en waarom dit belangrijk is
- Inzicht krijgen in de geometrische intuïtie achter woordvectoren
- De belangrijkste gebruiksscenario’s ontdekken
Het probleem: machines begrijpen geen tekst
Taalmodellen werken met getallen, niet met woorden. Voordat een machine tekst kan vergelijken, doorzoeken of er redeneringen over kan uitvoeren, moet u die tekst omzetten in een bruikbare numerieke representatie. De kernvraag is: welke representatie?
De naïeve aanpak: Bag of Words
De eenvoudigste methode telt hoe vaak elk woord voorkomt. Dit is eenvoudig, maar negeert de betekenis volledig. Neem bijvoorbeeld “De kat eet de muis” en “De muis eet de kat”: beide zinnen bevatten exact dezelfde woorden in dezelfde verhoudingen, waardoor ze exact dezelfde representatie opleveren, ook al beschrijven ze tegengestelde situaties. Het omgekeerde probleem bestaat ook: “Auto” en “Wagen” verwijzen naar hetzelfde, maar omdat het twee verschillende tekenreeksen zijn, behandelt de bag-of-words-benadering ze als niet-gerelateerde concepten. Woordvolgorde en synoniemen—twee pijlers van taal—ontsnappen volledig aan deze methode.
Embeddings: betekenis vastleggen
Een embedding is een dichte vector—een lijst met drijvende-kommagetallen—die de semantische betekenis van een tekst vastlegt. Twee teksten met een vergelijkbare betekenis hebben vectoren die dicht bij elkaar in de ruimte liggen, ongeacht de specifieke woorden die worden gebruikt. Zo genereert u er een:
from openai import OpenAI
client = OpenAI()
# Generate an embedding
response = client.embeddings.create(
input="Artificial intelligence is transforming the industry",
model="text-embedding-3-large"
)
vector = response.data[0].embedding
print(f"Vector dimension: {len(vector)}") # 3072
print(f"First elements: {vector[:5]}")
Deze vector van 3.072 getallen codeert de betekenis van de zin, waarbij elke dimensie een ander aspect van de semantiek vastlegt. U hoeft niet te weten wat dimensie 417 voorstelt: wat telt, is dat de algehele configuratie stabiel blijft en vergelijkbaar is tussen teksten.
De geometrische intuïtie
Stel u een driedimensionale ruimte voor waarin elk woord of elke zin een punt inneemt. “Koning” en “Koningin” belanden naast elkaar omdat ze het grootste deel van hun betekenis delen. “Appel” en “Sinaasappel” vormen een andere buurt, ver weg van de eerste. “Hond” en “Kat” vormen weer een ander cluster. Deze ruimtelijke organisatie maakt vergelijking mogelijk: het meten van de afstand tussen twee punten komt overeen met het meten van de overeenkomst tussen twee betekenissen.
In werkelijkheid gebruiken moderne embeddings duizenden dimensies—3.072 voor text-embedding-3-large—waardoor ze nuances kunnen vastleggen die veel fijner zijn dan ons eenvoudige mentale model met drie assen.
De beroemde analogie
Embeddings leggen ook regelmatige semantische relaties vast, tot op het punt waarop u ze kunt manipuleren met rekenkundige bewerkingen. Het klassieke voorbeeld ziet er als volgt uit:
vector("King") - vector("Man") + vector("Woman") ≈ vector("Queen")
Met andere woorden: door de component “mannelijk” af te trekken en de component “vrouwelijk” op te tellen, verschuift het punt van “Koning” naar “Koningin”. Deze eigenschap toont aan dat abstracte concepten zoals geslacht, koningschap of grootte op een gestructureerde manier zijn gecodeerd en niet willekeurig verspreid liggen.
Waar worden embeddings voor gebruikt?
Het eerste gebruiksscenario is semantisch zoeken: in plaats van te zoeken naar exacte trefwoorden, vergelijkt u de betekenis van de zoekopdracht met de betekenis van de documenten. Een bezoeker die typt “Hoe voer ik mijn puppy?”, vindt een artikel getiteld “Het voeren van de jonge hond”, ook al hebben de twee zinnen geen gemeenschappelijke woorden.
Het tweede is classificatie: omdat teksten over hetzelfde onderwerp van nature clusteren in de ruimte, kunt u supporttickets, e-mails of artikelen automatisch sorteren zonder ook maar één handmatige regel te schrijven. Aanbeveling berust op hetzelfde mechanisme, maar dan vanuit het andere eind bekeken: om inhoud aan een gebruiker voor te stellen, zoekt u naar vectoren die het dichtst bij liggen van wat ze al hebben bekeken.
Tot slot is er RAG (Retrieval-Augmented Generation), dat het antwoord van een LLM verrijkt met relevante documenten die zijn gevonden via semantische overeenkomst. Dit is het paradepaardje van deze cursus en combineert alle andere: indexering, vergelijking en rangschikking.
Wat is er veranderd in 2025–2026
De Embeddings API van OpenAI biedt nu twee hoofdmodellen:
| Model | Dimensies | Aanbevolen gebruik |
|---|---|---|
text-embedding-3-large | 3.072 | Hoge precisie, RAG, zoeken |
text-embedding-3-small | 1.536 | Lagere kosten, classificatie, aanbeveling |
Deze modellen ondersteunen dimensionaliteitsreductie: u kunt een kortere vector aanvragen, bijvoorbeeld 256 dimensies, om opslagruimte te besparen met een gecontroleerd kwaliteitsverlies. Een corpus van één miljoen chunks daalt hierdoor van enkele tientallen gigabytes naar slechts enkele, wat de infrastructuurvereisten fundamenteel verandert.
Belangrijkste punten
- Een embedding zet tekst om in een dichte numerieke vector
- Semantisch vergelijkbare teksten hebben vectoren die dicht bij elkaar liggen
- Belangrijkste gebruiksscenario’s zijn zoeken, classificatie, aanbeveling en RAG
- OpenAI biedt
text-embedding-3-large(3.072 dim) entext-embedding-3-small(1.536 dim)