Hvad er en embedding: Intuitionen
På denne side
Mål
- Forstå hvad en embedding er, og hvorfor det betyder noget
- Grib den geometriske intuition bag ordvektorer
- Opdag de primære anvendelsestilfælde
Problemet: Maskiner forstår ikke tekst
Sprogmodeller arbejder med tal, ikke ord. Før en maskine kan sammenligne, søge i eller ræsonnere om tekst, skal du konvertere teksten til en brugbar numerisk repræsentation. Det afgørende spørgsmål er: hvilken repræsentation?
Den naive tilgang: Bag of Words
Den enkleste metode tæller forekomsten af hvert ord. Det er ligetil, men det ignorerer fuldstændig betydningen. Tag sætningerne „Katten spiser musen” og „Musen spiser katten”: begge sætninger indeholder præcis de samme ord i samme proportioner, så de producerer nøjagtig den samme repræsentation, selvom de beskriver modsatte scener. Det omvendte problem findes også: „Bil” og „Automobil” refererer til det samme, men fordi det er to forskellige tegnstrenge, behandler bag-of-words-tilgangen dem som urelaterede begreber. Ordrækkefølge og synonymer – to søjler i sproget – undslipper helt denne metode.
Embeddings: Indfangning af betydning
En embedding er en tæt vektor – en liste af flydende kommatal – der indfanger den semantiske betydning af en tekst. To tekster med lignende betydning vil have vektorer, der sidder tæt sammen i rummet, uanset hvilke specifikke ord der bruges. Sådan genererer du en:
from openai import OpenAI
client = OpenAI()
# Generate an embedding
response = client.embeddings.create(
input="Artificial intelligence is transforming the industry",
model="text-embedding-3-large"
)
vector = response.data[0].embedding
print(f"Vector dimension: {len(vector)}") # 3072
print(f"First elements: {vector[:5]}")
Denne vektor på 3.072 tal koder for sætningens betydning, hvor hver dimension indfanger et andet aspekt af semantikken. Du behøver ikke vide, hvad dimension 417 repræsenterer: det vigtige er, at den overordnede konfiguration forbliver stabil og sammenlignelig på tværs af tekster.
Den geometriske intuition
Forestil dig et tredimensionelt rum, hvor hvert ord eller hver frase optager et punkt. „Konge” og „Dronning” havner side om side, fordi de deler det meste af deres betydning. „Æble” og „Appelsin” danner et andet kvarter, langt væk fra det første. „Hund” og „Kat” udgør endnu en klynge. Det er denne rumlige organisering, der gør sammenligning mulig: at måle afstanden mellem to punkter svarer til at måle ligheden mellem to betydninger.
I virkeligheden bruger moderne embeddings tusindvis af dimensioner – 3.072 for text-embedding-3-large – hvilket giver dem mulighed for at indfange nuancer, der er langt finere end vores simple mentale model med tre akser.
Den berømte analogi
Embeddings indfanger også regelmæssige semantiske relationer i en grad, hvor du kan manipulere dem ved hjælp af aritmetik. Det klassiske eksempel ser sådan ud:
vector("King") - vector("Man") + vector("Woman") ≈ vector("Queen")
Med andre ord: Hvis du trækker „mandlig”-komponenten fra og lægger „kvindelig”-komponenten til, flyttes punktet fra „Konge” hen mod „Dronning”. Denne egenskab viser, at abstrakte begreber som køn, kongeværdighed eller størrelse er kodet på en struktureret måde og ikke spredt tilfældigt.
Hvad bruges embeddings til?
Det første anvendelsestilfælde er semantisk søgning: I stedet for at lede efter nøjagtige søgeord sammenligner du betydningen af forespørgslen med betydningen af dokumenterne. En besøgende, der skriver „Hvordan fodrer jeg min hvalp?”, vil finde en artikel med titlen „Fodring af den unge hund”, selvom de to fraser ikke deler nogen fælles ord.
Det andet er klassificering: Fordi tekster om samme emne naturligt klynger sig sammen i rummet, kan du automatisk sortere supportbilletter, e-mails eller artikler uden at skrive en eneste manuel regel. Anbefaling bygger på den samme mekanisme set fra den anden ende: For at foreslå indhold til en bruger leder du efter vektorer, der er tættest på det, de allerede har set.
Endelig er der RAG (Retrieval-Augmented Generation), som beriger en LLM’s svar med relevante dokumenter fundet via semantisk lighed. Dette er kursets flagskibs-anvendelsestilfælde, og det kombinerer alle de andre: indeksering, sammenligning og rangering.
Hvad der ændrede sig i 2025–2026
OpenAI’s Embeddings API tilbyder nu to hovedmodeller:
| Model | Dimensioner | Anbefalet brug |
|---|---|---|
text-embedding-3-large | 3.072 | Høj præcision, RAG, søgning |
text-embedding-3-small | 1.536 | Lavere omkostninger, klassificering, anbefaling |
Disse modeller understøtter dimensionsreduktion: Du kan anmode om en kortere vektor, f.eks. 256 dimensioner, for at spare på lagringen med et kontrolleret kvalitetstab. En korpus på en million bidder falder dermed fra flere titals gigabytes til blot nogle få, hvilket fundamentalt ændrer infrastrukturkravene.
Opsamling
- En embedding konverterer tekst til en tæt numerisk vektor
- Semantisk lignende tekster har vektorer, der ligger tæt på hinanden
- Primære anvendelsestilfælde omfatter søgning, klassificering, anbefaling og RAG
- OpenAI tilbyder
text-embedding-3-large(3.072 dim) ogtext-embedding-3-small(1.536 dim)