Introduktion til RAG
På denne side
Hvad er RAG?
RAG (Retrieval-Augmented Generation) er en arkitektur, der kombinerer et informationssøgningssystem med en stor sprogmodel (LLM). I stedet for udelukkende at stole på modellens interne viden, søger RAG først efter relevant information i en database og indsætter derefter denne information i prompten for at generere et svar baseret på faktiske data.
Hvorfor er RAG blevet uundværlig? Fordi LLM’er har tre fundamentale begrænsninger, som alle viser sig på samme tidspunkt: når nogen stiller et spørgsmål om din virksomhed. For det første frossen viden: en model ved kun det, den lærte under træningen, så den ved intet om din prisopdatering fra sidste måned. Dernæst hallucinationer: når den bliver spurgt om en intern procedure, den ikke kender, producerer modellen et plausibelt, men fuldstændigt forkert svar med fuld overbevisning. Endelig er private data utilgængelige af design: modellen har ingen adgang til dine interne dokumenter, og du ønsker heller ikke, at de ender i et træningskorpus.
RAG løser alle tre problemer ved at tilføje et søgetrin før genereringen. Modellen holder op med at være et hukommelsesarkiv, du spørger til, og bliver i stedet en skrivemotor, der arbejder på dokumenter, du kontrollerer.
RAG-arkitektur
RAG-pipelinen opdeles i to hovedfaser: en indekseringsfase, der udføres på forhånd, efterfulgt af en cyklus, der køres for hvert spørgsmål. De fire trin nedenfor udgør rygraden i de kommende lektioner.
Indeksering (offline)
Opdel dine dokumenter i bidder, kod dem som embeddings, og gem dem i et vektorlager. Dette trin sker én gang (eller ved opdateringer).
Søgning (Retrieval)
Kod brugerens spørgsmål som et embedding, og søg derefter efter de mest lignende bidder i vektorlageret ved hjælp af cosinuslighed.
Berigelse (enriched prompt)
Indsæt de fundne bidder i LLM'ens prompt som kontekst. Modellen har nu faktuel information at svare ud fra.
Generering
LLM'en genererer et svar baseret på den leverede kontekst. Svaret er faktuel, kildehenvisende og relevant.
Kun det første trin kræver betydelig beregningstid; de næste tre kører på under et sekund. Det er netop det, der gør arkitekturen levedygtig for en tjeneste, der bliver forespurgt kontinuerligt: du koder din dokumentation én gang, og derefter koster hvert spørgsmål kun ét embedding-kald og ét genereringskald.
RAG kontra finjustering
RAG og finjustering løser lignende problemer, men på forskellige måder. Tabellen nedenfor, skrevet her som en Python-struktur, sætter de to tilgange op mod hinanden ud fra fem kriterier.
# RAG vs Fine-Tuning Comparison
comparison = {
"RAG": {
"update": "Instant (add/remove documents)",
"cost": "Low (no retraining)",
"traceability": "Excellent (you know where the info came from)",
"hallucinations": "Reduced (answers grounded in sources)",
"use_cases": "Documentation, FAQs, knowledge bases",
},
"Fine-tuning": {
"update": "Expensive (retraining required)",
"cost": "High (GPUs, time, annotated data)",
"traceability": "Low (knowledge baked into the model)",
"hallucinations": "Possible (model may extrapolate)",
"use_cases": "Writing style, output format, specific tasks",
},
}
Linjen „update” er ofte afgørende. At rette en fejl i en procedure betyder med RAG, at du udskifter en fil og genkoder nogle få bidder – et spørgsmål om minutter. Med finjustering kræver den samme rettelse, at du genopbygger et datasæt og genkører træningen, uden garanti for, at den gamle version er blevet glemt. I praksis er RAG normalt det bedste valg til integration af ændringsbar faktuel viden, mens finjustering er bedre til at ændre modellens adfærd eller stil. De to udelukker ikke hinanden: en model, der er finjusteret til at svare i din virksomheds forventede format, kan stadig fodres med data via RAG.
Teknologistakken
At bygge en RAG-pipeline med Mistral kræver kun tre biblioteker, og installationen tager én linje.
# Essential dependencies
# pip install mistralai faiss-cpu numpy
from mistralai.client import Mistral # LLM + Embeddings
import faiss # Vector store
import numpy as np # Vector calculations
mistralai-SDK’et håndterer begge modelkald alene: embeddings med mistral-embed og generering med mistral-large. faiss-cpu, Metas bibliotek til hurtig vektorsøgning, tager over, når udtømmende sammenligning bliver for langsom – ud over nogle få titusinder af vektorer. Endelig håndterer numpy de vektormatrixoperationer, der binder det hele sammen. I de følgende lektioner vil du bygge hvert trin i denne pipeline fra bunden, fra dataforberedelse til svar-generering.
Hvornår skal du bruge RAG?
RAG er særligt velegnet, når du har interne dokumenter – teknisk dokumentation, procedurer, kontrakter – som ingen offentlig model nogensinde har set. Det er også det rigtige valg, når information ændrer sig hyppigt: priser, tilgængelighed, regulativer. En tjeneste, der citerer forældede priser, koster mere end en, der slet ikke svarer.
Tre andre situationer peger naturligt mod RAG. For det første behovet for sporbarhed, når du skal vide, hvor hver enkelt information stammer fra – et almindeligt krav i regulerede sektorer og under alle omstændigheder en betingelse for brugernes tillid. For det andet målet om at reducere hallucinationer, da en model med det rigtige uddrag ingen grund har til at finde på noget. Endelig budgettet: når du mangler ressourcerne eller de annoterede data til finjustering, tilbyder RAG en praktisk vej med blot en håndfuld dokumenter og få timers arbejde.
Vigtige pointer
- RAG kombinerer informationssøgning med LLM-generering
- Arkitekturen opdeles i: indeksering, søgning, berigelse, generering
- RAG er at foretrække frem for finjustering til ændringsbar faktuel viden
- Mistral leverer begge essentielle byggesten: embeddings og LLM
- FAISS er referencebiblioteket til vektorsøgning