Inleiding tot RAG
Op deze pagina
Wat is RAG?
RAG (Retrieval-Augmented Generation) is een architectuur die een informatie-ophalingssysteem combineert met een groot taalmodel (LLM). In plaats van uitsluitend te vertrouwen op de interne kennis van het model, zoekt RAG eerst naar relevante informatie in een database en voegt het die informatie vervolgens in de prompt in om een antwoord te genereren dat gebaseerd is op echte gegevens.
Waarom is RAG essentieel geworden? Omdat LLM’s drie fundamentele beperkingen hebben die allemaal op hetzelfde moment naar boven komen: wanneer iemand een vraag stelt over uw bedrijf. Ten eerste, bevroren kennis: een model kent alleen wat het tijdens de training heeft geleerd, dus het weet niets van uw prijsupdate van vorige maand. Vervolgens, hallucinaties: wanneer het model wordt gevraagd naar een interne procedure die het niet kent, produceert het een aannemelijk maar volledig foutief antwoord met groot zelfvertrouwen. Tot slot blijft privégegevens per ontwerp buiten bereik: het model heeft geen toegang tot uw interne documenten, en u wilt sowieso niet dat deze in een trainingscorpus terechtkomen.
RAG lost alle drie de problemen op door een ophalingsstap toe te voegen vóór de generatie. Het model stopt met het zijn van een geheugen dat u ondervraagt en wordt een schrijfmotor die wordt toegepast op documenten die u beheert.
RAG-architectuur
De RAG-pipeline bestaat uit twee hoofdfasen: een indexeringsfase die vooraf wordt uitgevoerd, gevolgd door een cyclus die voor elke vraag wordt uitgevoerd. De onderstaande vier stappen vormen de ruggengraat van de komende lessen.
Indexering (offline)
Splits uw documenten in chunks, codeer ze als embeddings en sla ze op in een vectoropslag. Deze stap gebeurt eenmalig (of tijdens updates).
Ophaling
Codeer de vraag van de gebruiker als een embedding en zoek vervolgens naar de meest vergelijkbare chunks in de vectoropslag met behulp van cosinusovereenkomst.
Augmentatie (verrijkte prompt)
Voeg de opgehaalde chunks als context in de prompt van het LLM in. Het model beschikt nu over feitelijke informatie om mee te antwoorden.
Generatie
Het LLM genereert een antwoord op basis van de verstrekte context. Het antwoord is feitelijk, voorzien van bronnen en relevant.
Alleen de eerste stap vereist aanzienlijke rekentijd; de volgende drie worden in minder dan een seconde uitgevoerd. Dit maakt de architectuur levensvatbaar voor een service die continu wordt bevraagd: u codeert uw documentatie eenmaal, waarna elke vraag slechts één embedding-aanroep en één generatie-aanroep kost.
RAG versus Fine-tuning
RAG en fine-tuning lossen vergelijkbare problemen op, maar dan op verschillende manieren. De onderstaande tabel, hier weergegeven als een Python-structuur, zet de twee benaderingen tegenover elkaar op vijf criteria.
# RAG vs Fine-Tuning Comparison
comparison = {
"RAG": {
"update": "Instant (add/remove documents)",
"cost": "Low (no retraining)",
"traceability": "Excellent (you know where the info came from)",
"hallucinations": "Reduced (answers grounded in sources)",
"use_cases": "Documentation, FAQs, knowledge bases",
},
"Fine-tuning": {
"update": "Expensive (retraining required)",
"cost": "High (GPUs, time, annotated data)",
"traceability": "Low (knowledge baked into the model)",
"hallucinations": "Possible (model may extrapolate)",
"use_cases": "Writing style, output format, specific tasks",
},
}
De regel “update” is vaak doorslaggevend. Het corrigeren van een fout in een procedure betekent met RAG het vervangen van een bestand en het opnieuw coderen van een paar chunks – een kwestie van minuten. Bij fine-tuning vereist dezelfde correctie het herbouwen van een dataset en het opnieuw uitvoeren van de training, zonder garantie dat de oude versie echt is vergeten. In de praktijk is RAG meestal de beste keuze voor het integreren van evoluerende feitelijke kennis, terwijl fine-tuning beter geschikt is om het gedrag of de stijl van het model te wijzigen. De twee sluiten elkaar niet uit: een model dat is gefine-tuned om te reageren in het door uw bedrijf verwachte formaat, kan nog steeds worden gevoed door RAG.
De technologiestack
Het bouwen van een RAG-pipeline met Mistral vereist slechts drie bibliotheken, en de installatie kost één regel.
# Essential dependencies
# pip install mistralai faiss-cpu numpy
from mistralai.client import Mistral # LLM + Embeddings
import faiss # Vector store
import numpy as np # Vector calculations
De mistralai SDK behandelt beide modelaanroepen zelfstandig: embeddings met mistral-embed en generatie met mistral-large. faiss-cpu, de bibliotheek van Meta voor snelle vectorzoekopdrachten, neemt het over zodra exhaustieve vergelijking te traag wordt – bij meer dan enkele tienduizenden vectoren. Tot slot verzorgt numpy de vector-matrixbewerkingen die alles met elkaar verbinden. In de volgende lessen bouwt u elke stap van deze pipeline vanaf nul op, van gegevensvoorbereiding tot antwoordgeneratie.
Wanneer RAG gebruiken?
RAG is bijzonder geschikt wanneer u beschikt over interne documenten – technische documentatie, procedures, contracten – die geen enkel publiek model ooit heeft gezien. Het is ook de juiste keuze wanneer informatie frequent verandert: prijzen, beschikbaarheid, regelgeving. Een service die verouderde prijzen citeert, kost meer dan een service die helemaal niet antwoordt.
Drie andere situaties wijzen van nature op RAG. Ten eerste de behoefte aan traceerbaarheid, wanneer u moet weten waar elk informatiefragment vandaan komt – een veelvoorkomende eis in gereguleerde sectoren en in ieder geval een voorwaarde voor gebruikersvertrouwen. Ten tweede het doel om hallucinaties te verminderen, aangezien een model met het juiste fragment geen reden heeft om iets te verzinnen. Tot slot het budget: wanneer u niet over de middelen of geannoteerde gegevens voor fine-tuning beschikt, biedt RAG een praktische weg met slechts een handvol documenten en een paar uur werk.
Belangrijkste punten
- RAG combineert informatie-ophaling met LLM-generatie
- De architectuur bestaat uit: indexering, ophaling, augmentatie, generatie
- RAG heeft de voorkeur boven fine-tuning voor evoluerende feitelijke kennis
- Mistral biedt beide essentiële bouwstenen: embeddings en LLM
- FAISS is de referentiebibliotheek voor vectorzoekopdrachten