Bevezetés a RAG-ba
Ezen az oldalon
Mi az a RAG?
A RAG (Retrieval-Augmented Generation, azaz lekérdezéssel bővített generálás) egy olyan architektúra, amely egyesít egy információ-visszakereső rendszert egy nagy nyelvi modellel (LLM). Ahelyett, hogy kizárólag a modell belső tudására támaszkodna, a RAG először keres releváns információkat egy adatbázisban, majd beilleszti ezeket az adatokat a promptba, hogy valós adatokon alapuló választ generáljon.
Miért vált elengedhetetlenné a RAG? Mert az LLM-eknek három alapvető korlátja van, és mindhárom ugyanabban a pillanatban mutatkozik meg: amikor valaki kérdést tesz fel a cégeddel kapcsolatban. Először is, a befagyott tudás: egy modell csak azt tudja, amit a betanítása során megtanult, így semmit sem tud a múlt havi árfizetésedről. Másodszor, a hallucinációk: amikor egy olyan belső eljárásról kérdezik, amit nem ismer, a modell hihető, de teljesen hibás választ ad teljes magabiztossággal. Végül, a bizalmas adatok tervezésen kívül esnek: a modellnek nincs hozzáférése a belső dokumentumaidhoz, és amúgy sem szeretnéd, ha ezek egy betanítási korpuszban végeznék.
A RAG mindhárom problémát megoldja egy visszakeresési lépés hozzáadásával a generálás előtt. A modell megszűnik lekérdezhető memóriaként funkcionálni, és egy írómotorrá válik, amelyet az általad kontrollált dokumentumokon alkalmazol.
RAG architektúra
A RAG folyamat két fő fázisra bontható: egy előre elvégzett indexelési fázisra, amelyet egy minden egyes kérdésre lefutó ciklus követ. Az alábbi négy lépés alkotja a következő leckék gerincét.
Indexelés (offline)
Darabokra törd a dokumentumaidat, kódold őket be embeddingekként, és tárold el őket egy vektortárban. Ez a lépés csak egyszer (vagy frissítéskor) történik meg.
Visszakeresés
Kódold be a felhasználó kérdését embeddingként, majd keresd meg a leginkább hasonló darabokat a vektortárban a koszinusz-hasonlóság segítségével.
Bővítés (dúsított prompt)
Illeszd be a visszakeresett darabokat az LLM promptjába kontextusként. A modellnek így már vannak tényalapú információi a válaszadáshoz.
Generálás
Az LLM választ generál a megadott kontextus alapján. A válasz tényalapú, forrással ellátott és releváns.
Csak az első lépés igényel jelentős számítási időt; a következő három másodpercen belül lefut. Ettől válik az architektúra életképesé egy folyamatosan lekérdezett szolgáltatás számára: egyszer kódolod be a dokumentációdat, majd minden kérdés csak egy embedding-hívásba és egy generálási hívásba kerül.
RAG kontra Finomhangolás
A RAG és a finomhangolás hasonló problémákat oldanak meg, de eltérő módon. Az alábbi táblázat, amelyet itt Python struktúraként írtunk meg, öt kritérium mentén állítja szembe a két megközelítést.
# RAG vs Fine-tuning Comparison
comparison = {
"RAG": {
"update": "Instant (add/remove documents)",
"cost": "Low (no retraining)",
"traceability": "Excellent (you know where the info came from)",
"hallucinations": "Reduced (answers grounded in sources)",
"use_cases": "Documentation, FAQs, knowledge bases",
},
"Fine-tuning": {
"update": "Expensive (retraining required)",
"cost": "High (GPUs, time, annotated data)",
"traceability": "Low (knowledge baked into the model)",
"hallucinations": "Possible (model may extrapolate)",
"use_cases": "Writing style, output format, specific tasks",
},
}
A „frissítés“ sor gyakran döntő jelentőségű. Egy eljárásban lévő hiba javítása RAG esetén egy fájl cseréjét és néhány darab újra-kódolását jelenti – ez percek kérdése. Finomhangolás esetén ugyanennek a javításnak az elkészítése egy adathalmaz újbóli felépítését és a betanítás újrafuttatását igényli, annak garanciája nélkül, hogy a régi verziót valóban elfelejtette-e a modell. A gyakorlatban a RAG általában a legjobb választás az evolúcióban lévő tényalapú tudás integrálására, míg a finomhangolás a modell viselkedésének vagy stílusának megváltoztatására alkalmasabb. A kettő nem zárja ki egymást: egy olyan modell, amelyet a vállalkozásod elvárt formátumának megfelelő válaszadásra hangoltak finom, továbbra is táplálható a RAG által.
Technológiai stack
Egy RAG folyamat felépítése Mistral használatával mindössze három könyvtárat igényel, és a telepítés egyetlen sorba kerül.
# Essential dependencies
# pip install mistralai faiss-cpu numpy
from mistralai.client import Mistral # LLM + Embeddings
import faiss # Vector store
import numpy as np # Vector calculations
A mistralai SDK kezeli a modellhívásokat: az embeddingeket a mistral-embed, a generálást pedig a mistral-large végzi. A faiss-cpu, amely a Meta gyors vektorkeresésre szolgáló könyvtára, akkor veszi át az irányítást, amikor a kimerítő összehasonlítás túl lassúvá válik – néhány tízezer vektor felett. Végül a numpy kezeli azokat a vektormátrix-műveleteket, amelyek mindent összekötnek. A következő leckékben nulláról építed fel ennek a folyamatnak minden egyes lépését, az adatelőkészítéstől a válaszgenerálásig.
Mikor alkalmazzunk RAG-ot?
A RAG különösen akkor alkalmas, ha belső dokumentumokkal rendelkezel – műszaki dokumentáció, eljárásrendek, szerződések –, amelyeket egyetlen nyilvános modell sem látott még. Ez a helyes választás akkor is, ha az információk gyakran változnak: árak, elérhetőség, szabályozások. Egy elavult árat közlő szolgáltatás többe kerül, mint egy olyan, amely egyáltalán nem válaszol.
Három további helyzet is természetesen a RAG felé terel. Először is, a nyomon követhetőség igénye, amikor tudnod kell, honnan származik az egyes információk – ez gyakori követelmény a szabályozott ágazatokban, és mindenképpen feltétele a felhasználói bizalomnak. Másodszor, a hallucinációk csökkentésének célja, mivel egy modellnek, amely rendelkezik a megfelelő részlettel, nincs oka kitalálni dolgokat. Végül a költségvetés: ha hiányoznak az erőforrásaid vagy a címkézett adataid a finomhangoláshoz, a RAG gyakorlati utat kínál mindössze néhány dokumentummal és néhány óra munkával.
Főbb megállapítások
- A RAG egyesíti az információ-visszakeresést az LLM-generálással
- Az architektúra a következőkre bontható: indexelés, visszakeresés, bővítés, generálás
- A RAG előnyösebb a finomhangolással szemben az evolúcióban lévő tényalapú tudás esetén
- A Mistral biztosítja mindkét alapvető építőkövet: az embeddingeket és az LLM-t
- A FAISS a vektorkeresés referencia-könyvtára