Úvod do RAG
Na tejto strane
Čo je RAG?
RAG (Retrieval-Augmented Generation – generovanie rozšírené o vyhľadávanie) je architektúra, ktorá spája systém na vyhľadávanie informácií s veľkým jazykovým modelom (LLM). Namiesto toho, aby sa spoliehal výlučne na vnútorné vedomosti modelu, RAG najprv vyhľadá relevantné informácie v databáze a následne tieto informácie vstrekne do promptu, aby vygeneroval odpoveď založenú na reálnych dátach.
Prečo sa RAG stal nevyhnutným? Pretože LLM majú tri zásadné obmedzenia, ktoré sa všetky prejavia v rovnakom momente: keď sa niekto opýta na niečo týkajúce sa vašej firmy. Po prvé, zmrazené vedomosti: model pozná len to, čo sa naučil počas trénovania, takže nič nevie o aktualizácii vašich cien z minulého mesiaca. Ďalej, halucinácie: keď sa model opýta na interný postup, ktorý nepozná, vyprodukuje vierohodnú, no úplne nesprávnu odpoveď s absolútnou istotou. Nakoniec, súkromné dáta sú zámerne nedostupné: model nemá prístup k vašim interným dokumentom a vy ani nechcete, aby sa dostali do trénovacieho korpusu.
RAG rieši všetky tri problémy pridaním kroku vyhľadávania pred generovaním. Model prestáva byť pamäťou, na ktorú sa pýtate, a stáva sa písacím strojom aplikovaným na dokumenty, ktoré máte pod kontrolou.
Architektúra RAG
Pipeline RAG sa delí na dve hlavné fázy: fáza indexovania, ktorá sa vykoná vopred, a cyklus, ktorý sa spustí pri každej otázke. Nasledujúce štyri kroky tvoria kostru nadchádzajúcich lekcií.
Indexovanie (offline)
Rozdeľte svoje dokumenty na časti (chunky), zakódujte ich ako vektory (embeddings) a uložte do vektorového úložiska. Tento krok sa vykoná raz (alebo pri aktualizáciách).
Vyhľadávanie (Retrieval)
Zakódujte otázku používateľa ako vektor a následne vo vektorovom úložisku vyhľadajte najpodobnejšie časti pomocou kozínusovej podobnosti.
Augmentácia (obohatený prompt)
Vstrekte získané časti do promptu LLM ako kontext. Model teraz má faktické informácie, na základe ktorých môže odpovedať.
Generovanie
LLM vygeneruje odpoveď na základe poskytnutého kontextu. Odpoveď je faktická, podložená zdrojmi a relevantná.
Iba prvý krok si vyžaduje významný výpočtový čas; ďalšie tri sa vykonajú za menej ako sekundu. To je dôvod, prečo je táto architektúra životaschopná pre služby, ktoré sú neustále dopytované: svoju dokumentáciu zakódujete raz a každá otázka stojí len jedno volanie pre embedding a jedno volanie pre generovanie.
RAG vs. Jemné doladenie (Fine-Tuning)
RAG a jemné doladenie riešia podobné problémy, no odlišnými spôsobmi. Nasledujúca tabuľka, zapísaná ako štruktúra v Pythone, porovnáva tieto dva prístupy podľa piatich kritérií.
# RAG vs Fine-Tuning Comparison
comparison = {
"RAG": {
"update": "Instant (add/remove documents)",
"cost": "Low (no retraining)",
"traceability": "Excellent (you know where the info came from)",
"hallucinations": "Reduced (answers grounded in sources)",
"use_cases": "Documentation, FAQs, knowledge bases",
},
"Fine-tuning": {
"update": "Expensive (retraining required)",
"cost": "High (GPUs, time, annotated data)",
"traceability": "Low (knowledge baked into the model)",
"hallucinations": "Possible (model may extrapolate)",
"use_cases": "Writing style, output format, specific tasks",
},
}
Riadok „update“ často rozhoduje. Oprava chyby v postupe znamená pri RAG nahradenie súboru a opätovné zakódovanie niekoľkých častí – záležitosť minút. Pri jemnom doladení si tá istá oprava vyžaduje obnovu datasetu a opätovné spustenie trénovania, bez záruky, že sa stará verzia skutočne „zabudla“. V praxi je RAG zvyčajne najlepšou voľbou pre integráciu meniacich sa faktických vedomostí, zatiaľ čo jemné doladenie je vhodnejšie na zmenu správania alebo štýlu modelu. Tieto dva prístupy sa navzájom nevylučujú: model jemne doladený tak, aby odpovedal vo formáte očakávanom vašou firmou, môže byť stále napájaný prostredníctvom RAG.
Technologický stack
Vytvorenie pipeline RAG s modelom Mistral si vyžaduje len tri knižnice a inštalácia zaberie jeden riadok.
# Essential dependencies
# pip install mistralai faiss-cpu numpy
from mistralai.client import Mistral # LLM + Embeddings
import faiss # Vector store
import numpy as np # Vector calculations
SDK mistralai vybavuje obe volania modelov samo: embeddingy pomocou mistral-embed a generovanie pomocou mistral-large. Knižnica faiss-cpu od Meta preberá kontrolu, keď sa vyčerpávajúce porovnávanie stane príliš pomalým – nad rámec niekoľkých desiatok tisíc vektorov. Nakoniec, numpy sa stará o operácie s vektorovými maticami, ktoré všetko spájajú dohromady. V nasledujúcich lekciách si od nuly vybudujete každý krok tejto pipeline, od prípravy dát až po generovanie odpovede.
Kedy použiť RAG?
RAG je obzvlášť vhodný, keď máte k dispozícii interné dokumenty – technickú dokumentáciu, postupy, zmluvy –, ktoré žiadny verejný model nikdy nevidel. Je to tiež správna voľba, keď sa informácie menia často: ceny, dostupnosť, nariadenia. Služba, ktorá uvádza zastarané ceny, stojí viac než taká, ktorá neodpovie vôbec.
Tri ďalšie situácie prirodzene smerujú k využitiu RAG. Po prvé, potreba vysledovateľnosti, keď musíte vedieť, odkiaľ pochádza každá informácia – bežná požiadavka v regulovaných odvetviach a v každom prípade podmienka pre dôveru používateľov. Po druhé, cieľ zníženia halucinácií, keďže model s vhodným úryvkom nemá dôvod si niečo vymýšľať. Nakoniec, rozpočet: keď nemáte zdroje alebo anotované dáta na jemné doladenie, RAG ponúka praktickú cestu len s handfulom dokumentov a niekoľkými hodinami práce.
Kľúčové poznatky
- RAG kombinuje vyhľadávanie informácií s generovaním pomocou LLM
- Architektúra sa delí na: indexovanie, vyhľadávanie, augmentáciu, generovanie
- RAG je vhodnejší ako jemné doladenie pre meniace sa faktické vedomosti
- Mistral poskytuje obe kľúčové stavebné kamene: embeddingy aj LLM
- FAISS je referenčná knižnica pre vektorové vyhľadávanie