Sissejuhatus RAG-i
Sellel lehel
Mis on RAG?
RAG (Retrieval-Augmented Generation ehk otsinguga täiendatud genereerimine) on arhitektuur, mis ühendab infootsisüsteemi suure keelemudeliga (LLM). Selle asemel, et toetuda üksnes mudeli sisemistele teadmistele, otsib RAG esmalt andmebaasist asjakohast teavet ja seejärel süstib selle teabe vihjesse, et genereerida vastus, mis põhineb reaalsetel andmetel.
Miks on RAG muutunud hädavajalikuks? Sest LLM-idel on kolm põhilist piirangut ja kõik need tulevad ilmsiks samal hetkel: kui keegi küsib küsimust sinu ettevõtte kohta. Esiteks, külmutatud teadmised: mudel teab ainult seda, mida ta õppimise käigus omandas, seega ei tea ta midagi eelmise kuu hinnatõusust. Teiseks, hallutsinatsioonid: kui küsitakse sisemise protseduuri kohta, mida mudel ei tunne, toodab ta usutava, kuid täiesti vale vastuse täieliku kindlusega. Lõpuks on privatsed andmed disaini tõttu kättesaamatud: mudelil puudub ligipääs sinu sisemistele dokumentidele ja sa ei tahaks nagunii, et need satuksid õppimiskorpusesse.
RAG lahendab kõik kolm probleemi, lisades enne genereerimist otsinguetapi. Mudel lakkab olemast päritav mälu ja muutub kirjutamismootoriks, mida rakendatakse sinu kontrollitavatele dokumentidele.
RAG-i arhitektuur
RAG-i töövoog jaguneb kaheks põhifaasiks: eelnev indekseerimisfaas, millele järgneb iga küsimuse jaoks käivitatav tsükkel. Allpool toodud neli sammu moodustavad tulevaste tundide selgroo.
Indekseerimine (offline)
Jaga oma dokumendid tükkideks, kodeeri need manustena (embeddings) ja salvesta vektorpoodi. See samm toimub üks kord (või värskenduste käigus).
Otsing (Retrieval)
Kodeeri kasutaja küsimus manuseks ja otsi seejärel vektorpoest kosinussarnasuse abil kõige sarnasemaid tükke.
Täiendamine (rikastatud vihje)
Süstita leitud tükid LLM-i vihjesse kontekstina. Mudelil on nüüd faktiline teave, millele vastata.
Genereerimine
LLM genereerib vastuse, lähtudes esitatud kontekstist. Vastus on faktiline, allikatega varustatud ja asjakohane.
Ainult esimene samm nõuab märkimisväärset arvutusvõimsust; järgmised kolm käivituvad vähem kui sekundiga. See teebki arhitektuuri elujõuliseks pidevalt päritava teenuse jaoks: kodeerid oma dokumentatsiooni üks kord ja iga küsimuse hind on vaid üks manuse väljakutse ja üks genereerimise väljakutse.
RAG vs peenhäälestus (Fine-Tuning)
RAG ja peenhäälestus lahendavad sarnaseid probleeme, kuid erineval viisil. Allpool olev tabel, mis on siin esitatud Pythoni struktuurina, seab need kaks lähenemist vastamisi viie kriteeriumi alusel.
# RAG vs Fine-Tuning Comparison
comparison = {
"RAG": {
"update": "Instant (add/remove documents)",
"cost": "Low (no retraining)",
"traceability": "Excellent (you know where the info came from)",
"hallucinations": "Reduced (answers grounded in sources)",
"use_cases": "Documentation, FAQs, knowledge bases",
},
"Fine-tuning": {
"update": "Expensive (retraining required)",
"cost": "High (GPUs, time, annotated data)",
"traceability": "Low (knowledge baked into the model)",
"hallucinations": "Possible (model may extrapolate)",
"use_cases": "Writing style, output format, specific tasks",
},
}
Sageli otsustab kõik rea „update“ (värskendamine). Veaparandus protseduuris tähendab RAG-i puhul faili asendamist ja mõne tüki uuesti kodeerimist – see võtab minuteid. Peenhäälestuse puhul nõuab sama parandus andmestiku uuesti ülesehitamist ja õppeprotsessi uuesti käivitamist, ilma garantiita, et vana versioon oleks tõesti unustatud. Praktikas on RAG tavaliselt parim valik muutuva faktilise teabe integreerimiseks, samas kui peenhäälestus sobib paremini mudeli käitumise või stiili muutmiseks. Need kaks ei välista teineteist: mudel, mis on peenhäälestatud vastama sinu ettevõtte oodatud formaadis, võib ikkagi saada sisendit RAG-ilt.
Tehnoloogiastekk
RAG-i töövoogu Mistraliga ehitades on vaja vaid kolme teeki ja installimine võtab ühe rea.
# Essential dependencies
# pip install mistralai faiss-cpu numpy
from mistralai.client import Mistral # LLM + Embeddings
import faiss # Vector store
import numpy as np # Vector calculations
mistralai SDK haldab mõlemat mudelikutset ise: manuseid (mistral-embed) ja genereerimist (mistral-large). faiss-cpu, Meta teek kiireks vektorotsinguks, võtab ohjad enda kätte, kui ammendav võrdlus muutub liiga aeglaseks – üle paari kümne tuhande vektori. Lõpuks tegeleb numpy vektormaatriksite operatsioonidega, mis kõik kokku seob. Järgnevates tundides ehidad sa selle töövoogu iga sammu nullist üles, alates andmete ettevalmistamisest kuni vastuse genereerimiseni.
Millal kasutada RAG-i?
RAG on eriti hästi sobiv, kui sul on sisemisi dokumente – tehniline dokumentatsioon, protseduurid, lepingud –, mida ükski avalik mudel pole kunagi näinud. See on õige valik ka siis, kui teave muutub sageli: hinnad, saadavus, määrused. Teenus, mis annab vananenud hinnapakkumisi, maksab rohkem kui teenus, mis üldse ei vasta.
Veel kolm olukorda viivad loomulikult RAG-i kasutamiseni. Esiteks vajadus jälgitavuse järele, kui pead teadma, kust iga teabetükk pärineb – see on levinud nõue reguleeritud sektorites ja igal juhul tingimus kasutaja usalduse jaoks. Teiseks eesmärk vähendada hallutsinatsioone, kuna mudelil, kellel on õige lõik käes, pole põhjust midagi välja mõelda. Lõpuks eelarve: kui sul puuduvad ressursid või annoteeritud andmed peenhäälestuseks, pakub RAG praktilist teed vaid käputäie dokumentide ja mõne tunni tööga.
Peamised punktid
- RAG ühendab infootsingu LLM-i genereerimisega
- Arhitektuur jaguneb neljaks: indekseerimine, otsing, täiendamine, genereerimine
- Muutuva faktilise teabe jaoks on RAG eelistatav peenhäälestusele
- Mistral pakub mõlemat olulist ehitusplokki: manused ja LLM
- FAISS on vektorotsingu referentsteek