Johdatus RAG:ään
Tällä sivulla
Mikä on RAG?
RAG (Retrieval-Augmented Generation) on arkkitehtuuri, joka yhdistää tiedonhakujärjestelmän ja suuren kielimallin (LLM). RAG ei luota pelkästään mallin sisäiseen tietämykseen, vaan se hakee ensin asiaankuuluvaa tietoa tietokannasta ja syöttää tämän tiedon kehotteeseen (prompt) tuottaakseen vastauksen, joka perustuu todelliseen dataan.
Miksi RAG:sta on tullut välttämätön? Koska kielimalleilla on kolme perusrajoitetta, jotka kaikki tulevat esiin samaan aikaan: kun joku kysyy yrityksesi toiminnasta. Ensinnäkin jähmettynyt tieto: malli tuntee vain sen, mitä se on oppinut harjoitteluvaiheessa, joten se ei tiedä mitään viime kuun hintapäivityksestäsi. Toiseksi hallusinaatiot: kun mallilta kysytään sisäisestä menettelystä, jota se ei tunne, se tuottaa uskottavan mutta täysin väärän vastauksen täydellä varmuudella. Kolmanneksi yksityinen data on suunnitelmallisesti ulottumattomissa: mallilla ei ole pääsyä sisäisiin dokumentteihisi, etkä halua niiden päätyvän harjoitusaineistoon joka tapauksessa.
RAG ratkaisee kaikki kolme ongelmaa lisäämällä hakuvaiheen ennen generointia. Malli lakkaa olemasta muisti, jota kysytään, ja siitä tulee kirjoitusmoottori, jota sovelletaan hallinnassasi oleviin dokumentteihin.
RAG-arkkitehtuuri
RAG-prosessi jakautuu kahteen päävaiheeseen: etukäteen tehtävään indeksointivaiheeseen, jota seuraa jokaisen kysymyksen kohdalla suoritettava sykli. Alla olevat neljä vaihetta muodostavat tulevien oppituntien rungon.
Indeksointi (offline)
Jaa dokumenttisi osiin (chunk), koodaa ne upotuksiksi (embeddings) ja tallenna ne vektoritietokantaan. Tämä vaihe tehdään kerran (tai päivitysten yhteydessä).
Haku
Koodaa käyttäjän kysymys upotukseksi ja etsi sitten vektoritietokannasta kosinivastaavuuden avulla samankaltaisimmat osiot.
Rikastaminen (täydennetty kehoite)
Syötä haetut osiot LLM:n kehotteeseen kontekstina. Mallilla on nyt faktatietoa, johon vastata.
Generointi
LLM tuottaa vastauksen annetun kontekstin perusteella. Vastaus on faktapohjainen, lähteistetty ja asiaankuuluva.
Vain ensimmäinen vaihe vaatii merkittävää laskentatehoa; seuraavat kolme suorituvat alle sekunnissa. Tämä tekee arkkitehtuurista toimivan jatkuvasti kysytylle palvelulle: koodaat dokumentaatiosi kerran, jonka jälkeen jokainen kysymys maksaa vain yhden upotuskutsun ja yhden generointikutsun.
RAG vs. hienosäätö
RAG ja hienosäätö (fine-tuning) ratkaisevat samanlaisia ongelmia eri tavoilla. Alla oleva taulukko, joka on kirjoitettu Python-rakenteena, asettaa kaksi lähestymistapaa vastakkain viiden kriteerin perusteella.
# RAG vs Fine-Tuning Comparison
comparison = {
"RAG": {
"update": "Instant (add/remove documents)",
"cost": "Low (no retraining)",
"traceability": "Excellent (you know where the info came from)",
"hallucinations": "Reduced (answers grounded in sources)",
"use_cases": "Documentation, FAQs, knowledge bases",
},
"Fine-tuning": {
"update": "Expensive (retraining required)",
"cost": "High (GPUs, time, annotated data)",
"traceability": "Low (knowledge baked into the model)",
"hallucinations": "Possible (model may extrapolate)",
"use_cases": "Writing style, output format, specific tasks",
},
}
Päivitys-kohdec usein ratkaisee valinnan. Virheen korjaaminen menettelytavassa tarkoittaa RAG:n avulla tiedoston korvaamista ja muutaman osion uudelleenkoodaamista – tämä vie vain minuutteja. Hienosäädöllä sama korjaus vaatii datajoukon uudelleenrakentamista ja harjoituksen uudelleenajoa ilman takeita siitä, että vanha versio olisi todella unohdettu. Käytännössä RAG on yleensä paras valinta muuttuvan faktatiedon integrointiin, kun taas hienosäätö sopii paremmin mallin käyttäytymisen tai tyylin muuttamiseen. Nämä kaksi eivät sulje toisiaan pois: malli, joka on hienosäädetty vastaamaan yrityksesi odottamassa muodossa, voi silti saada syötteensä RAG-järjestelmästä.
Teknologiapino
RAG-prosessin rakentaminen Mistralilla vaatii vain kolme kirjastoa, ja asennus hoituu yhdellä rivillä.
# Essential dependencies
# pip install mistralai faiss-cpu numpy
from mistralai.client import Mistral # LLM + Embeddings
import faiss # Vector store
import numpy as np # Vector calculations
mistralai-SDK hoitaa molemmat mallikutsut itse: upotukset mistral-embedillä ja generoinnin mistral-largeilla. faiss-cpu, Metan kirjasto nopeaan vektorihakuun, ottaa vastuun, kun tyhjentävä vertailu muuttuu liian hitaaksi – eli muutamien kymmenien tuhansien vektorien ylittyessä. Lopuksi numpy hoitaa vektorimatriisioperaatiot, jotka sitovat kaiken yhteen. Seuraavissa oppitunneissa rakennat jokaisen vaiheen tästä prosessista alusta alkaen, datan valmistelusta vastauksen generointiin.
Milloin käyttää RAG:ia?
RAG sopii erityisen hyvin, kun sinulla on sisäisiä dokumentteja – teknistä dokumentaatiota, menettelytapoja, sopimuksia – joita mikään julkinen malli ei ole koskaan nähnyt. Se on oikea valinta myös silloin, kun tiedot muuttuvat usein: hinnat, saatavuus, sääntely. Palvelu, joka lainaa vanhentuneita hintoja, maksaa enemmän kuin palvelu, joka ei vastaa lainkaan.
Kolme muuta tilannetta viittaa luontevasti RAG:n käyttöön. Ensinnäkin tarve jäljitettävyyteen, kun sinun on tiedettävä, mistä kukin tietopala on peräisin – tämä on yleinen vaatimus säännellyillä aloilla ja joka tapauksessa edellytys käyttäjien luottamukselle. Toiseksi tavoite vähentää hallusinaatioita, sillä mallilla, jolla on oikea ote käytössään, ei ole syytä keksiä asioita. Viimeisenä budjetti: kun sinulta puuttuvat resurssit tai annotoitu data hienosäätöä varten, RAG tarjoaa käytännöllisen polun vain kourallisella dokumentteja ja muutaman tunnin työllä.
Keskeiset asiat
- RAG yhdistää tiedonhaun ja LLM-generoinnin
- Arkkitehtuuri jakautuu neljään vaiheeseen: indeksointi, haku, rikastaminen, generointi
- RAG on suositeltavampi kuin hienosäätö muuttuvan faktatiedon käsittelyyn
- Mistral tarjoaa molemmat olennaiset rakennuspalikat: upotukset ja LLM:n
- FAISS on vektorihaun referenssikirjasto