Įvadas į RAG
Šiame puslapyje
Kas yra RAG?
RAG (Retrieval-Augmented Generation – generavimas, papildytas paieška) yra architektūra, sujungianti informacijos paieškos sistemą su dideliu kalbos modeliu (LLM). Užuot pasikliovęs tik vidinėmis modelio žiniomis, RAG pirmiausia ieško svarbios informacijos duomenų bazėje, tada įterpia ją į užklausą (prompt), kad sugeneruotų atsakymą, pagrįstą realiais duomenimis.
Kodėl RAG tapo būtinu? Nes LLM turi tris esminius trūkumus, kurie visi išryškėja tuo pačiu metu: kai kas nors klausia apie tavo įmonę. Pirma, sustabdytos žinios: modelis žino tik tai, ką išmoko mokymo metu, todėl jis nieko nežino apie kainų atnaujinimą praėjusį mėnesį. Antra, haliucinacijos: paklaustas apie vidinę procedūrą, kurios jis nežino, modelis sugeneruoja tikėtinai skambantį, bet visiškai neteisingą atsakymą su didžiausiu pasitikėjimu. Galiausiai, privatūs duomenys pagal nutylėjimą yra nepasiekiami: modelis neturi prieigos prie tavo vidinių dokumentų, ir tu juk nenori, kad jie atsidurtų mokymo duomenų rinkinyje.
RAG išsprendžia visas tris problemas pridėdamas paieškos žingsnį prieš generavimą. Modelis nustoja būti atmintimi, į kurią kreipiamasi, ir tampa rašymo varikliu, taikomu tavo kontroliuojamiems dokumentams.
RAG architektūra
RAG procesą sudaro du pagrindiniai etapai: išankstinis indeksavimo etapas, po kurio seka ciklas, vykdomas kiekvienam klausimui. Toliau pateikti keturi žingsniai yra būsimų pamokų pagrindas.
Indeksavimas (neprisijungus)
Suskaidyk dokumentus į dalis (chunks), paversk jas įterpimais (embeddings) ir saugok vektorių saugykloje. Šis žingsnis atliekamas vieną kartą (arba atnaujinimų metu).
Paieška (Retrieval)
Paversk naudotojo klausimą įterpimu, tada vektorių saugykloje naudodamas kosinusinį panašumą rask labiausiai tinkančias dalis.
Papildymas (praturtinta užklausa)
Įterpk rastas dalis į LLM užklausą kaip kontekstą. Dabar modelis turi faktinę informaciją, kuria remdamasis gali atsakyti.
Generavimas
LLM sugeneruoja atsakymą remdamasis pateiktu kontekstu. Atsakymas yra faktinis, pagrįstas šaltiniais ir aktualus.
Tik pirmasis žingsnis reikalauja didelių skaičiavimo išteklių; kiti trys atliekami per mažiau nei sekundę. Būtent tai leidžia architektūrą naudoti nuolat užklausiamoms tarnyboms: dokumentaciją koduoji vieną kartą, o kiekvienas klausimas kainuoja tik vieną įterpimo ir vieną generavimo užklausą.
RAG prieš derinimą (Fine-Tuning)
RAG ir derinimas (fine-tuning) sprendžia panašias problemas, bet skirtingais būdais. Toliau pateiktoje lentelėje, čia užrašytoje kaip Python struktūra, šie du metodai lyginami pagal penkis kriterijus.
# RAG vs Fine-Tuning Comparison
comparison = {
"RAG": {
"update": "Instant (add/remove documents)",
"cost": "Low (no retraining)",
"traceability": "Excellent (you know where the info came from)",
"hallucinations": "Reduced (answers grounded in sources)",
"use_cases": "Documentation, FAQs, knowledge bases",
},
"Fine-tuning": {
"update": "Expensive (retraining required)",
"cost": "High (GPUs, time, annotated data)",
"traceability": "Low (knowledge baked into the model)",
"hallucinations": "Possible (model may extrapolate)",
"use_cases": "Writing style, output format, specific tasks",
},
}
Eilutė „update“ (atnaujinimas) dažnai lemia pasirinkimą. Ištaisyti klaidą procedūroje naudojant RAG reiškia pakeisti failą ir iš naujo užkoduoti kelias dalis – tai trunka minutes. Naudojant derinimą, tas pats taisymas reikalauja iš naujo sukurti duomenų rinkinį ir paleisti mokymą iš naujo, be jokios garantijos, kad senoji versija buvo tikrai „pamiršta“. Praktiškai RAG yra geriausias pasirinkimas integruojant kintančias faktines žinias, o derinimas labiau tinka keičiant modelio elgseną ar stilių. Šie du metodai nėra mutuariai eksklusyvūs: modelis, pritaikytas atsakyti tavo verslui priimtinu formatu, vis tiek gali gauti duomenis iš RAG.
Technologijų rinkinys
RAG proceso kūrimui su Mistral reikia tik trijų bibliotekų, o diegimas užtrunka vieną eilutę.
# Essential dependencies
# pip install mistralai faiss-cpu numpy
from mistralai.client import Mistral # LLM + Embeddings
import faiss # Vector store
import numpy as np # Vector calculations
mistralai SDK tvarko abu modelio kvietimus savarankiškai: įterpimus su mistral-embed ir generavimą su mistral-large. faiss-cpu, „Meta“ biblioteka greitai vektorių paieškai, perima darbą, kai išsamus palyginimas tampa per lėtas – viršijus keliasdešimt tūkstančių vektorių. Galiausiai, numpy atlieka vektorių matricos operacijas, kurios viską sujungia į vieną visumą. Kitose pamokose nuo nulio sukursi kiekvieną šio proceso žingsnį – nuo duomenų paruošimo iki atsakymo generavimo.
Kada naudoti RAG?
RAG ypač tinka, kai turi vidinių dokumentų – techninės dokumentacijos, procedūrų, sutarčių, – kurių joks viešas modelis niekada nematė. Tai taip pat tinkamas pasirinkimas, kai informacija kinta dažnai: kainos, prieinamumas, reglamentai. Tarnyba, kuri cituoja pasenusias kainas, kainuoja brangiau nei ta, kuri iš viso neatsako.
Dar trys situacijos natūraliai veda prie RAG. Pirma, poreikis atsekamumui, kai turi žinoti, iš kur kilo kiekviena informacijos dalis – tai dažnas reikalavimas reguliuojamuose sektoriuose ir bet kuriuo atveju būtina sąlyga naudotojų pasitikėjimui. Antra, tikslas sumažinti haliucinacijas, nes modelis, turintis tinkamą ištrauką, neturi priežasties išgalvoti. Galiausiai, biudžetas: kai neturi išteklių ar anotuočių duomenų derinimui, RAG siūlo praktišką kelią, reikalaujantį tik kelių dokumentų ir kelių darbo valandų.
Svarbiausi punktai
- RAG sujungia informacijos paiešką su LLM generavimu
- Architektūrą sudaro: indeksavimas, paieška, papildymas, generavimas
- Kintančioms faktinėms žinioms RAG yra geresnis pasirinkimas nei derinimas
- Mistral suteikia abu būtinus statybinius blokus: įterpimus ir LLM
- FAISS yra pagrindinė biblioteka vektorių paieškai