Introducere în RAG
Pe această pagină
Ce este RAG?
RAG (Retrieval-Augmented Generation – Generare Augmentată prin Recuperare) este o arhitectură care combină un sistem de recuperare a informațiilor cu un model lingvistic de mari dimensiuni (LLM). În loc să se bazeze exclusiv pe cunoștințele interne ale modelului, RAG caută mai întâi informații relevante într-o bază de date, apoi injectează aceste informații în prompt pentru a genera un răspuns fundamentat pe date reale.
De ce a devenit RAG esențial? Deoarece LLM-urile au trei limitări fundamentale, care apar toate în același moment: când cineva pune o întrebare despre compania dumneavoastră. În primul rând, cunoștințele înghețate: un model știe doar ceea ce a învățat în timpul antrenamentului, deci nu știe nimic despre actualizarea tarifelor dumneavoastră de luna trecută. În al doilea rând, halucinațiile: atunci când este întrebat despre o procedură internă pe care nu o cunoaște, modelul produce un răspuns plauzibil, dar complet greșit, cu totală încredere. În final, datele private sunt inaccesibile prin design: modelul nu are acces la documentele dumneavoastră interne, iar dumneavoastră nici nu doriți ca acestea să ajungă într-un corpus de antrenament.
RAG rezolvă toate cele trei probleme prin adăugarea unei etape de recuperare înainte de generare. Modelul încetează să mai fie o memorie de interogat și devine un motor de scriere aplicat documentelor pe care le controlați.
Arhitectura RAG
Fluxul de lucru RAG se împarte în două faze principale: o fază de indexare efectuată inițial, urmată de un ciclu executat pentru fiecare întrebare. Cei patru pași de mai jos formează coloana vertebrală a lecțiilor următoare.
Indexare (offline)
Divizați documentele în fragmente, codificați-le ca embedding-uri și stocați-le într-un magazin vectorial. Acest pas se execută o singură dată (sau în timpul actualizărilor).
Recuperare
Codificați întrebarea utilizatorului ca embedding, apoi căutați fragmentele cele mai similare în magazinul vectorial folosind similaritatea cosinus.
Augmentare (prompt îmbogățit)
Injectați fragmentele recuperate în prompt-ul LLM-ului drept context. Modelul dispune acum de informații factuale pentru a răspunde.
Generare
LLM generează un răspuns bazat pe contextul furnizat. Răspunsul este factual, sourstat și relevant.
Doar primul pas necesită un timp de calcul semnificativ; următorii trei se execută în sub o secundă. Aceasta este ceea ce face arhitectura viabilă pentru un serviciu interogat continuu: vă codificați documentația o singură dată, apoi fiecare întrebare costă doar un apel de embedding și un apel de generare.
RAG vs. Fine-Tuning
RAG și fine-tuning-ul rezolvă probleme similare, dar în moduri diferite. Tabelul de mai jos, scris aici ca o structură Python, compară cele două abordări pe cinci criterii.
# RAG vs Fine-Tuning Comparison
comparison = {
"RAG": {
"update": "Instant (add/remove documents)",
"cost": "Low (no retraining)",
"traceability": "Excellent (you know where the info came from)",
"hallucinations": "Reduced (answers grounded in sources)",
"use_cases": "Documentation, FAQs, knowledge bases",
},
"Fine-tuning": {
"update": "Expensive (retraining required)",
"cost": "High (GPUs, time, annotated data)",
"traceability": "Low (knowledge baked into the model)",
"hallucinations": "Possible (model may extrapolate)",
"use_cases": "Writing style, output format, specific tasks",
},
}
Linia „update“ decide adesea totul. Corectarea unei erori într-o procedură înseamnă, cu RAG, înlocuirea unui fișier și recodificarea câtorva fragmente – o chestiune de minute. Cu fine-tuning, aceeași corecție necesită reconstruirea unui set de date și rerularea antrenamentului, fără garanția că vechea versiune a fost cu adevărat uitată. În practică, RAG este de obicei cea mai bună alegere pentru integrarea cunoștințelor factuale în evoluție, în timp ce fine-tuning-ul este mai potrivit pentru schimbarea comportamentului sau stilului modelului. Cele două nu se exclud reciproc: un model ajustat (fine-tuned) pentru a răspunde în formatul așteptat de afacerea dumneavoastră poate fi totuși alimentat de RAG.
Stiva Tehnologică
Construirea unui flux de lucru RAG cu Mistral necesită doar trei librării, iar instalarea se face într-o singură linie.
# Essential dependencies
# pip install mistralai faiss-cpu numpy
from mistralai.client import Mistral # LLM + Embeddings
import faiss # Vector store
import numpy as np # Vector calculations
SDK-ul mistralai gestionează ambele tipuri de apeluri de model singur: embedding-uri cu mistral-embed și generare cu mistral-large. faiss-cpu, librăria Meta pentru căutare vectorială rapidă, preia controlul atunci când compararea exhaustivă devine prea lentă – dincolo de câteva zeci de mii de vectori. În final, numpy gestionează operațiile matriciale vectoriale care leagă totul. În lecțiile următoare, veți construi fiecare pas al acestui flux de lucru de la zero, de la pregătirea datelor până la generarea răspunsului.
Când să utilizați RAG?
RAG este deosebit de potrivit atunci când aveți documente interne – documentație tehnică, proceduri, contracte – pe care niciun model public nu le-a văzut vreodată. Este, de asemenea, alegerea corectă atunci când informațiile se schimbă frecvent: prețuri, disponibilitate, reglementări. Un serviciu care citează prețuri învechite costă mai mult decât unul care nu răspunde deloc.
Trei alte situații indică în mod natural către RAG. În primul rând, nevoia de trasabilitate, când trebuie să știți de unde provine fiecare informație – o cerință comună în sectoarele reglementate și, în orice caz, o condiție pentru încrederea utilizatorilor. În al doilea rând, obiectivul de reducere a halucinațiilor, deoarece un model care dispune de extrasul corect nu are niciun motiv să inventeze. În final, bugetul: când nu dispuneți de resursele sau datele annotate necesare pentru fine-tuning, RAG oferă o cale practică cu doar câteva documente și câteva ore de muncă.
Puncte cheie
- RAG combină recuperarea informațiilor cu generarea LLM
- Arhitectura se descompune în: indexare, recuperare, augmentare, generare
- RAG este preferabil fine-tuning-ului pentru cunoștințele factuale în evoluție
- Mistral oferă ambele componente esențiale: embedding-uri și LLM
- FAISS este librăria de referință pentru căutarea vectorială