Wprowadzenie do RAG
Na tej stronie
Czym jest RAG?
RAG (Retrieval-Augmented Generation – generowanie wspomagane wyszukiwaniem) to architektura łącząca system wyszukiwania informacji z dużym modelem językowym (LLM). Zamiast polegać wyłącznie na wiedzy wewnętrznej modelu, RAG najpierw wyszukuje odpowiednie informacje w bazie danych, a następnie wstrzykuje je do promptu, aby wygenerować odpowiedź opartą na rzeczywistych danych.
Dlaczego RAG stał się niezbędny? Ponieważ modele LLM mają trzy fundamentalne ograniczenia, które ujawniają się w tym samym momencie: gdy ktoś zadaje pytanie dotyczące Twojej firmy. Po pierwsze, zamrożona wiedza: model zna tylko to, czego nauczył się podczas treningu, więc nie wie nic o aktualizacji cennika z zeszłego miesiąca. Po drugie, halucynacje: gdy zapytasz o wewnętrzną procedurę, której model nie zna, wygeneruje prawdopodobnie brzmiącą, ale całkowicie błędną odpowiedź z pełnym przekonaniem. Wreszcie, dane prywatne są z założenia poza zasięgiem: model nie ma dostępu do Twoich dokumentów wewnętrznych, a Ty i tak nie chcesz, aby trafiły do korpusu treningowego.
RAG rozwiązuje wszystkie trzy problemy, dodając krok wyszukiwania przed generowaniem. Model przestaje być pamięcią do odpytywania, a staje się silnikiem pisarskim pracującym na dokumentach, które kontrolujesz.
Architektura RAG
Potok RAG dzieli się na dwie główne fazy: fazę indeksowania wykonywaną z wyprzedzeniem, a następnie cykl uruchamiany dla każdego pytania. Poniższe cztery kroki stanowią szkielet nadchodzących lekcji.
Indeksowanie (offline)
Podziel dokumenty na fragmenty, zakoduj je jako embeddingi i zapisz w wektorowej bazie danych. Ten krok wykonuje się raz (lub podczas aktualizacji).
Wyszukiwanie (Retrieval)
Zakoduj pytanie użytkownika jako embedding, a następnie wyszukaj najbardziej podobne fragmenty w bazie wektorowej, używając podobieństwa kosinusowego.
Wzbogacenie (rozbudowany prompt)
Wstrzyknij odnalezione fragmenty do promptu LLM jako kontekst. Model ma teraz faktyczne informacje, na których może się oprzeć.
Generowanie
LLM generuje odpowiedź na podstawie dostarczonego kontekstu. Odpowiedź jest faktograficzna, źródłowa i istotna.
Tylko pierwszy krok wymaga znaczącego czasu obliczeniowego; kolejne trzy wykonują się w czasie poniżej sekundy. To właśnie sprawia, że architektura ta jest wykonalna dla usług queryowanych ciągle: dokumentację kodujesz raz, a każde pytanie kosztuje tylko jedno wywołanie embeddingu i jedno wywołanie generowania.
RAG kontra Fine-tuning
RAG i fine-tuning rozwiązują podobne problemy, ale w różny sposób. Poniższa tabela, zapisana tutaj jako struktura Pythona, zestawia oba podejścia w pięciu kryteriach.
# RAG vs Fine-Tuning Comparison
comparison = {
"RAG": {
"update": "Instant (add/remove documents)",
"cost": "Low (no retraining)",
"traceability": "Excellent (you know where the info came from)",
"hallucinations": "Reduced (answers grounded in sources)",
"use_cases": "Documentation, FAQs, knowledge bases",
},
"Fine-tuning": {
"update": "Expensive (retraining required)",
"cost": "High (GPUs, time, annotated data)",
"traceability": "Low (knowledge baked into the model)",
"hallucinations": "Possible (model may extrapolate)",
"use_cases": "Writing style, output format, specific tasks",
},
}
Linia „update“ często rozstrzyga sprawę. Naprawienie błędu w procedurze oznacza w przypadku RAG wymianę pliku i ponowne zakodowanie kilku fragmentów – kwestia minut. Przy fine-tuningu ta sama poprawka wymaga odbudowania zbioru danych i ponownego uruchomienia treningu, bez gwarancji, że stara wersja została naprawdę zapomniana. W praktyce RAG jest zazwyczaj najlepszym wyborem do integrowania zmieniającej się wiedzy faktograficznej, podczas gdy fine-tuning lepiej sprawdza się przy zmianie zachowania lub stylu modelu. Obie metody nie wykluczają się wzajemnie: model dostrojony do odpowiadania w oczekiwanym formacie biznesowym nadal może być zasilany przez RAG.
Stos technologiczny
Budowa potoku RAG z użyciem Mistral wymaga tylko trzech bibliotek, a instalacja zajmuje jedną linię kodu.
# Essential dependencies
# pip install mistralai faiss-cpu numpy
from mistralai.client import Mistral # LLM + Embeddings
import faiss # Vector store
import numpy as np # Vector calculations
SDK mistralai obsługuje samodzielnie wywołania modeli: embeddingi za pomocą mistral-embed oraz generowanie za pomocą mistral-large. faiss-cpu, biblioteka Meta do szybkiego wyszukiwania wektorowego, przejmuje stery, gdy wyczerpujące porównanie staje się zbyt wolne – powyżej kilkudziesięciu tysięcy wektorów. Na koniec numpy zajmuje się operacjami na macierzach wektorowych, które spinają całość w całość. W kolejnych lekcjach zbudujesz od podstaw każdy krok tego potoku, od przygotowania danych po generowanie odpowiedzi.
Kiedy używać RAG?
RAG sprawdza się szczególnie dobrze, gdy masz do czynienia z dokumentami wewnętrznymi – dokumentacją techniczną, procedurami, umowami – których żaden publiczny model nigdy nie widział. To także właściwy wybór, gdy informacje zmieniają się często: ceny, dostępność, regulacje. Usługa podająca nieaktualne ceny kosztuje więcej niż taka, która w ogóle nie odpowiada.
Trzy inne sytuacje naturalnie wskazują na RAG. Po pierwsze, potrzeba identyfikowalności źródła, gdy musisz wiedzieć, skąd pochodzi każda informacja – wymóg powszechny w sektorach regulowanych i, w każdym razie, warunek zaufania użytkowników. Po drugie, cel redukcji halucynacji, ponieważ model mający właściwy fragment tekstu nie ma powodu, by zmyślać. Wreszcie budżet: gdy brakuje Ci zasobów lub danych anotowanych do fine-tuningu, RAG oferuje praktyczną ścieżkę wymagającą jedynie garstki dokumentów i kilku godzin pracy.
Kluczowe wnioski
- RAG łączy wyszukiwanie informacji z generowaniem przez LLM
- Architektura dzieli się na: indeksowanie, wyszukiwanie, wzbogacenie, generowanie
- RAG jest preferowany nad fine-tuningiem w przypadku zmieniającej się wiedzy faktograficznej
- Mistral dostarcza obu niezbędnych elementów: embeddingów i LLM
- FAISS jest referencyjną biblioteką do wyszukiwania wektorowego