Introduzione al RAG
In questa pagina
Che cos’è il RAG?
Il RAG (Retrieval-Augmented Generation) è un’architettura che combina un sistema di recupero delle informazioni con un grande modello linguistico (LLM). Invece di affidarsi esclusivamente alla conoscenza interna del modello, il RAG prima cerca le informazioni rilevanti in un database, poi inietta tali informazioni nel prompt per generare una risposta basata su dati reali.
Perché il RAG è diventato essenziale? Perché gli LLM hanno tre limiti fondamentali, che emergono tutti nello stesso momento: quando qualcuno pone una domanda sulla tua azienda. Primo, la conoscenza congelata: un modello conosce solo ciò che ha appreso durante l’addestramento, quindi non sa nulla del tuo aggiornamento dei prezzi del mese scorso. Secondo, le allucinazioni: quando gli si chiede una procedura interna che non conosce, il modello produce una risposta plausibile ma completamente errata, con totale sicurezza. Infine, i dati privati sono per definizione fuori portata: il modello non ha accesso ai tuoi documenti interni e, comunque, non vorresti che finissero in un corpus di addestramento.
Il RAG risolve tutti e tre i problemi aggiungendo una fase di recupero prima della generazione. Il modello smette di essere una memoria da interrogare e diventa un motore di scrittura applicato a documenti che controlli tu.
Architettura RAG
La pipeline RAG si divide in due fasi principali: una fase di indicizzazione eseguita in anticipo, seguita da un ciclo eseguito per ogni domanda. I quattro passaggi seguenti costituiscono la spina dorsale delle prossime lezioni.
Indicizzazione (offline)
Suddividi i tuoi documenti in chunk, codificali come embedding e salvali in un vector store. Questo passaggio avviene una volta sola (o durante gli aggiornamenti).
Recupero
Codifica la domanda dell'utente come embedding, poi cerca i chunk più simili nel vector store utilizzando la similarità del coseno.
Arricchimento (prompt arricchito)
Inietta i chunk recuperati nel prompt dell'LLM come contesto. Il modello dispone ora di informazioni fattuali per rispondere.
Generazione
L'LLM genera una risposta basata sul contesto fornito. La risposta è fattuale, citata e pertinente.
Solo il primo passo richiede un tempo di calcolo significativo; i successivi tre vengono eseguiti in meno di un secondo. È questo che rende l’architettura sostenibile per un servizio interrogato continuamente: codifichi la tua documentazione una volta sola, poi ogni domanda costa solo una chiamata per gli embedding e una per la generazione.
RAG vs Fine-Tuning
RAG e fine-tuning risolvono problemi simili ma in modi diversi. La tabella seguente, scritta qui come struttura Python, mette a confronto i due approcci secondo cinque criteri.
# RAG vs Fine-Tuning Comparison
comparison = {
"RAG": {
"update": "Instant (add/remove documents)",
"cost": "Low (no retraining)",
"traceability": "Excellent (you know where the info came from)",
"hallucinations": "Reduced (answers grounded in sources)",
"use_cases": "Documentation, FAQs, knowledge bases",
},
"Fine-tuning": {
"update": "Expensive (retraining required)",
"cost": "High (GPUs, time, annotated data)",
"traceability": "Low (knowledge baked into the model)",
"hallucinations": "Possible (model may extrapolate)",
"use_cases": "Writing style, output format, specific tasks",
},
}
La riga “update” spesso decide tutto. Correggere un errore in una procedura significa, con il RAG, sostituire un file e ricodificare alcuni chunk: questione di minuti. Con il fine-tuning, la stessa correzione richiede la ricostruzione di un dataset e la riesecuzione dell’addestramento, senza garanzia che la vecchia versione sia stata davvero dimenticata. In pratica, il RAG è solitamente la scelta migliore per integrare conoscenze fattuali in evoluzione, mentre il fine-tuning è più adatto per modificare il comportamento o lo stile del modello. I due non si escludono a vicenda: un modello fine-tunato per rispondere nel formato atteso dalla tua azienda può comunque essere alimentato dal RAG.
Lo stack tecnologico
Costruire una pipeline RAG con Mistral richiede solo tre librerie e l’installazione avviene in una riga.
# Essential dependencies
# pip install mistralai faiss-cpu numpy
from mistralai.client import Mistral # LLM + Embeddings
import faiss # Vector store
import numpy as np # Vector calculations
L’SDK mistralai gestisce entrambe le chiamate ai modelli in autonomia: embedding con mistral-embed e generazione con mistral-large. faiss-cpu, la libreria di Meta per la ricerca vettoriale veloce, subentra quando il confronto esaustivo diventa troppo lento – oltre alcune decine di migliaia di vettori. Infine, numpy gestisce le operazioni sulle matrici vettoriali che tengono insieme il tutto. Nelle prossime lezioni costruirai da zero ogni passo di questa pipeline, dalla preparazione dei dati alla generazione della risposta.
Quando usare il RAG?
Il RAG è particolarmente indicato quando disponi di documenti interni – documentazione tecnica, procedure, contratti – che nessun modello pubblico ha mai visto. È anche la scelta giusta quando le informazioni cambiano frequentemente: prezzi, disponibilità, normative. Un servizio che cita prezzi obsoleti costa più di uno che non risponde affatto.
Tre altre situazioni portano naturalmente al RAG. Primo, la necessità di tracciabilità, quando devi sapere da dove proviene ogni informazione – un requisito comune nei settori regolamentati e, in ogni caso, una condizione per la fiducia degli utenti. Secondo, l’obiettivo di ridurre le allucinazioni, poiché un modello dotato del giusto estratto non ha motivo di inventare. Infine, il budget: quando non disponi delle risorse o dei dati annotati per il fine-tuning, il RAG offre un percorso pratico con appena una manciata di documenti e qualche ora di lavoro.
Punti chiave
- Il RAG combina il recupero delle informazioni con la generazione degli LLM
- L’architettura si scompone in: indicizzazione, recupero, arricchimento, generazione
- Il RAG è preferibile al fine-tuning per le conoscenze fattuali in evoluzione
- Mistral fornisce entrambi i mattoni essenziali: embedding e LLM
- FAISS è la libreria di riferimento per la ricerca vettoriale