Introduzzjoni għar-RAG
F'din il-paġna
X’inhu r-RAG?
Ir-RAG (Retrieval-Augmented Generation) hija arkitettura li tgħaqqad sistema ta’ rkupru tal-informazzjoni ma’ mudell kbir tal-lingwa (LLM). Minflok ma tiddependi biss fuq l-għarfien intern tal-mudell, ir-RAG l-ewwel jiftex informazzjoni rilevanti f’bażi tad-data, imbagħad jinjetta dik l-informazzjoni fil-prompt biex jiġġenera tweġiba bbażata fuq data reali.
Għaliex sar essenzjali r-RAG? Għax l-LLMs għandhom tliet limitazzjonijiet fundamentali, u t-tlieta jidhru fl-istess mument: meta xi ħadd jistaqsi mistoqsija dwar il-kumpanija tiegħek. L-ewwel, għarfien iffriżat: mudell jaf biss dak li tgħallem waqt it-taħriġ, allura ma jaf xejn dwar l-aġġornament tal-prezzijiet tiegħek tax-xahar li għadda. Imbagħad, alluċinazzjonijiet: meta jinstaqsi dwar proċedura interna li ma jafx, il-mudell jipproduċi tweġiba plawżibbli iżda kompletament żbaljata b’kunfidenza totali. Fl-aħħar nett, id-data privata hija barra mill-portata b’disinn: il-mudell m’għandux aċċess għad-dokumenti interni tiegħek, u int ma tridx li jispiċċaw f’korpus ta’ taħriġ xorta waħda.
Ir-RAG isolvi t-tliet problemi billi jżid pass ta’ rkupru qabel il-ġenerazzjoni. Il-mudell jieqaf ikun memorja li tista’ tikkonsulta u jsir magna tal-kitba applikata għal dokumenti li inti tikkontrolla.
Arkitettura tar-RAG
Il-pipeline tar-RAG jinqasam f’żewġ fażijiet ewlenin: fażi ta’ indiċjar magħmula minn qabel, segwita minn ċiklu eżegwit għal kull mistoqsija. L-erba’ passi hawn taħt jiffurmaw l-għadam tad-dahar tal-lezzjonijiet li ġejjin.
Indiċjar (offline)
Aqsam id-dokumenti tiegħek f'biċċiet, ikkodifikahom bħala embeddings, u aħżinhom f'maħżen vettorjali. Dan il-pass iseħħ darba (jew waqt l-aġġornamenti).
Irkupru
Ikkodifika l-mistoqsija tal-utent bħala embedding, imbagħad fittex l-aktar biċċiet simili fil-maħżen vettorjali billi tuża s-similarità tal-kożinu.
Awgmentazzjoni (prompt arrikkit)
Injetta l-biċċiet irkuprati fil-prompt tal-LLM bħala kuntest. Il-mudell issa għandu informazzjoni fattwali biex iwieġeb biha.
Ġenerazzjoni
L-LLM jiġġenera tweġiba bbażata fuq il-kuntest ipprovdut. It-tweġiba hija fattwali, b'sorsi, u rilevanti.
Biss l-ewwel pass jeħtieġ ħin ta’ kalkolu sinifikanti; it-tlieta li ġejjin jimxu f’anqas minn sekonda. Dan huwa dak li jagħmel l-arkitettura vijabbli għal servizz mistoqsi kontinwament: tikkodifika d-dokumentazzjoni tiegħek darba, imbagħad kull mistoqsija tiswifik biss sejħa waħda ta’ embedding u sejħa waħda ta’ ġenerazzjoni.
RAG vs Fine-Tuning
Ir-RAG u l-fine-tuning isolvu problemi simili iżda b’modi differenti. It-tabella hawn taħt, miktuba hawnhekk bħala struttura Python, tqabbel iż-żewġ approċċi fuq ħames kriterji.
# RAG vs Fine-Tuning Comparison
comparison = {
"RAG": {
"update": "Instant (add/remove documents)",
"cost": "Low (no retraining)",
"traceability": "Excellent (you know where the info came from)",
"hallucinations": "Reduced (answers grounded in sources)",
"use_cases": "Documentation, FAQs, knowledge bases",
},
"Fine-tuning": {
"update": "Expensive (retraining required)",
"cost": "High (GPUs, time, annotated data)",
"traceability": "Low (knowledge baked into the model)",
"hallucinations": "Possible (model may extrapolate)",
"use_cases": "Writing style, output format, specific tasks",
},
}
Il-linja “update” ħafna drabi tiddeċiedi kollox. Biex tissewwa żball f’proċedura tfisser, bir-RAG, li tibdel fajl u terġa’ tikkodifika ftit biċċiet—kwistjoni ta’ minuti. Bil-fine-tuning, l-istema tiswija teħtieġ li terġa’ tibni dataset u terġa’ tħaddem it-taħriġ, mingħajr garanzija li l-verżjoni l-qadima ntesiet verament. Fil-prattika, ir-RAG ħafna drabi huwa l-aħjar għażla biex tintegra għarfien fattwali li jevolvi, filwaqt li l-fine-tuning huwa aħjar biex tibdel l-imġiba jew l-istil tal-mudell. Iż-żewġ metodi mhumiex esklużivi reċiprokament: mudell imħarreġ sew (fine-tuned) biex iwieġeb fil-format mistenni tan-negozju tiegħek jista’ xorta waħda jiġi alimentat mir-RAG.
L-Istek Teknoloġiku
Il-bini ta’ pipeline RAG ma’ Mistral jeħtieġ biss tliet libreriji, u l-installazzjoni tieħu linja waħda.
# Essential dependencies
# pip install mistralai faiss-cpu numpy
from mistralai.client import Mistral # LLM + Embeddings
import faiss # Vector store
import numpy as np # Vector calculations
L-SDK mistralai jimmaniġġja s-sejħiet tal-mudell waħdu: embeddings ma’ mistral-embed u ġenerazzjoni ma’ mistral-large. faiss-cpu, il-librerija ta’ Meta għat-tiftix vettorjali mgħaġġel, tieħu f’idejha meta t-tqabbil eżawrjenti jsir bil-mod wisq—lil hinn minn ftit għexieren ta’ eluf ta’ vetturi. Fl-aħħar nett, numpy jimmaniġġja l-operazzjonijiet tal-matriċi vettorjali li jgħaqqdu kollox flimkien. Fil-lezzjonijiet li ġejjin, se tibni kull pass ta’ dan il-pipeline mill-bidu, mit-tħejjija tad-data sal-ġenerazzjoni tar-rispons.
Meta Tuża r-RAG?
Ir-RAG huwa partikolarment adattat meta għandek dokumenti interni—dokumentazzjoni teknika, proċeduri, kuntratti—li ebda mudell pubbliku qatt ma ra. Huwa wkoll l-għażla t-tajba meta l-informazzjoni tinbidel frekwentement: prezzijiet, disponibbiltà, regolamenti. Servizz li jikkwota prezzijiet skaduti jisw aktar minn wieħed li ma jwieġibx affattu.
Tliet sitwazzjonijiet oħra jindikaw naturalment lejn ir-RAG. L-ewwel, il-ħtieġa għat-traċċabbiltà, meta trid tkun taf minn fejn ġiet kull biċċa informazzjoni—rekwiżit komuni f’setturi rregolati u, fi kwalunkwe każ, kundizzjoni għall-fiduċja tal-utent. It-tieni, l-għan li tnaqqas l-alluċinazzjonijiet, peress li mudell bl-eżatt stralc korrett m’għandux raġuni biex jinventa. Fl-aħħar nett, il-baġit: meta ma jkollokx ir-riżorsi jew id-data annotata għall-fine-tuning, ir-RAG joffri triq prattika b’ftit dokumenti biss u ftit sigħat ta’ xogħol.
Punti Ewlenin
- Ir-RAG jgħaqqad l-irkupru tal-informazzjoni mal-ġenerazzjoni tal-LLM
- L-arkitettura tinqasam f’: indiċjar, irkupru, awgmentazzjoni, ġenerazzjoni
- Ir-RAG huwa preferibbli għall-fine-tuning għal għarfien fattwali li jevolvi
- Mistral jipprovdi ż-żewġ blokok tal-bini essenzjali: embeddings u LLM
- FAISS hija l-librerija ta’ referenza għat-tiftix vettorjali