Pajp RAG Sħiħ
F'din il-paġna
Ingħaqdu Flimkien
Il-lezzjonijiet ta’ qabel koprew kull rabta fil-katina separatament: it-tagħbija, il-qsim f’biċċiet (chunking), il-kodifika, l-indiċjar, l-irkupru u l-ġenerazzjoni. Issa wasal iż-żmien biex tgħaqqadhom f’programm wieħed sħiħ, minn tarf għal ieħor, li tista’ tħaddem hekk kif hu u mbagħad tadattah għad-dokumenti tiegħek stess. Dan l-iskritt jidħol f’fajl wieħed u jeħtieġ biss erba’ dipendenzi.
pip install mistralai faiss-cpu numpy requests
Il-Pajp Sħiħ
Żewġ għażliet tad-disinn jistrutturaw dan il-kodiċi. L-ewwel, niġbru l-konfigurazzjoni kollha fil-bidu tal-fajl: il-mudelli, id-daqs tal-biċċiet, id-daqs tal-lottijiet u TOP_K huma kostanti msemmija. Dan iffrankalek milli tfittex valuri mwaħħla (hard-coded) midfuna ġewwa funzjonijiet meta jkollok bżonn taġġusta l-imġiba. It-tieni, naqsmu l-loġika f’sitt funzjonijiet indipendenti, kull waħda tikkorrispondi għal pass wieħed u tistampa l-progress tagħha bħala [n/6]. Din it-traċċa mhix dekorattiva: meta l-pajp ifalli jew jirritorna tweġiba stramba, tgħidlek immedjatament jekk il-problemax tinsab fit-tagħbija, fil-qsim jew fl-irkupru. Kull funzjoni hija wkoll sostitwibbli b’mod iżolat—tista’ tbiddel loader tal-PDF għal load_data mingħajr ma tmiss il-bqija.
Il-funzjoni main tgħaqqad il-passi flimkien, imbagħad tistaqsi l-korpus bi tliet mistoqsijiet dwar is-saġġ ta’ Paul Graham użat bħala s-sett tad-data demo tagħna. Innota li l-irkupru u l-ġenerazzjoni jiġru ġol-lupp, filwaqt li l-indiċjar iseħħ darba biss qabel: li terġa’ tikkodifika l-korpus sħiħ għal kull mistoqsija ikun assurdu kemm f’termini ta’ spiża kif ukoll ta’ latenza.
import os
import json
import numpy as np
import faiss
import requests
from mistralai.client import Mistral
# ============================================================
# Konfigurazzjoni
# ============================================================
MISTRAL_API_KEY = os.environ.get("MISTRAL_API_KEY")
EMBED_MODEL = "mistral-embed"
CHAT_MODEL = "mistral-large-latest"
CHUNK_SIZE = 2048
BATCH_SIZE = 25
TOP_K = 3
client = Mistral(api_key=MISTRAL_API_KEY)
# ============================================================
# Pass 1: Ittagħbja tad-Data
# ============================================================
def load_data(url):
"""Ittagħbja dokument ta' test minn URL."""
print("[1/6] Qed nitgħabbu d-data...")
response = requests.get(url)
response.raise_for_status()
text = response.text
print(f" -> {len(text)} karattru mtgħobbija")
return text
# ============================================================
# Pass 2: Ħolqien tal-Biċċiet (Chunks)
# ============================================================
def create_chunks(text, chunk_size=CHUNK_SIZE):
"""Aqsam it-test f'biċċiet."""
print("[2/6] Qed noħolqu l-biċċiet...")
chunks = []
paragraphs = text.split("\n\n")
current = ""
for para in paragraphs:
para = para.strip()
if not para:
continue
if len(current) + len(para) + 2 <= chunk_size:
current = current + "\n\n" + para if current else para
else:
if current:
chunks.append(current)
current = para
if current:
chunks.append(current)
print(f" -> {len(chunks)} biċċa maħluqa (daqs medju: {sum(len(c) for c in chunks) // len(chunks)} karattru)")
return chunks
# ============================================================
# Pass 3: Ġenerazzjoni tal-Embeddings
# ============================================================
def create_embeddings(chunks, batch_size=BATCH_SIZE):
"""Ikkodifika l-biċċiet f'embeddings permezz ta' mistral-embed."""
print("[3/6] Qed niġġeneraw l-embeddings...")
all_embeddings = []
for i in range(0, len(chunks), batch_size):
batch = chunks[i:i + batch_size]
response = client.embeddings.create(
model=EMBED_MODEL,
inputs=batch,
)
all_embeddings.extend([d.embedding for d in response.data])
print(f" -> Lott {i // batch_size + 1}/{(len(chunks) - 1) // batch_size + 1} ikkodifikat")
embeddings = np.array(all_embeddings, dtype=np.float32)
print(f" -> Matriċi: {embeddings.shape}")
return embeddings
# ============================================================
# Pass 4: Ħolqien tal-Indiċi FAISS
# ============================================================
def create_index(embeddings):
"""Oħloq u popola indiċi FAISS."""
print("[4/6] Qed noħolqu l-indiċi FAISS...")
dimension = embeddings.shape[1]
index = faiss.IndexFlatL2(dimension)
index.add(embeddings)
print(f" -> Indiċi: {index.ntotal} vettur, dimensjoni {dimension}")
return index
# ============================================================
# Pass 5: Irkupru tal-Biċċiet Rilevanti
# ============================================================
def retrieve(question, index, chunks, k=TOP_K):
"""Irkupra l-biċċiet l-aktar rilevanti."""
print(f"[5/6] Qed infittxu: '{question[:50]}...'")
response = client.embeddings.create(
model=EMBED_MODEL,
inputs=[question],
)
query_vector = np.array([response.data[0].embedding], dtype=np.float32)
distances, indices = index.search(query_vector, k)
results = []
for dist, idx in zip(distances[0], indices[0]):
if idx >= 0:
results.append({
"text": chunks[idx],
"distance": float(dist),
})
print(f" -> {len(results)} biċċa rkuprata")
return results
# ============================================================
# Pass 6: Ġenerazzjoni tat-Tweġiba
# ============================================================
def generate(question, context_chunks):
"""Iġġenera t-tweġiba bl-użu tal-kuntest irkuprat."""
print("[6/6] Qed niġġeneraw it-tweġiba...")
context = "\n\n---\n\n".join([c["text"] for c in context_chunks])
prompt = f"""Kuntest informattiv:
{context}
---
Ibbażat BISS fuq il-kuntest ta' hawn fuq, wieġeb il-mistoqsija li ġejja b'mod preċiż u sħiħ.
Mistoqsija: {question}"""
response = client.chat.complete(
model=CHAT_MODEL,
messages=[
{"role": "system", "content": "Int assistent li jwieġeb ibbażat fuq il-kuntest ipprovdut."},
{"role": "user", "content": prompt},
],
temperature=0.1,
)
answer = response.choices[0].message.content
print(f" -> Tweġiba ġġenerata ({len(answer)} karattru)")
return answer
# ============================================================
# Pajp Prinċipali
# ============================================================
def main():
"""Ħaddem il-pajp RAG sħiħ."""
# 1. Ittagħbja
url = "https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt"
text = load_data(url)
# 2. Qsim f'biċċiet
chunks = create_chunks(text)
# 3. Kodifika
embeddings = create_embeddings(chunks)
# 4. Indiċjar
index = create_index(embeddings)
# 5+6. Mistoqsija -> Tweġiba
questions = [
"X'kienu ż-żewġ affarijiet ewlenin li l-awtur ħadem fuqhom qabel il-kulleġġ?",
"X'għamel l-awtur waqt iż-żmien tiegħu f'Y Combinator?",
"Liema lingwa tal-ipprogrammar tgħallem l-ewwel l-awtur?",
]
for question in questions:
print(f"\n{'='*60}")
context = retrieve(question, index, chunks)
answer = generate(question, context)
print(f"\nM: {question}")
print(f"T: {answer}")
if __name__ == "__main__":
main()
Tħaddim tal-Pajp
I salva dan il-kodiċi bħala rag_pipeline.py, esporta ċ-ċavetta tal-API tiegħek fl-ambjent—qatt ma twaħħalha direttament fil-fajl, peress li eventwalment tintemm f’repożitorju—u mbagħad ħaddem l-iskritt. L-output jgħaddi mis-sitt passi, imbagħad jipproċessa t-tliet mistoqsijiet bit-tweġibiet tagħhom. Jekk xi tweġiba tidher barra mit-tema, qabblha mal-biċċiet murija fil-pass 5 qabel ma tlumma l-mudell tal-ġenerazzjoni.
export MISTRAL_API_KEY="your-api-key"
python rag_pipeline.py
Ħames Direzzjonijiet għal Titjib Ulterjuri
Dan il-pajp huwa bażi, mhux prodott lest, u kull limitazzjoni tiegħu tissuġġerixxi pass li jmiss. L-aktar waħda immedjata hija l-persistenza: fil-forma attwali tiegħu, l-iskritt jerġa’ jikkodifika l-korpus sħiħ f’kull ġirja, filwaqt li s-salvataġġ tal-indiċi FAISS u tal-biċċiet jagħmel l-eżekuzzjonijiet sussegwenti kważi istantanji. Ir-ranking mill-ġdid (Re-ranking) huwa l-livell li jmiss, li jgħaddi r-riżultati ta’ FAISS permezz ta’ cross-encoder li jivvaluta r-rilevanza b’mod ferm aktar fin milli d-distanza tal-vettur waħedha. Il-filtrar tal-metadejta jindirizza ħtieġa oħra: li tillimita t-tiftix skont id-data, il-kategorija jew l-awtur, barra mis-similarità. Żewġ titjib finali jiffukaw fuq l-esperjenza tal-utent: l-istreaming, li juri t-tweġiba hekk kif tiġi ġġenerata minflok wara diversi sekondi ta’ silenzju, u l-istorja tal-konversazzjoni, li tippermetti lill-utenti jsegwu b‘“x’inhu dwar il-verżjoni 2?” mingħajr ma jerġgħu jiddikjaraw il-mistoqsija kollha tagħhom.
# 1. Salva l-indiċi biex tevita li terġa' tikkalkula
faiss.write_index(index, "my_rag.index")
np.save("my_chunks.npy", np.array(chunks, dtype=object))
# 2. Żid ir-ranking mill-ġdid
# Wara l-irkupru ta' FAISS, uża mudell cross-encoder
# biex terġa' tordna r-riżultati skont rilevanza dettaljata
# 3. Filtrar tal-metadejta
# Żid filtri (data, kategorija, awtur) barra
# mis-similarità tal-vettur
# 4. Istreaming tar-rispons
# Uża client.chat.stream() biex turi t-tweġiba
# hekk kif tiġi ġġenerata
# 5. Storja tal-konversazzjoni
# Żid skambji preċedenti mal-prompt
# għal chatbot RAG kuntestwali
Punti Ewlenin
- Il-pajp RAG sħiħ jinqasam f’6 passi: ittagħbja, qsim f’biċċiet, kodifika, indiċjar, irkupru, ġenerazzjoni
- Kull pass huwa funzjoni indipendenti, faċli biex tiġi ttestjata u sostitwita
- Uża
temperature=0.1għal tweġibiet fattwali - Salva l-indiċi FAISS u l-embeddings biex tevita li terġa’ tikkalkula f’kull ġirja
- Dan il-pajp huwa punt tat-tluq solidu biex tiġġarrab skont il-ħtiġijiet tiegħek