Irkupru u Ġenerazzjoni
F'din il-paġna
Mill-Vettur għat-Tweġiba
Inti taf diġà kif tindiċja d-dokumenti u tirrikupra dawk l-aktar qrib mistoqsija. Jifpass wieħed biss: li tbiddel lista ta’ biċċiet (chunks) f’tweġiba li tinqara. Dan ifisser li tinjetta l-kuntest irkuprat ġewwa prompt sabiex l-LLM jifformula tweġiba bbażata fuq id-data tiegħek minflok fuq il-memorji tat-taħriġ tiegħu. Tieħu biss ftit linji ta’ kodiċi, iżda tagħmel differenza deċiżiva fil-kwalità. Kuntest ippreżentat tajjeb u istruzzjoni ċara huma importanti daqs il-preċiżjoni tal-irkupru.
Il-Bini tal-Prompt RAG
L-istruttura tal-prompt hija sempliċi, iżda kull għażla għandha konsegwenzi. Innumera l-biċċiet u annotahom bis-sors tagħhom sabiex il-mudell ikun jista’ jikkonforma b’mod preċiż. Iffralhom b’delimitatur viżibbli, ---, sabiex il-mudell ma jgħaqqadx żewġ dokumenti kontradittorji f’affermazzjoni waħda. L-aktar importanti, l-istruzzjoni trid tirrestrinġi espliċitament it-tweġiba għall-kuntest ipprovdut u tippermetti lill-mudell jgħid li ma jafx. Mingħajr dik il-permessjoni, LLM mistoqsi dwar informazzjoni nieqsa jimla l-vojt b’kull ma jidher plawżibbli. Dak huwa preċiżament il-mekkaniżmu tal-alluċinazzjoni.
def build_rag_prompt(question, retrieved_chunks):
"""Build the RAG prompt with retrieved context."""
# Format the context
context_parts = []
for i, chunk in enumerate(retrieved_chunks):
source = chunk.get("source", "unknown source")
context_parts.append(f"[Document {i+1} - {source}]\n{chunk['text']}")
context = "\n\n---\n\n".join(context_parts)
prompt = f"""You are an expert assistant. Answer the question using
ONLY the context provided below. If the information is not in the
context, say so clearly.
## Context
{context}
## Question
{question}
## Answer"""
return prompt
Il-Ġenerazzjoni tat-Tweġiba
Is-sejħa tal-ġenerazzjoni hija diretta: messaġġ tas-sistema li jerġa’ jiddikjara r-rwol, u messaġġ tal-utent li jġorr il-prompt immuntat. Oqgħod attent għall-parametru temperature, stabbilit hawnhekk għal 0.1. Fil-kitba kreattiva, trid varjetà; fir-RAG, trid l-oppost. Trid il-mudell jibqa’ kemm jista’ jkun qrib dak li jgħid il-kuntest, u trid li żewġ eżekuzzjonijiet fuq l-istess mistoqsija jipproduċu l-istess tweġiba. Temperatura għolja timbotta lill-mudell biex jerġa’ jifformula, jestrapola, u jbiegħed ruħu mis-sors.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
def generate_answer(question, retrieved_chunks, model="mistral-large-latest"):
"""Generate a RAG answer with Mistral."""
prompt = build_rag_prompt(question, retrieved_chunks)
response = client.chat.complete(
model=model,
messages=[
{
"role": "system",
"content": "You are a precise assistant that answers based on the provided context."
},
{
"role": "user",
"content": prompt,
}
],
temperature=0.1, # Low temperature for factual answers
)
return response.choices[0].message.content
# Example
question = "What are the main steps of RAG?"
results = search_index(question, index, chunks, k=3)
answer = generate_answer(question, results)
print(answer)
L-Inkapsulament tal-Fluss f’Klassi
Funzjonijiet mifruxa jaħdmu għall-esplorazzjoni, mhux għad-distribuzzjoni. Il-klassi RAGPipeline tiġbor flimkien l-istat—il-biċċiet, il-matriċi tal-embeddings, u l-indiċi FAISS mibni darba waħda fl-istanzjazzjoni—u tliet operazzjonijiet: retrieve tikkodifika l-mistoqsija u tistaqsi l-indiċi, generate timmonta l-prompt u ssejjaħ il-mudell, u ask tgħaqqad iż-żewġ passi. Innota x’tirritorna ask: mhux stringa, iżda dizzjunarju li fih it-tweġiba, il-lista tas-sorsi, u n-numru ta’ biċċiet użati. Din it-traċċabbiltà hija dak li jifred assistent awditabbli minn kaxxa sewda. Il-jum li utent jikkontesta tweġiba, tkun taf fuq liema passiġġati strieħ.
import numpy as np
import faiss
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
class RAGPipeline:
"""Complete RAG pipeline with Mistral and FAISS."""
def __init__(self, chunks, embeddings):
self.chunks = chunks
self.embeddings = embeddings.astype(np.float32)
# Create the FAISS index
dimension = embeddings.shape[1]
self.index = faiss.IndexFlatL2(dimension)
self.index.add(self.embeddings)
def retrieve(self, question, k=3):
"""Step 1: retrieve relevant chunks."""
response = client.embeddings.create(
model="mistral-embed",
inputs=[question],
)
query_vector = np.array(
[response.data[0].embedding], dtype=np.float32
)
distances, indices = self.index.search(query_vector, k)
results = []
for dist, idx in zip(distances[0], indices[0]):
if idx >= 0:
results.append({
"text": self.chunks[idx]["text"],
"source": self.chunks[idx].get("source", ""),
"distance": float(dist),
})
return results
def generate(self, question, context_chunks):
"""Step 2: generate the answer with context."""
prompt = build_rag_prompt(question, context_chunks)
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": prompt}],
temperature=0.1,
)
return response.choices[0].message.content
def ask(self, question, k=3):
"""Full pipeline: question -> sourced answer."""
# Retrieval
context = self.retrieve(question, k=k)
# Generation
answer = self.generate(question, context)
return {
"question": question,
"answer": answer,
"sources": [c["source"] for c in context],
"n_chunks_used": len(context),
}
# Usage
rag = RAGPipeline(chunks, embeddings)
result = rag.ask("How does indexing work in FAISS?")
print(f"Question: {result['question']}")
print(f"Answer: {result['answer']}")
print(f"Sources: {result['sources']}")
Tliet Varjanti tal-Prompt skont il-Każ ta’ Użu
Tista’ tispeċjalizza l-prompt bażiku skont dak li tistenna mill-assistent. Jekk l-utenti tiegħek iridu jivverifikaw kull affermazzjoni, itlob espliċitament għaċ-ċitazzjonijiet fil-parentesi. Il-mudell imbagħad iwaħħal kull sentenza ma’ dokument innumerat. Jekk it-tweġiba titma’ interfaċċa jew rapport, format strutturat jinfurza sezzjonijiet stabbli: tweġiba konċiża, dettalji, sorsi, u livell ta’ kunfidenza li jirrifletti kemm il-kuntest ikopri l-mistoqsija. It-tielet varjanti tilgħab rwol differenti: tgħallem lill-mudell jifred l-inċertezza billi jiddistingwi bejn dak li jista’ jafferma, dak li huwa nieqes, u fejn għandu jħares wara. Dan spiss jipproduċi l-assistenti l-aktar utli fil-prattika, għax “Nieqes minni X” taqbeż tweġiba kunfidenti iżda żbaljata.
# 1. Prompt with citation instruction
prompt_cite = """Answer by citing source documents in brackets.
Example: "RAG improves accuracy [Document 1]."
Context: {context}
Question: {question}"""
# 2. Prompt with structured format
prompt_structured = """Answer in the following format:
**Answer**: [your concise answer]
**Details**: [detailed explanation]
**Sources**: [list of documents used]
**Confidence**: [high/medium/low based on context coverage]
Context: {context}
Question: {question}"""
# 3. Prompt with missing-information handling
prompt_honest = """If the context does not contain enough information to
answer completely, state clearly:
- What you can assert with certainty
- What is missing from the context
- Suggestions for obtaining the missing information
Context: {context}
Question: {question}"""
Fuq in-naħa tal-parametri tas-sejħa, tliet settings jirregolaw l-imġiba tar-RAG. Temperatura baxxa tissakkar f’output fattwali, max_tokens jipprevjeni tweġibiet li jidħlu f’saġġi, u top_p konservattiv jirrestrinġi l-vokabolarju kkampjunat għall-kontinwazzjonijiet l-aktar probabbli.
# For RAG, use a low temperature
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": prompt}],
temperature=0.1, # Factual, low creativity
max_tokens=1024, # Limit answer length
top_p=0.95, # Conservative nucleus sampling
)
Punti Ewlenin
- Il-prompt RAG jinjetta l-kuntest irkuprat qabel il-mistoqsija
- Uża temperatura baxxa (0.1–0.3) għal tweġibiet fattwali
- Itlob lill-mudell jikkonforma s-sorsi għat-traċċabbiltà
- Il-klassi RAGPipeline tinkapsula l-fluss sħiħ: irkupru, ġenerazzjoni, staqsi
- Immaniġġja l-każijiet fejn il-kuntest jonqsu minn informazzjoni suffiċjenti