Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Irkupru u Ġenerazzjoni

Lezzjoni 13 / 18 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Mill-Vettur għat-Tweġiba
  2. Il-Bini tal-Prompt RAG
  3. Il-Ġenerazzjoni tat-Tweġiba
  4. L-Inkapsulament tal-Fluss f’Klassi
  5. Tliet Varjanti tal-Prompt skont il-Każ ta’ Użu
  6. Punti Ewlenin

Mill-Vettur għat-Tweġiba

Inti taf diġà kif tindiċja d-dokumenti u tirrikupra dawk l-aktar qrib mistoqsija. Jifpass wieħed biss: li tbiddel lista ta’ biċċiet (chunks) f’tweġiba li tinqara. Dan ifisser li tinjetta l-kuntest irkuprat ġewwa prompt sabiex l-LLM jifformula tweġiba bbażata fuq id-data tiegħek minflok fuq il-memorji tat-taħriġ tiegħu. Tieħu biss ftit linji ta’ kodiċi, iżda tagħmel differenza deċiżiva fil-kwalità. Kuntest ippreżentat tajjeb u istruzzjoni ċara huma importanti daqs il-preċiżjoni tal-irkupru.

Il-Bini tal-Prompt RAG

L-istruttura tal-prompt hija sempliċi, iżda kull għażla għandha konsegwenzi. Innumera l-biċċiet u annotahom bis-sors tagħhom sabiex il-mudell ikun jista’ jikkonforma b’mod preċiż. Iffralhom b’delimitatur viżibbli, ---, sabiex il-mudell ma jgħaqqadx żewġ dokumenti kontradittorji f’affermazzjoni waħda. L-aktar importanti, l-istruzzjoni trid tirrestrinġi espliċitament it-tweġiba għall-kuntest ipprovdut u tippermetti lill-mudell jgħid li ma jafx. Mingħajr dik il-permessjoni, LLM mistoqsi dwar informazzjoni nieqsa jimla l-vojt b’kull ma jidher plawżibbli. Dak huwa preċiżament il-mekkaniżmu tal-alluċinazzjoni.

def build_rag_prompt(question, retrieved_chunks):
    """Build the RAG prompt with retrieved context."""
    # Format the context
    context_parts = []
    for i, chunk in enumerate(retrieved_chunks):
        source = chunk.get("source", "unknown source")
        context_parts.append(f"[Document {i+1} - {source}]\n{chunk['text']}")

    context = "\n\n---\n\n".join(context_parts)

    prompt = f"""You are an expert assistant. Answer the question using
ONLY the context provided below. If the information is not in the
context, say so clearly.

## Context

{context}

## Question

{question}

## Answer"""

    return prompt

Il-Ġenerazzjoni tat-Tweġiba

Is-sejħa tal-ġenerazzjoni hija diretta: messaġġ tas-sistema li jerġa’ jiddikjara r-rwol, u messaġġ tal-utent li jġorr il-prompt immuntat. Oqgħod attent għall-parametru temperature, stabbilit hawnhekk għal 0.1. Fil-kitba kreattiva, trid varjetà; fir-RAG, trid l-oppost. Trid il-mudell jibqa’ kemm jista’ jkun qrib dak li jgħid il-kuntest, u trid li żewġ eżekuzzjonijiet fuq l-istess mistoqsija jipproduċu l-istess tweġiba. Temperatura għolja timbotta lill-mudell biex jerġa’ jifformula, jestrapola, u jbiegħed ruħu mis-sors.

from mistralai.client import Mistral

client = Mistral(api_key=api_key)

def generate_answer(question, retrieved_chunks, model="mistral-large-latest"):
    """Generate a RAG answer with Mistral."""
    prompt = build_rag_prompt(question, retrieved_chunks)

    response = client.chat.complete(
        model=model,
        messages=[
            {
                "role": "system",
                "content": "You are a precise assistant that answers based on the provided context."
            },
            {
                "role": "user",
                "content": prompt,
            }
        ],
        temperature=0.1,  # Low temperature for factual answers
    )

    return response.choices[0].message.content

# Example
question = "What are the main steps of RAG?"
results = search_index(question, index, chunks, k=3)
answer = generate_answer(question, results)
print(answer)

L-Inkapsulament tal-Fluss f’Klassi

Funzjonijiet mifruxa jaħdmu għall-esplorazzjoni, mhux għad-distribuzzjoni. Il-klassi RAGPipeline tiġbor flimkien l-istat—il-biċċiet, il-matriċi tal-embeddings, u l-indiċi FAISS mibni darba waħda fl-istanzjazzjoni—u tliet operazzjonijiet: retrieve tikkodifika l-mistoqsija u tistaqsi l-indiċi, generate timmonta l-prompt u ssejjaħ il-mudell, u ask tgħaqqad iż-żewġ passi. Innota x’tirritorna ask: mhux stringa, iżda dizzjunarju li fih it-tweġiba, il-lista tas-sorsi, u n-numru ta’ biċċiet użati. Din it-traċċabbiltà hija dak li jifred assistent awditabbli minn kaxxa sewda. Il-jum li utent jikkontesta tweġiba, tkun taf fuq liema passiġġati strieħ.

import numpy as np
import faiss
from mistralai.client import Mistral

client = Mistral(api_key=api_key)

class RAGPipeline:
    """Complete RAG pipeline with Mistral and FAISS."""

    def __init__(self, chunks, embeddings):
        self.chunks = chunks
        self.embeddings = embeddings.astype(np.float32)

        # Create the FAISS index
        dimension = embeddings.shape[1]
        self.index = faiss.IndexFlatL2(dimension)
        self.index.add(self.embeddings)

    def retrieve(self, question, k=3):
        """Step 1: retrieve relevant chunks."""
        response = client.embeddings.create(
            model="mistral-embed",
            inputs=[question],
        )
        query_vector = np.array(
            [response.data[0].embedding], dtype=np.float32
        )

        distances, indices = self.index.search(query_vector, k)

        results = []
        for dist, idx in zip(distances[0], indices[0]):
            if idx >= 0:
                results.append({
                    "text": self.chunks[idx]["text"],
                    "source": self.chunks[idx].get("source", ""),
                    "distance": float(dist),
                })
        return results

    def generate(self, question, context_chunks):
        """Step 2: generate the answer with context."""
        prompt = build_rag_prompt(question, context_chunks)

        response = client.chat.complete(
            model="mistral-large-latest",
            messages=[{"role": "user", "content": prompt}],
            temperature=0.1,
        )
        return response.choices[0].message.content

    def ask(self, question, k=3):
        """Full pipeline: question -> sourced answer."""
        # Retrieval
        context = self.retrieve(question, k=k)

        # Generation
        answer = self.generate(question, context)

        return {
            "question": question,
            "answer": answer,
            "sources": [c["source"] for c in context],
            "n_chunks_used": len(context),
        }

# Usage
rag = RAGPipeline(chunks, embeddings)
result = rag.ask("How does indexing work in FAISS?")

print(f"Question: {result['question']}")
print(f"Answer: {result['answer']}")
print(f"Sources: {result['sources']}")

Tliet Varjanti tal-Prompt skont il-Każ ta’ Użu

Tista’ tispeċjalizza l-prompt bażiku skont dak li tistenna mill-assistent. Jekk l-utenti tiegħek iridu jivverifikaw kull affermazzjoni, itlob espliċitament għaċ-ċitazzjonijiet fil-parentesi. Il-mudell imbagħad iwaħħal kull sentenza ma’ dokument innumerat. Jekk it-tweġiba titma’ interfaċċa jew rapport, format strutturat jinfurza sezzjonijiet stabbli: tweġiba konċiża, dettalji, sorsi, u livell ta’ kunfidenza li jirrifletti kemm il-kuntest ikopri l-mistoqsija. It-tielet varjanti tilgħab rwol differenti: tgħallem lill-mudell jifred l-inċertezza billi jiddistingwi bejn dak li jista’ jafferma, dak li huwa nieqes, u fejn għandu jħares wara. Dan spiss jipproduċi l-assistenti l-aktar utli fil-prattika, għax “Nieqes minni X” taqbeż tweġiba kunfidenti iżda żbaljata.

# 1. Prompt with citation instruction
prompt_cite = """Answer by citing source documents in brackets.
Example: "RAG improves accuracy [Document 1]."

Context: {context}
Question: {question}"""

# 2. Prompt with structured format
prompt_structured = """Answer in the following format:

**Answer**: [your concise answer]
**Details**: [detailed explanation]
**Sources**: [list of documents used]
**Confidence**: [high/medium/low based on context coverage]

Context: {context}
Question: {question}"""

# 3. Prompt with missing-information handling
prompt_honest = """If the context does not contain enough information to
answer completely, state clearly:
- What you can assert with certainty
- What is missing from the context
- Suggestions for obtaining the missing information

Context: {context}
Question: {question}"""

Fuq in-naħa tal-parametri tas-sejħa, tliet settings jirregolaw l-imġiba tar-RAG. Temperatura baxxa tissakkar f’output fattwali, max_tokens jipprevjeni tweġibiet li jidħlu f’saġġi, u top_p konservattiv jirrestrinġi l-vokabolarju kkampjunat għall-kontinwazzjonijiet l-aktar probabbli.

# For RAG, use a low temperature
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": prompt}],
    temperature=0.1,   # Factual, low creativity
    max_tokens=1024,    # Limit answer length
    top_p=0.95,         # Conservative nucleus sampling
)

Punti Ewlenin

  • Il-prompt RAG jinjetta l-kuntest irkuprat qabel il-mistoqsija
  • Uża temperatura baxxa (0.1–0.3) għal tweġibiet fattwali
  • Itlob lill-mudell jikkonforma s-sorsi għat-traċċabbiltà
  • Il-klassi RAGPipeline tinkapsula l-fluss sħiħ: irkupru, ġenerazzjoni, staqsi
  • Immaniġġja l-każijiet fejn il-kuntest jonqsu minn informazzjoni suffiċjenti