Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Πλήρης Αγωγός RAG

Μάθημα 14 / 18 Ενημερώθηκε 2 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Συγκρότηση όλων των μερών
  2. Ο Πλήρης Αγωγός
  3. Εκτέλεση του Αγωγού
  4. Πέντε Κατευθύνσεις για Περαιτέρω Βελτίωση
  5. Βασικά σημεία

Συγκρότηση όλων των μερών

Τα προηγούμενα μαθήματα κάλυψαν ξεχωριστά κάθε κρίκο της αλυσίδας: φόρτωση, τμηματοποίηση, κωδικοποίηση, ευρετηρίαση, ανάκτηση και παραγωγή. Τώρα είναι η στιγμή να τους συνδέσετε σε ένα ενιαίο, πλήρες πρόγραμμα end-to-end που μπορείτε να εκτελέσετε ως έχει και στη συνέχεια να προσαρμόσετε στα δικά σας έγγραφα. Αυτό το σενάριο χωράει σε ένα αρχείο και απαιτεί μόνο τέσσερις εξαρτήσεις.

pip install mistralai faiss-cpu numpy requests

Ο Πλήρης Αγωγός

Δύο σχεδιαστικές επιλογές δομούν αυτόν τον κώδικα. Πρώτον, ομαδοποιούμε όλες τις ρυθμίσεις στην αρχή του αρχείου: τα μοντέλα, το μέγεθος τμήματος, το μέγεθος παρτίδας και το TOP_K είναι σταθερές με όνομα. Αυτό σας γλιτώνει από το κυνήγι σκληρά κωδικοποιημένων τιμών θαμμένων μέσα σε συναρτήσεις όταν χρειάζεται να ρυθμίσετε τη συμπεριφορά. Δεύτερον, χωρίζουμε τη λογική σε έξι ανεξάρτητες συναρτήσεις, καθεμία από τις οποίες αντιστοιχεί σε ένα βήμα και εκτυπώνει την πρόοδό της ως [n/6]. Αυτό το ίχνος δεν είναι διακοσμητικό: όταν ο αγωγός αποτύχει ή επιστρέψει μια παράξενη απάντηση, σας λέει αμέσως αν το πρόβλημα βρίσκεται στη φόρτωση, την τμηματοποίηση ή την ανάκτηση. Κάθε συνάρτηση είναι επίσης αντικαταστάσιμη μεμονωμένα—μπορείτε να βάλετε έναν φορτωτή PDF για τη load_data χωρίς να αγγίξετε τα υπόλοιπα.

Η συνάρτηση main συνδέει τα βήματα μεταξύ τους και στη συνέχεια υποβάλλει ερωτήματα στο σώμα κειμένου με τρεις ερωτήσεις σχετικά με το δοκίμιο του Paul Graham που χρησιμοποιήθηκε ως σύνολο δεδομένων επίδειξης. Παρατηρήστε ότι η ανάκτηση και η παραγωγή εκτελούνται μέσα στον βρόχο, ενώ η ευρετηρίαση συμβαίνει μόνο μία φορά εκ των προτέρων: η εκ νέου κωδικοποίηση ολόκληρου του σώματος κειμένου για κάθε ερώτηση θα ήταν παράλογη τόσο από άποψη κόστους όσο και λανθάνουσας καθυστέρησης.

import os
import json
import numpy as np
import faiss
import requests
from mistralai.client import Mistral

# ============================================================
# Configuration
# ============================================================
MISTRAL_API_KEY = os.environ.get("MISTRAL_API_KEY")
EMBED_MODEL = "mistral-embed"
CHAT_MODEL = "mistral-large-latest"
CHUNK_SIZE = 2048
BATCH_SIZE = 25
TOP_K = 3

client = Mistral(api_key=MISTRAL_API_KEY)


# ============================================================
# Step 1: Load Data
# ============================================================
def load_data(url):
    """Load a text document from a URL."""
    print("[1/6] Loading data...")
    response = requests.get(url)
    response.raise_for_status()
    text = response.text
    print(f"  -> {len(text)} characters loaded")
    return text


# ============================================================
# Step 2: Create Chunks
# ============================================================
def create_chunks(text, chunk_size=CHUNK_SIZE):
    """Split text into chunks."""
    print("[2/6] Creating chunks...")
    chunks = []
    paragraphs = text.split("\n\n")
    current = ""

    for para in paragraphs:
        para = para.strip()
        if not para:
            continue
        if len(current) + len(para) + 2 <= chunk_size:
            current = current + "\n\n" + para if current else para
        else:
            if current:
                chunks.append(current)
            current = para

    if current:
        chunks.append(current)

    print(f"  -> {len(chunks)} chunks created (avg size: {sum(len(c) for c in chunks) // len(chunks)} chars)")
    return chunks


# ============================================================
# Step 3: Generate Embeddings
# ============================================================
def create_embeddings(chunks, batch_size=BATCH_SIZE):
    """Encode chunks into embeddings via mistral-embed."""
    print("[3/6] Generating embeddings...")
    all_embeddings = []

    for i in range(0, len(chunks), batch_size):
        batch = chunks[i:i + batch_size]
        response = client.embeddings.create(
            model=EMBED_MODEL,
            inputs=batch,
        )
        all_embeddings.extend([d.embedding for d in response.data])
        print(f"  -> Batch {i // batch_size + 1}/{(len(chunks) - 1) // batch_size + 1} encoded")

    embeddings = np.array(all_embeddings, dtype=np.float32)
    print(f"  -> Matrix: {embeddings.shape}")
    return embeddings


# ============================================================
# Step 4: Create FAISS Index
# ============================================================
def create_index(embeddings):
    """Create and populate a FAISS index."""
    print("[4/6] Creating FAISS index...")
    dimension = embeddings.shape[1]
    index = faiss.IndexFlatL2(dimension)
    index.add(embeddings)
    print(f"  -> Index: {index.ntotal} vectors, dimension {dimension}")
    return index


# ============================================================
# Step 5: Retrieve Relevant Chunks
# ============================================================
def retrieve(question, index, chunks, k=TOP_K):
    """Retrieve the most relevant chunks."""
    print(f"[5/6] Searching for: '{question[:50]}...'")
    response = client.embeddings.create(
        model=EMBED_MODEL,
        inputs=[question],
    )
    query_vector = np.array([response.data[0].embedding], dtype=np.float32)

    distances, indices = index.search(query_vector, k)

    results = []
    for dist, idx in zip(distances[0], indices[0]):
        if idx >= 0:
            results.append({
                "text": chunks[idx],
                "distance": float(dist),
            })

    print(f"  -> {len(results)} chunks retrieved")
    return results


# ============================================================
# Step 6: Generate Answer
# ============================================================
def generate(question, context_chunks):
    """Generate the answer using retrieved context."""
    print("[6/6] Generating answer...")

    context = "\n\n---\n\n".join([c["text"] for c in context_chunks])

    prompt = f"""Informative context:

{context}

---

Based ONLY on the context above, answer the following question precisely and completely.

Question: {question}"""

    response = client.chat.complete(
        model=CHAT_MODEL,
        messages=[
            {"role": "system", "content": "You are an assistant that answers based on the provided context."},
            {"role": "user", "content": prompt},
        ],
        temperature=0.1,
    )

    answer = response.choices[0].message.content
    print(f"  -> Answer generated ({len(answer)} characters)")
    return answer


# ============================================================
# Main Pipeline
# ============================================================
def main():
    """Run the complete RAG pipeline."""
    # 1. Load
    url = "https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt"
    text = load_data(url)

    # 2. Chunk
    chunks = create_chunks(text)

    # 3. Encode
    embeddings = create_embeddings(chunks)

    # 4. Index
    index = create_index(embeddings)

    # 5+6. Question -> Answer
    questions = [
        "What were the two main things the author worked on before college?",
        "What did the author do during their time at Y Combinator?",
        "What programming language did the author learn first?",
    ]

    for question in questions:
        print(f"\n{'='*60}")
        context = retrieve(question, index, chunks)
        answer = generate(question, context)
        print(f"\nQ: {question}")
        print(f"A: {answer}")


if __name__ == "__main__":
    main()

Εκτέλεση του Αγωγού

Αποθηκεύστε αυτόν τον κώδικα ως rag_pipeline.py, εξάγετε το κλειδί API σας στο περιβάλλον—ποτέ μην το κωδικοποιείτε σκληρά στο αρχείο, καθώς τελικά θα καταλήξει σε ένα αποθετήριο—και στη συνέχεια εκτελέστε το σενάριο. Η έξοδος διατρέχει τα έξι βήματα και στη συνέχεια επεξεργάζεται τις τρεις ερωτήσεις με τις απαντήσεις τους. Εάν κάποια απάντηση φαίνεται εκτός θέματος, συγκρίνετέ την με τα τμήματα που εμφανίζονται στο βήμα 5 πριν κατηγορήσετε το μοντέλο παραγωγής.

export MISTRAL_API_KEY="your-api-key"
python rag_pipeline.py

Πέντε Κατευθύνσεις για Περαιτέρω Βελτίωση

Αυτός ο αγωγός αποτελεί μια βάση, όχι ένα τελικό προϊόν, και κάθε ένας από τους περιορισμούς του δείχνει προς ένα επόμενο βήμα. Το πιο άμεσο είναι η επιμονή: στην τρέχουσα μορφή του, το σενάριο κωδικοποιεί εκ νέου ολόκληρο το σώμα κειμένου σε κάθε εκτέλεση, whereas η αποθήκευση του ευρετηρίου FAISS και των τμημάτων θα καθιστούσε τις επόμενες εκτελέσεις σχεδόν ακαριαίες. Η επαναβαθμολόγηση (re-ranking) είναι το επόμενο επίπεδο, περνώντας τα αποτελέσματα του FAISS μέσω ενός cross-encoder που κρίνει τη συνάφεια πολύ πιο λεπτομερώς από ό,τι η απόσταση διανυσμάτων μόνη της. Η φιλτραρίσμα μεταδεδομένων καλύπτει μια άλλη ανάγκη: ο περιορισμός της αναζήτησης κατά ημερομηνία, κατηγορία ή συγγραφέα επιπλέον της ομοιότητας. Δύο τελικές βελτιώσεις εστιάζουν στην εμπειρία χρήστη: η ροή (streaming), η οποία εμφανίζει την απάντηση καθώς παράγεται αντί για μετά από αρκετά δευτερόλεπτα σιωπής, και το ιστορικό συνομιλίας, το οποίο επιτρέπει στους χρήστες να κάνουν follow-up με ερωτήσεις όπως «τι γίνεται με την έκδοση 2;» χωρίς να επαναλαμβάνουν ολόκληρη την ερώτησή τους.

# 1. Save the index to avoid recalculating
faiss.write_index(index, "my_rag.index")
np.save("my_chunks.npy", np.array(chunks, dtype=object))

# 2. Add re-ranking
# After FAISS retrieval, use a cross-encoder model
# to re-order results by fine-grained relevance

# 3. Metadata filtering
# Add filters (date, category, author) in addition
# to vector similarity

# 4. Response streaming
# Use client.chat.stream() to display the answer
# as it generates

# 5. Conversation history
# Add previous exchanges to the prompt
# for a contextual RAG chatbot

Βασικά σημεία

  • Ο πλήρης αγωγός RAG αναλύεται σε 6 βήματα: φόρτωση, τμηματοποίηση, κωδικοποίηση, ευρετηρίαση, ανάκτηση, παραγωγή
  • Κάθε βήμα είναι μια ανεξάρτητη συνάρτηση, εύκολη στη δοκιμή και την αντικατάσταση
  • Χρησιμοποιήστε temperature=0.1 για πραγματικές απαντήσεις
  • Αποθηκεύστε το ευρετήριο FAISS και τα embeddings για να αποφύγετε τον εκ νέου υπολογισμό σε κάθε εκτέλεση
  • Αυτός ο αγωγός είναι ένα solide σημείο εκκίνησης για εμπλουτισμό βάσει των αναγκών σας