Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Προετοιμασία των Δεδομένων

Μάθημα 10 / 18 Ενημερώθηκε 29 Ιουλίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Η Ποιότητα του RAG Εξαρτάται από τα Δεδομένα σας
  2. Ανάκτηση των Δεδομένων
  3. Καθαρισμός των Δεδομένων
  4. Στρατηγικές Τμηματοποίησης (Chunking)
  5. Πλήρης Ροή Εργασίας Προετοιμασίας
  6. Βασικά σημεία

Η Ποιότητα του RAG Εξαρτάται από τα Δεδομένα σας

Μια ροή εργασίας RAG είναι τόσο καλή όσο τα δεδομένα που ευρετηριάζει. Μπορείτε να διαμορφώσετε την ιδανική εντολή (prompt) και να επιλέξετε το καλύτερο μοντέλο παραγωγής, αλλά αν το ανακτημένο τμήμα κόβει έναν ορισμό στη μέση ή συμπεριλαμβάνει ένα επαναλαμβανόμενο υποσέλιδο αντί για χρήσιμο κείμενο, η απάντησή σας θα υποφέρει. Η προετοιμασία πραγματοποιείται σε τρία στάδια: ανάκτηση των δεδομένων από την πηγή τους, αφαίρεση οτιδήποτε είναι άνευ σημασίας και διαίρεσή τους σε τμήματα βελτιστοποιημένα για ευρετηρίαση.

Ανάκτηση των Δεδομένων

Τα σώματα κειμένου του πραγματικού κόσμου σπάνια είναι ομοιογενή. Συνήθως θα έχετε τεκμηρίωση Markdown σε ένα αποθετήριο, μερικές σελίδες από έναν δημόσιο ιστότοπο και μια χούφτα κανονιστικά αρχεία PDF. Κάθε πηγή χρειάζεται τον δικό της φορτωτή (loader), αλλά όλοι πρέπει να παράγουν την ίδια δομή—περιεχόμενο, πηγή και τύπος—ώστε το υπόλοιπο της ροής εργασίας να παραμένει ανεξάρτητο από την προέλευση του κειμένου.

Για αρχεία κειμένου, μια αναδρομική περιήγηση στον κατάλογο είναι επαρκής, και ο φιλτράρισμα κατά επέκταση αποτρέπει την τυχαία φόρτωση δυαδικών αρχείων.

import os

def load_text_files(directory, extensions=(".txt", ".md", ".rst")):
    """Load all text files from a directory."""
    documents = []
    for root, dirs, files in os.walk(directory):
        for f in files:
            if any(f.endswith(ext) for ext in extensions):
                filepath = os.path.join(root, f)
                with open(filepath, "r", encoding="utf-8") as fh:
                    content = fh.read()
                documents.append({
                    "content": content,
                    "source": filepath,
                    "type": "text",
                })
    return documents

docs = load_text_files("./data/")
print(f"{len(docs)} documents loaded")

Οι ιστοσελίδες προσφέρονται μέσω HTTP, αλλά αυτό που λαμβάνετε είναι HTML. Η παρακάτω εξαγωγή αφαιρεί τις ετικέτες χρησιμοποιώντας κανονικές εκφράσεις και συμπιέζει τους πολλαπλούς χώρους. Αυτό αρκεί για ένα πρωτότυπο, αλλά το σχόλιο σας υπενθυμίζει ότι στην παραγωγή, το BeautifulSoup θα κάνει πολύ καλύτερη δουλειά με πίνακες και εμφωλευμένες λίστες.

import requests

def fetch_web_page(url):
    """Fetch the text content of a web page."""
    response = requests.get(url)
    response.raise_for_status()

    # Basic text extraction (use BeautifulSoup for production)
    text = response.text
    # Remove HTML tags
    import re
    text = re.sub(r'<[^>]+>', ' ', text)
    text = re.sub(r'\s+', ' ', text).strip()

    return {
        "content": text,
        "source": url,
        "type": "web",
    }

# Example
page = fetch_web_page("https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt")
print(f"Content: {len(page['content'])} characters")

Τα αρχεία PDF αξίζουν ειδική μεταχείριση. Αντί να συγχωνεύετε ολόκληρο το έγγραφο, κρατήστε μία καταχώρηση ανά σελίδα και κωδικοποιήστε τον αριθμό σελίδας στην πηγή ως file.pdf#page=12. Όταν ο βοηθός σας παραθέτει αυτό το απόσπασμα, ο χρήστης θα γνωρίζει ακριβώς πού να το επαληθεύσει.

# pip install PyPDF2
from PyPDF2 import PdfReader

def load_pdf(filepath):
    """Extract text from a PDF."""
    reader = PdfReader(filepath)
    pages = []
    for i, page in enumerate(reader.pages):
        text = page.extract_text()
        if text.strip():
            pages.append({
                "content": text,
                "source": f"{filepath}#page={i+1}",
                "type": "pdf",
                "page": i + 1,
            })
    return pages

Καθαρισμός των Δεδομένων

Ο καθαρισμός είναι κρίσιμος για την ποιότητα της ανάκτησης, καθώς κάθε χαρακτήρας που περισσεύει καταναλώνει χώρο στο τμήμα και θολώνει το προκύπτον διάνυσμα. Η ακόλουθη συνάρτηση αλυσιδώνει τέσσερις επεξεργασίες: αφαιρεί χαρακτήρες ελέγχου που απομένουν από μετατροπές μορφής, κανονικοποιεί ακολουθίες νέων γραμμών και κενών διαστημάτων, διαγράφει δείκτες αρίθμησης σελίδων τυπικούς των PDF και αντικαθιστά ατελείωτα URL με ένα απλό σύμβολο κράτησης ώστε να μην καταλαμβάνουν ολόκληρο το τμήμα.

import re

def clean_text(text):
    """Clean text for RAG indexing."""
    # Remove control characters
    text = re.sub(r'[\x00-\x08\x0b\x0c\x0e-\x1f\x7f]', '', text)

    # Normalize spaces and newlines
    text = re.sub(r'\n{3,}', '\n\n', text)
    text = re.sub(r' {2,}', ' ', text)

    # Remove repetitive headers/footers (PDF)
    text = re.sub(r'Page \d+ of \d+', '', text)

    # Remove very long URLs
    text = re.sub(r'https?://\S{100,}', '[URL]', text)

    return text.strip()

# Apply cleaning
for doc in docs:
    doc["content"] = clean_text(doc["content"])

Στρατηγικές Τμηματοποίησης (Chunking)

Η τμηματοποίηση είναι το πιο σημαντικό βήμα στην προετοιμασία: το μέγεθος και η μέθοδος του τμήματος επηρεάζουν άμεσα την ποιότητα της ανάκτησης. Υπάρχουν τρεις προσεγγίσεις, που κυμαίνονται από τη μηχανική έως την ευαίσθητη στη δομή.

Η τμηματοποίηση σταθερού μεγέθους προχωρά στο κείμενο με κανονικές τομές. Αγνοεί πλήρως το νόημα, καθιστώντας την εφαρμόσιμη σε οποιαδήποτε πηγή, αλλά συχνά κόβει προτάσεις στη μέση. Η επικάλυψη διορθώνει εν μέρει αυτό το ελάττωμα: με overlap=200, το τέλος κάθε τμήματος επαναλαμβάνεται στην αρχή του επόμενου, διασφαλίζοντας ότι μια διαιρεμένη ιδέα παραμένει ολόκληρη σε τουλάχιστον ένα από τα δύο κομμάτια.

def chunk_fixed_size(text, chunk_size=2048, overlap=200):
    """Fixed-size chunking with overlap."""
    chunks = []
    start = 0
    while start < len(text):
        end = min(start + chunk_size, len(text))
        chunk = text[start:end]
        if chunk.strip():
            chunks.append(chunk.strip())
        start += chunk_size - overlap
    return chunks

Η τμηματοποίηση βάσει παραγράφων, συνιστώμενη για τεκμηρίωση, βασίζεται στα φυσικά όρια του κειμένου. Συσσωρεύει παραγράφους εφόσον παραμένουν κάτω από το max_size και στη συνέχεια ανοίγει ένα νέο τμήμα. Το κατώφλι min_size αποτρέπει την ευρετηρίαση μιας μεμονωμένης επικεφαλίδας ή μιας απομονωμένης γραμμής, κάτι που θα παρήγαγε ένα διάνυσμα χωρίς χρήσιμο περιεχόμενο.

def chunk_by_paragraphs(text, max_size=1500, min_size=100):
    """Intelligent paragraph-based chunking."""
    paragraphs = text.split("\n\n")
    chunks = []
    current = ""

    for para in paragraphs:
        para = para.strip()
        if not para:
            continue

        if len(current) + len(para) + 2 <= max_size:
            current = current + "\n\n" + para if current else para
        else:
            if len(current) >= min_size:
                chunks.append(current)
            current = para

    if current and len(current) >= min_size:
        chunks.append(current)

    return chunks

Η τμηματοποίηση ενοτήτων Markdown αξιοποιεί πληροφορίες που παρείχε ήδη ο συγγραφέας: τις επικεφαλίδες του. Κάθε ενότητα γίνεται ένα αυτόνομο τμήμα, εγγυώμενη ότι μια ερώτηση για την «πιστοποίηση» θα ανακτήσει ολόκληρη την ενότητα και όχι ένα απόσπασμα. Οι ενότητες που είναι πολύ μεγάλες επιστρέφουν στην τμηματοποίηση παραγράφων, διασφαλίζοντας ότι κανένα τμήμα δεν υπερβαίνει το όριο.

def chunk_by_markdown_sections(text, max_size=2000):
    """Chunking by Markdown headings (## and ###)."""
    sections = re.split(r'\n(?=##\s)', text)
    chunks = []

    for section in sections:
        section = section.strip()
        if not section:
            continue
        if len(section) <= max_size:
            chunks.append(section)
        else:
            # Sub-chunk overly long sections
            sub_chunks = chunk_by_paragraphs(section, max_size=max_size)
            chunks.extend(sub_chunks)

    return chunks

Πλήρης Ροή Εργασίας Προετοιμασίας

Τέλος, αλυσιδώνετε τις τρεις λειτουργίες μαζί και επιλέγετε τη στρατηγική τμηματοποίησης βάσει του τύπου αρχείου: τα αρχεία .md περνούν από ενότητες, ενώ όλα τα άλλα από παραγράφους. Κάθε τμήμα φέρει τότε τα μεταδεδομένα του—πηγή, θέση στο έγγραφο και συνολικός αριθμός τμημάτων από αυτό το έγγραφο. Χωρίς αυτά, δεν θα μπορείτε να εντοπίσετε την πηγή μιας απάντησης. Οι δύο τελευταίες γραμμές εμφανίζουν τον ρυθμό επέκτασης και το μέσο μέγεθος: εάν αυτός ο μέσος όρος πέσει πολύ κάτω από το chunk_size σας, το έγγραφο είναι πιο κατακερματισμένο από το αναμενόμενο και πρέπει να επανεξετάσετε τη στρατηγική τμηματοποίησής σας.

def prepare_documents(raw_docs, chunk_size=1500, overlap=200):
    """Complete pipeline: clean, chunk, enrich with metadata."""
    all_chunks = []

    for doc in raw_docs:
        # 1. Clean
        clean = clean_text(doc["content"])

        # 2. Chunk based on type
        if doc.get("source", "").endswith(".md"):
            chunks = chunk_by_markdown_sections(clean, max_size=chunk_size)
        else:
            chunks = chunk_by_paragraphs(clean, max_size=chunk_size)

        # 3. Enrich with metadata
        for i, chunk in enumerate(chunks):
            all_chunks.append({
                "text": chunk,
                "source": doc["source"],
                "chunk_index": i,
                "total_chunks": len(chunks),
            })

    return all_chunks

# Execution
chunks = prepare_documents(docs)
print(f"{len(docs)} documents -> {len(chunks)} chunks")
print(f"Average size: {sum(len(c['text']) for c in chunks) / len(chunks):.0f} characters")

Βασικά σημεία

  • Η ποιότητα του RAG εξαρτάται άμεσα από την ποιότητα των δεδομένων και τη στρατηγική τμηματοποίησης
  • Καθαρίζετε τα δεδομένα πριν από την ευρετηρίαση (αφαίρεση χαρακτήρων που περισσεύουν, μεγάλων URL, διπλοτύπων)
  • Η τμηματοποίηση βάσει παραγράφων ή ενοτήτων Markdown διατηρεί τη σημασιολογική συνοχή
  • Μια επικάλυψη 10–15% μεταξύ των τμημάτων αποτρέπει τη διάσπαση των ιδεών
  • Διατηρείτε τα μεταδεδομένα (πηγή, σελίδα, θέση) για την ιχνηλασιμότητα της απάντησης