Προετοιμασία των Δεδομένων
Σε αυτήν τη σελίδα
Η Ποιότητα του RAG Εξαρτάται από τα Δεδομένα σας
Μια ροή εργασίας RAG είναι τόσο καλή όσο τα δεδομένα που ευρετηριάζει. Μπορείτε να διαμορφώσετε την ιδανική εντολή (prompt) και να επιλέξετε το καλύτερο μοντέλο παραγωγής, αλλά αν το ανακτημένο τμήμα κόβει έναν ορισμό στη μέση ή συμπεριλαμβάνει ένα επαναλαμβανόμενο υποσέλιδο αντί για χρήσιμο κείμενο, η απάντησή σας θα υποφέρει. Η προετοιμασία πραγματοποιείται σε τρία στάδια: ανάκτηση των δεδομένων από την πηγή τους, αφαίρεση οτιδήποτε είναι άνευ σημασίας και διαίρεσή τους σε τμήματα βελτιστοποιημένα για ευρετηρίαση.
Ανάκτηση των Δεδομένων
Τα σώματα κειμένου του πραγματικού κόσμου σπάνια είναι ομοιογενή. Συνήθως θα έχετε τεκμηρίωση Markdown σε ένα αποθετήριο, μερικές σελίδες από έναν δημόσιο ιστότοπο και μια χούφτα κανονιστικά αρχεία PDF. Κάθε πηγή χρειάζεται τον δικό της φορτωτή (loader), αλλά όλοι πρέπει να παράγουν την ίδια δομή—περιεχόμενο, πηγή και τύπος—ώστε το υπόλοιπο της ροής εργασίας να παραμένει ανεξάρτητο από την προέλευση του κειμένου.
Για αρχεία κειμένου, μια αναδρομική περιήγηση στον κατάλογο είναι επαρκής, και ο φιλτράρισμα κατά επέκταση αποτρέπει την τυχαία φόρτωση δυαδικών αρχείων.
import os
def load_text_files(directory, extensions=(".txt", ".md", ".rst")):
"""Load all text files from a directory."""
documents = []
for root, dirs, files in os.walk(directory):
for f in files:
if any(f.endswith(ext) for ext in extensions):
filepath = os.path.join(root, f)
with open(filepath, "r", encoding="utf-8") as fh:
content = fh.read()
documents.append({
"content": content,
"source": filepath,
"type": "text",
})
return documents
docs = load_text_files("./data/")
print(f"{len(docs)} documents loaded")
Οι ιστοσελίδες προσφέρονται μέσω HTTP, αλλά αυτό που λαμβάνετε είναι HTML. Η παρακάτω εξαγωγή αφαιρεί τις ετικέτες χρησιμοποιώντας κανονικές εκφράσεις και συμπιέζει τους πολλαπλούς χώρους. Αυτό αρκεί για ένα πρωτότυπο, αλλά το σχόλιο σας υπενθυμίζει ότι στην παραγωγή, το BeautifulSoup θα κάνει πολύ καλύτερη δουλειά με πίνακες και εμφωλευμένες λίστες.
import requests
def fetch_web_page(url):
"""Fetch the text content of a web page."""
response = requests.get(url)
response.raise_for_status()
# Basic text extraction (use BeautifulSoup for production)
text = response.text
# Remove HTML tags
import re
text = re.sub(r'<[^>]+>', ' ', text)
text = re.sub(r'\s+', ' ', text).strip()
return {
"content": text,
"source": url,
"type": "web",
}
# Example
page = fetch_web_page("https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt")
print(f"Content: {len(page['content'])} characters")
Τα αρχεία PDF αξίζουν ειδική μεταχείριση. Αντί να συγχωνεύετε ολόκληρο το έγγραφο, κρατήστε μία καταχώρηση ανά σελίδα και κωδικοποιήστε τον αριθμό σελίδας στην πηγή ως file.pdf#page=12. Όταν ο βοηθός σας παραθέτει αυτό το απόσπασμα, ο χρήστης θα γνωρίζει ακριβώς πού να το επαληθεύσει.
# pip install PyPDF2
from PyPDF2 import PdfReader
def load_pdf(filepath):
"""Extract text from a PDF."""
reader = PdfReader(filepath)
pages = []
for i, page in enumerate(reader.pages):
text = page.extract_text()
if text.strip():
pages.append({
"content": text,
"source": f"{filepath}#page={i+1}",
"type": "pdf",
"page": i + 1,
})
return pages
Καθαρισμός των Δεδομένων
Ο καθαρισμός είναι κρίσιμος για την ποιότητα της ανάκτησης, καθώς κάθε χαρακτήρας που περισσεύει καταναλώνει χώρο στο τμήμα και θολώνει το προκύπτον διάνυσμα. Η ακόλουθη συνάρτηση αλυσιδώνει τέσσερις επεξεργασίες: αφαιρεί χαρακτήρες ελέγχου που απομένουν από μετατροπές μορφής, κανονικοποιεί ακολουθίες νέων γραμμών και κενών διαστημάτων, διαγράφει δείκτες αρίθμησης σελίδων τυπικούς των PDF και αντικαθιστά ατελείωτα URL με ένα απλό σύμβολο κράτησης ώστε να μην καταλαμβάνουν ολόκληρο το τμήμα.
import re
def clean_text(text):
"""Clean text for RAG indexing."""
# Remove control characters
text = re.sub(r'[\x00-\x08\x0b\x0c\x0e-\x1f\x7f]', '', text)
# Normalize spaces and newlines
text = re.sub(r'\n{3,}', '\n\n', text)
text = re.sub(r' {2,}', ' ', text)
# Remove repetitive headers/footers (PDF)
text = re.sub(r'Page \d+ of \d+', '', text)
# Remove very long URLs
text = re.sub(r'https?://\S{100,}', '[URL]', text)
return text.strip()
# Apply cleaning
for doc in docs:
doc["content"] = clean_text(doc["content"])
Στρατηγικές Τμηματοποίησης (Chunking)
Η τμηματοποίηση είναι το πιο σημαντικό βήμα στην προετοιμασία: το μέγεθος και η μέθοδος του τμήματος επηρεάζουν άμεσα την ποιότητα της ανάκτησης. Υπάρχουν τρεις προσεγγίσεις, που κυμαίνονται από τη μηχανική έως την ευαίσθητη στη δομή.
Η τμηματοποίηση σταθερού μεγέθους προχωρά στο κείμενο με κανονικές τομές. Αγνοεί πλήρως το νόημα, καθιστώντας την εφαρμόσιμη σε οποιαδήποτε πηγή, αλλά συχνά κόβει προτάσεις στη μέση. Η επικάλυψη διορθώνει εν μέρει αυτό το ελάττωμα: με overlap=200, το τέλος κάθε τμήματος επαναλαμβάνεται στην αρχή του επόμενου, διασφαλίζοντας ότι μια διαιρεμένη ιδέα παραμένει ολόκληρη σε τουλάχιστον ένα από τα δύο κομμάτια.
def chunk_fixed_size(text, chunk_size=2048, overlap=200):
"""Fixed-size chunking with overlap."""
chunks = []
start = 0
while start < len(text):
end = min(start + chunk_size, len(text))
chunk = text[start:end]
if chunk.strip():
chunks.append(chunk.strip())
start += chunk_size - overlap
return chunks
Η τμηματοποίηση βάσει παραγράφων, συνιστώμενη για τεκμηρίωση, βασίζεται στα φυσικά όρια του κειμένου. Συσσωρεύει παραγράφους εφόσον παραμένουν κάτω από το max_size και στη συνέχεια ανοίγει ένα νέο τμήμα. Το κατώφλι min_size αποτρέπει την ευρετηρίαση μιας μεμονωμένης επικεφαλίδας ή μιας απομονωμένης γραμμής, κάτι που θα παρήγαγε ένα διάνυσμα χωρίς χρήσιμο περιεχόμενο.
def chunk_by_paragraphs(text, max_size=1500, min_size=100):
"""Intelligent paragraph-based chunking."""
paragraphs = text.split("\n\n")
chunks = []
current = ""
for para in paragraphs:
para = para.strip()
if not para:
continue
if len(current) + len(para) + 2 <= max_size:
current = current + "\n\n" + para if current else para
else:
if len(current) >= min_size:
chunks.append(current)
current = para
if current and len(current) >= min_size:
chunks.append(current)
return chunks
Η τμηματοποίηση ενοτήτων Markdown αξιοποιεί πληροφορίες που παρείχε ήδη ο συγγραφέας: τις επικεφαλίδες του. Κάθε ενότητα γίνεται ένα αυτόνομο τμήμα, εγγυώμενη ότι μια ερώτηση για την «πιστοποίηση» θα ανακτήσει ολόκληρη την ενότητα και όχι ένα απόσπασμα. Οι ενότητες που είναι πολύ μεγάλες επιστρέφουν στην τμηματοποίηση παραγράφων, διασφαλίζοντας ότι κανένα τμήμα δεν υπερβαίνει το όριο.
def chunk_by_markdown_sections(text, max_size=2000):
"""Chunking by Markdown headings (## and ###)."""
sections = re.split(r'\n(?=##\s)', text)
chunks = []
for section in sections:
section = section.strip()
if not section:
continue
if len(section) <= max_size:
chunks.append(section)
else:
# Sub-chunk overly long sections
sub_chunks = chunk_by_paragraphs(section, max_size=max_size)
chunks.extend(sub_chunks)
return chunks
Πλήρης Ροή Εργασίας Προετοιμασίας
Τέλος, αλυσιδώνετε τις τρεις λειτουργίες μαζί και επιλέγετε τη στρατηγική τμηματοποίησης βάσει του τύπου αρχείου: τα αρχεία .md περνούν από ενότητες, ενώ όλα τα άλλα από παραγράφους. Κάθε τμήμα φέρει τότε τα μεταδεδομένα του—πηγή, θέση στο έγγραφο και συνολικός αριθμός τμημάτων από αυτό το έγγραφο. Χωρίς αυτά, δεν θα μπορείτε να εντοπίσετε την πηγή μιας απάντησης. Οι δύο τελευταίες γραμμές εμφανίζουν τον ρυθμό επέκτασης και το μέσο μέγεθος: εάν αυτός ο μέσος όρος πέσει πολύ κάτω από το chunk_size σας, το έγγραφο είναι πιο κατακερματισμένο από το αναμενόμενο και πρέπει να επανεξετάσετε τη στρατηγική τμηματοποίησής σας.
def prepare_documents(raw_docs, chunk_size=1500, overlap=200):
"""Complete pipeline: clean, chunk, enrich with metadata."""
all_chunks = []
for doc in raw_docs:
# 1. Clean
clean = clean_text(doc["content"])
# 2. Chunk based on type
if doc.get("source", "").endswith(".md"):
chunks = chunk_by_markdown_sections(clean, max_size=chunk_size)
else:
chunks = chunk_by_paragraphs(clean, max_size=chunk_size)
# 3. Enrich with metadata
for i, chunk in enumerate(chunks):
all_chunks.append({
"text": chunk,
"source": doc["source"],
"chunk_index": i,
"total_chunks": len(chunks),
})
return all_chunks
# Execution
chunks = prepare_documents(docs)
print(f"{len(docs)} documents -> {len(chunks)} chunks")
print(f"Average size: {sum(len(c['text']) for c in chunks) / len(chunks):.0f} characters")
Βασικά σημεία
- Η ποιότητα του RAG εξαρτάται άμεσα από την ποιότητα των δεδομένων και τη στρατηγική τμηματοποίησης
- Καθαρίζετε τα δεδομένα πριν από την ευρετηρίαση (αφαίρεση χαρακτήρων που περισσεύουν, μεγάλων URL, διπλοτύπων)
- Η τμηματοποίηση βάσει παραγράφων ή ενοτήτων Markdown διατηρεί τη σημασιολογική συνοχή
- Μια επικάλυψη 10–15% μεταξύ των τμημάτων αποτρέπει τη διάσπαση των ιδεών
- Διατηρείτε τα μεταδεδομένα (πηγή, σελίδα, θέση) για την ιχνηλασιμότητα της απάντησης