Chunking: Διαίρεση των εγγράφων σας με έξυπνο τρόπο
Σε αυτήν τη σελίδα
Στόχοι
- Να κατανοήσετε γιατί το chunking είναι κρίσιμο για την ποιότητα του RAG
- Να μάθετε διαφορετικές στρατηγικές διαίρεσης
- Να επιλέξετε το σωστό μέγεθος chunk και την επικάλυψη
Γιατί να διαιρείτε τα έγγραφα;
Τα μοντέλα ενσωμάτωσης (embedding) έχουν ένα όριο tokens: 8.191 για την OpenAI. Αυτό το όριο είναι ο πρώτος λόγος για τη διαίρεση των εγγράφων, αλλά δεν είναι ο πιο σημαντικός. Ακόμη και ένα έγγραφο πολύ κάτω από το ανώτατο όριο παράγει κακά αποτελέσματα όταν κωδικοποιείται ως ένα ενιαίο μπλοκ, επειδή το προκύπτον διάνυσμα κάνει μέσο όρο όλου του περιεχομένου και χάνει λεπτομέρειες. Σκεφτείτε ένα εγχειρίδιο HR 40 σελίδων που καλύπτει πολιτικές άδειας, τηλεργασία, αναφορές εξόδων και ασφάλιση υγείας: η ενιαία ενσωμάτωσή του δεν μοιάζει πραγματικά με κανένα από αυτά τα τέσσερα θέματα, και μια αναζήτηση για «πόσες ημέρες άδειας» θα το κατατάξει χαμηλότερα από ένα πολύ μικρότερο αλλά πολύ πιο στοχευμένο έγγραφο.
Το chunking λύνει αυτό το πρόβλημα σπάζοντας το έγγραφο σε συνεκτικά κομμάτια, καθένα από τα οποία αποτυπώνει μια συγκεκριμένη ιδέα ή παράγραφο. Αυτό είναι το βήμα όπου ένας αγωγός RAG κερδίζει ή χάνει την περισσότερη ποιότητα—ακόμη και πριν επιλέξετε ένα μοντέλο ενσωμάτωσης.
Στρατηγική 1: Chunking σταθερού μεγέθους
Η απλούστερη μέθοδος μετράει τις λέξεις και κόβει σε τακτά διαστήματα. Αγνοεί πλήρως τη δομή του κειμένου, καθιστώντας την βίαιη, αλλά απαιτεί τρεις γραμμές κώδικα και λειτουργεί ως ένα απαραίτητο σημείο αναφοράς: κάθε πιο εξελιγμένη στρατηγική πρέπει να αποδείξει ότι αποδίδει καλύτερα από αυτήν.
def chunker_fixed_size(
text: str,
size: int = 500,
overlap: int = 100
) -> list[str]:
"""Splits text into fixed-size chunks with overlap."""
words = text.split()
chunks = []
for i in range(0, len(words), size - overlap):
chunk = " ".join(words[i:i + size])
if chunk.strip():
chunks.append(chunk)
return chunks
long_text = "A very long document... " * 500
chunks = chunker_fixed_size(long_text, size=300, overlap=50)
print(f"{len(chunks)} chunks generated")
Η παράμετρος overlap αξίζει προσοχής. Χωρίς επικάλυψη, μια τομή θα καταλήξει τελικά στη μέση μιας εξήγησης: η φράση «η περίοδος προειδοποίησης είναι τρεις μήνες» καταλήγει σε ένα chunk, και «εκτός κατά τη διάρκεια της περιόδου δοκιμής» στο επόμενο. Κανένα από τα δύο δεν απαντά σωστά στην ερώτηση, και το δεύτερο είναι ακόμη παραπλανητικό. Επικαλύπτοντας τα chunks κατά 10–20% του μεγέθους τους, εγγυάστε ότι κάθε ιδέα υπάρχει άθικτη τουλάχιστον μία φορά κάπου στον δείκτη. Αυτό είναι ένα καλό σημείο εκκίνησης· προσαρμόστε το αργότερα με βάση την πυκνότητα των εγγράφων σας.
Στρατηγική 2: Chunking βάσει διαχωριστικών
Αντί να κόβετε λέξη προς λέξη, μπορείτε να σεβαστείτε τα φυσικά όρια του κειμένου. Η ιδέα είναι να δοκιμάσετε πρώτον τον ισχυρότερο διαχωριστή—τη διπλή αλλαγή γραμμής που χωρίζει δύο παραγράφους—και στη συνέχεια να προχωρήσετε προς τα κάτω σε progressively ασθενέστερους διαχωριστές όσο το προκύπτον κομμάτι υπερβαίνει το μέγιστο μέγεθος. Έτσι, μια ανάρτηση blog θα διαιρεθεί παράγραφο προς παράγραφο, και μόνο μια τεράστια παράγραφος θα κατακερματιστεί σε προτάσεις.
import re
def chunker_separators(
text: str,
separators: list[str] = ["\n\n", "\n", ". ", " "],
max_size: int = 1000
) -> list[str]:
"""Splits text while respecting natural separators."""
chunks = []
current_chunk = ""
# Split by the strongest separator first
segments = [text]
for sep in separators:
new_segments = []
for segment in segments:
parts = segment.split(sep)
for part in parts:
if len(part.split()) > max_size:
new_segments.append(part)
else:
if (current_chunk and
len((current_chunk + sep + part).split()) > max_size):
chunks.append(current_chunk.strip())
current_chunk = part
else:
current_chunk = (
current_chunk + sep + part
if current_chunk else part
)
segments = new_segments
if current_chunk.strip():
chunks.append(current_chunk.strip())
return chunks
Στρατηγική 3: Chunking ενοτήτων Markdown
Όταν το σώμα κειμένων σας αποτελείται από δομημένη τεκμηρίωση, οι επικεφαλίδες κάνουν ήδη τη δουλειά για εσάς: ο συγγραφέας έχει ήδη οριοθετήσει τις μονάδες νοήματος. Η διαίρεση στα επίπεδα επικεφαλίδων # και ## παράγει chunks που αντιστοιχούν ακριβώς στις ενότητες, και η παρακάτω συνάρτηση διατηρεί την επικεφαλίδα μαζί με το κείμενο, το οποίο θα χρησιμοποιήσουμε αμέσως μετά για εμπλουτισμό.
def chunker_markdown(text: str, max_level: int = 2) -> list[dict]:
"""Splits a Markdown document by sections."""
chunks = []
current_section = {"title": "", "content": "", "level": 0}
for line in text.split("\n"):
# Detect headings
match = re.match(r"^(#{1,6})\s+(.+)$", line)
if match:
level = len(match.group(1))
title = match.group(2)
if level <= max_level and current_section["content"].strip():
chunks.append({
"title": current_section["title"],
"text": current_section["content"].strip(),
"level": current_section["level"]
})
if level <= max_level:
current_section = {
"title": title,
"content": "",
"level": level
}
else:
current_section["content"] += line + "\n"
else:
current_section["content"] += line + "\n"
if current_section["content"].strip():
chunks.append({
"title": current_section["title"],
"text": current_section["content"].strip(),
"level": current_section["level"]
})
return chunks
Στρατηγική 4: Σημασιολογικό chunking
Για κείμενο χωρίς ρητή δομή—μια σύνοψη συνεδρίασης, μια μεταγραφή κλήσης—ούτε το μέγεθος ούτε οι διαχωριστές γνωρίζουν πού αλλάζει το θέμα. Τα embeddings γνωρίζουν. Κωδικοποιείτε κάθε πρόταση, συγκρίνετε κάθε πρόταση με την προηγούμενη και κόβετε εκεί που η ομοιότητα καταρρέει: ακριβώς εκεί ο ομιλητής άλλαξε από τον προϋπολογισμό στην πρόσληψη προσωπικού. Σημειώστε ότι το text-embedding-3-small είναι επαρκές εδώ, καθώς δεν ψάχνετε για απόλυτη ακρίβεια αλλά για ένα σχετικό σημείο θραύσης.
from openai import OpenAI
import numpy as np
client = OpenAI()
def chunker_semantic(
text: str,
similarity_threshold: float = 0.75,
min_sentence_length: int = 20
) -> list[str]:
"""Groups sentences by semantic similarity."""
# Split into sentences
sentences = re.split(r"(?<=[.!?])\s+", text)
sentences = [s for s in sentences if len(s) > min_sentence_length]
if len(sentences) <= 1:
return [text]
# Embeddings for each sentence
resp = client.embeddings.create(
input=sentences,
model="text-embedding-3-small" # small is sufficient here
)
embs = np.array([d.embedding for d in sorted(resp.data, key=lambda x: x.index)])
# Find break points
chunks = []
chunk_sentences = [sentences[0]]
for i in range(1, len(sentences)):
sim = float(np.dot(embs[i], embs[i - 1]))
if sim < similarity_threshold:
# Semantic break detected
chunks.append(" ".join(chunk_sentences))
chunk_sentences = [sentences[i]]
else:
chunk_sentences.append(sentences[i])
if chunk_sentences:
chunks.append(" ".join(chunk_sentences))
return chunks
Εμπλουτισμός των chunks με συμφραζόμενα
Ένα μεμονωμένο chunk συχνά χάνει τις πληροφορίες που το καθιστούσαν ερμηνεύσιμο. «Η διάρκεια είναι τρία χρόνια» δεν σημαίνει τίποτα αν ο αναγνώστης—ή το μοντέλο ενσωμάτωσης—δεν γνωρίζει ότι προέρχεται από το κεφάλαιο της εγγύησης του κατασκευαστή. Η προσθήκη προθέματος σε κάθε chunk με τον τίτλο του εγγράφου και τον τίτλο της ενότητας επαναφέρει αυτό το συμφραζόμενο απευθείας μέσα στο ίδιο το διάνυσμα, και μια αναζήτηση για «διάρκεια εγγύησης» θα βρει τότε το απόσπασμα.
def enrich_chunk(chunk: str, doc_title: str, section: str = "") -> str:
"""Adds context to the chunk for better embedding."""
prefix = f"Document: {doc_title}"
if section:
prefix += f" | Section: {section}"
return f"{prefix}\n\n{chunk}"
Τι μέγεθος chunk πρέπει να επιλέξετε;
Η επιλογή περιλαμβάνει μια ισορροπία μεταξύ ακρίβειας και συμφραζομένων: ένα σύντομο chunk στοχεύει με ακρίβεια αλλά είναι ακρωτηριασμένο, ενώ ένα μακρύ chunk κατανοεί τα πάντα αλλά αραιώνει το σήμα.
| Μέγεθος (tokens) | Πλεονεκτήματα | Μειονεκτήματα |
|---|---|---|
| 100–200 | Πολύ ακριβές, καλή κοκκοποίηση | Χάνει τα συμφραζόμενα |
| 300–500 | Καλός συμβιβασμός | Τυπικό |
| 500–1000 | Πλούσια συμφραζόμενα | Λιγότερο ακριβές, ακριβό |
| 1000+ | Μέγιστα συμφραζόμενα | Αραιώνει τις πληροφορίες |
Δεν υπάρχει καθολική τιμή: το ιδανικό μέγεθος εξαρτάται από τα έγγραφά σας και τα ερωτήματά σας. Η μόνη αξιόπιστη μέθοδος είναι να ευρετηριάσετε το ίδιο σώμα κειμένων με δύο ή τρία μεγέθη και στη συνέχεια να μετρήσετε χρησιμοποιώντας τις μετρικές από το μάθημα 10 σε ένα σύνολο πραγματικών ερωτήσεων. Μια βάση γνώσεων υποστήριξης αποτελούμενη από σύντομες απαντήσεις ανέχεται 200 tokens· ένα νομικό σώμα κειμένων θα απαιτήσει 800.
Βασικά σημεία
- Το chunking είναι το βήμα με τη μεγαλύτερη επίδραση στον αγωγό RAG
- Χρησιμοποιήστε το σταθερό μέγεθος ως σημείο αναφοράς και τους διαχωριστές για να σεβαστείτε τη δομή
- Το σημασιολογικό chunking εντοπίζει αυτόματα τις αλλαγές θεμάτων
- Η επικάλυψη και ο εμπλουτισμός με συμφραζόμενα βελτιώνουν την ποιότητα
- Δοκιμάστε διαφορετικά μεγέθη και μετρήστε με μετρικές αναζήτησης