Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Chunking: Διαίρεση των εγγράφων σας με έξυπνο τρόπο

Μάθημα 12 / 22 Ενημερώθηκε 29 Ιουλίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Στόχοι
  2. Γιατί να διαιρείτε τα έγγραφα;
  3. Στρατηγική 1: Chunking σταθερού μεγέθους
  4. Στρατηγική 2: Chunking βάσει διαχωριστικών
  5. Στρατηγική 3: Chunking ενοτήτων Markdown
  6. Στρατηγική 4: Σημασιολογικό chunking
  7. Εμπλουτισμός των chunks με συμφραζόμενα
  8. Τι μέγεθος chunk πρέπει να επιλέξετε;
  9. Βασικά σημεία

Στόχοι

  • Να κατανοήσετε γιατί το chunking είναι κρίσιμο για την ποιότητα του RAG
  • Να μάθετε διαφορετικές στρατηγικές διαίρεσης
  • Να επιλέξετε το σωστό μέγεθος chunk και την επικάλυψη

Γιατί να διαιρείτε τα έγγραφα;

Τα μοντέλα ενσωμάτωσης (embedding) έχουν ένα όριο tokens: 8.191 για την OpenAI. Αυτό το όριο είναι ο πρώτος λόγος για τη διαίρεση των εγγράφων, αλλά δεν είναι ο πιο σημαντικός. Ακόμη και ένα έγγραφο πολύ κάτω από το ανώτατο όριο παράγει κακά αποτελέσματα όταν κωδικοποιείται ως ένα ενιαίο μπλοκ, επειδή το προκύπτον διάνυσμα κάνει μέσο όρο όλου του περιεχομένου και χάνει λεπτομέρειες. Σκεφτείτε ένα εγχειρίδιο HR 40 σελίδων που καλύπτει πολιτικές άδειας, τηλεργασία, αναφορές εξόδων και ασφάλιση υγείας: η ενιαία ενσωμάτωσή του δεν μοιάζει πραγματικά με κανένα από αυτά τα τέσσερα θέματα, και μια αναζήτηση για «πόσες ημέρες άδειας» θα το κατατάξει χαμηλότερα από ένα πολύ μικρότερο αλλά πολύ πιο στοχευμένο έγγραφο.

Το chunking λύνει αυτό το πρόβλημα σπάζοντας το έγγραφο σε συνεκτικά κομμάτια, καθένα από τα οποία αποτυπώνει μια συγκεκριμένη ιδέα ή παράγραφο. Αυτό είναι το βήμα όπου ένας αγωγός RAG κερδίζει ή χάνει την περισσότερη ποιότητα—ακόμη και πριν επιλέξετε ένα μοντέλο ενσωμάτωσης.

Στρατηγική 1: Chunking σταθερού μεγέθους

Η απλούστερη μέθοδος μετράει τις λέξεις και κόβει σε τακτά διαστήματα. Αγνοεί πλήρως τη δομή του κειμένου, καθιστώντας την βίαιη, αλλά απαιτεί τρεις γραμμές κώδικα και λειτουργεί ως ένα απαραίτητο σημείο αναφοράς: κάθε πιο εξελιγμένη στρατηγική πρέπει να αποδείξει ότι αποδίδει καλύτερα από αυτήν.

def chunker_fixed_size(
    text: str,
    size: int = 500,
    overlap: int = 100
) -> list[str]:
    """Splits text into fixed-size chunks with overlap."""
    words = text.split()
    chunks = []

    for i in range(0, len(words), size - overlap):
        chunk = " ".join(words[i:i + size])
        if chunk.strip():
            chunks.append(chunk)

    return chunks

long_text = "A very long document... " * 500
chunks = chunker_fixed_size(long_text, size=300, overlap=50)
print(f"{len(chunks)} chunks generated")

Η παράμετρος overlap αξίζει προσοχής. Χωρίς επικάλυψη, μια τομή θα καταλήξει τελικά στη μέση μιας εξήγησης: η φράση «η περίοδος προειδοποίησης είναι τρεις μήνες» καταλήγει σε ένα chunk, και «εκτός κατά τη διάρκεια της περιόδου δοκιμής» στο επόμενο. Κανένα από τα δύο δεν απαντά σωστά στην ερώτηση, και το δεύτερο είναι ακόμη παραπλανητικό. Επικαλύπτοντας τα chunks κατά 10–20% του μεγέθους τους, εγγυάστε ότι κάθε ιδέα υπάρχει άθικτη τουλάχιστον μία φορά κάπου στον δείκτη. Αυτό είναι ένα καλό σημείο εκκίνησης· προσαρμόστε το αργότερα με βάση την πυκνότητα των εγγράφων σας.

Στρατηγική 2: Chunking βάσει διαχωριστικών

Αντί να κόβετε λέξη προς λέξη, μπορείτε να σεβαστείτε τα φυσικά όρια του κειμένου. Η ιδέα είναι να δοκιμάσετε πρώτον τον ισχυρότερο διαχωριστή—τη διπλή αλλαγή γραμμής που χωρίζει δύο παραγράφους—και στη συνέχεια να προχωρήσετε προς τα κάτω σε progressively ασθενέστερους διαχωριστές όσο το προκύπτον κομμάτι υπερβαίνει το μέγιστο μέγεθος. Έτσι, μια ανάρτηση blog θα διαιρεθεί παράγραφο προς παράγραφο, και μόνο μια τεράστια παράγραφος θα κατακερματιστεί σε προτάσεις.

import re

def chunker_separators(
    text: str,
    separators: list[str] = ["\n\n", "\n", ". ", " "],
    max_size: int = 1000
) -> list[str]:
    """Splits text while respecting natural separators."""
    chunks = []
    current_chunk = ""

    # Split by the strongest separator first
    segments = [text]
    for sep in separators:
        new_segments = []
        for segment in segments:
            parts = segment.split(sep)
            for part in parts:
                if len(part.split()) > max_size:
                    new_segments.append(part)
                else:
                    if (current_chunk and
                        len((current_chunk + sep + part).split()) > max_size):
                        chunks.append(current_chunk.strip())
                        current_chunk = part
                    else:
                        current_chunk = (
                            current_chunk + sep + part
                            if current_chunk else part
                        )
        segments = new_segments

    if current_chunk.strip():
        chunks.append(current_chunk.strip())

    return chunks

Στρατηγική 3: Chunking ενοτήτων Markdown

Όταν το σώμα κειμένων σας αποτελείται από δομημένη τεκμηρίωση, οι επικεφαλίδες κάνουν ήδη τη δουλειά για εσάς: ο συγγραφέας έχει ήδη οριοθετήσει τις μονάδες νοήματος. Η διαίρεση στα επίπεδα επικεφαλίδων # και ## παράγει chunks που αντιστοιχούν ακριβώς στις ενότητες, και η παρακάτω συνάρτηση διατηρεί την επικεφαλίδα μαζί με το κείμενο, το οποίο θα χρησιμοποιήσουμε αμέσως μετά για εμπλουτισμό.

def chunker_markdown(text: str, max_level: int = 2) -> list[dict]:
    """Splits a Markdown document by sections."""
    chunks = []
    current_section = {"title": "", "content": "", "level": 0}

    for line in text.split("\n"):
        # Detect headings
        match = re.match(r"^(#{1,6})\s+(.+)$", line)
        if match:
            level = len(match.group(1))
            title = match.group(2)

            if level <= max_level and current_section["content"].strip():
                chunks.append({
                    "title": current_section["title"],
                    "text": current_section["content"].strip(),
                    "level": current_section["level"]
                })

            if level <= max_level:
                current_section = {
                    "title": title,
                    "content": "",
                    "level": level
                }
            else:
                current_section["content"] += line + "\n"
        else:
            current_section["content"] += line + "\n"

    if current_section["content"].strip():
        chunks.append({
            "title": current_section["title"],
            "text": current_section["content"].strip(),
            "level": current_section["level"]
        })

    return chunks

Στρατηγική 4: Σημασιολογικό chunking

Για κείμενο χωρίς ρητή δομή—μια σύνοψη συνεδρίασης, μια μεταγραφή κλήσης—ούτε το μέγεθος ούτε οι διαχωριστές γνωρίζουν πού αλλάζει το θέμα. Τα embeddings γνωρίζουν. Κωδικοποιείτε κάθε πρόταση, συγκρίνετε κάθε πρόταση με την προηγούμενη και κόβετε εκεί που η ομοιότητα καταρρέει: ακριβώς εκεί ο ομιλητής άλλαξε από τον προϋπολογισμό στην πρόσληψη προσωπικού. Σημειώστε ότι το text-embedding-3-small είναι επαρκές εδώ, καθώς δεν ψάχνετε για απόλυτη ακρίβεια αλλά για ένα σχετικό σημείο θραύσης.

from openai import OpenAI
import numpy as np

client = OpenAI()

def chunker_semantic(
    text: str,
    similarity_threshold: float = 0.75,
    min_sentence_length: int = 20
) -> list[str]:
    """Groups sentences by semantic similarity."""
    # Split into sentences
    sentences = re.split(r"(?<=[.!?])\s+", text)
    sentences = [s for s in sentences if len(s) > min_sentence_length]

    if len(sentences) <= 1:
        return [text]

    # Embeddings for each sentence
    resp = client.embeddings.create(
        input=sentences,
        model="text-embedding-3-small"  # small is sufficient here
    )
    embs = np.array([d.embedding for d in sorted(resp.data, key=lambda x: x.index)])

    # Find break points
    chunks = []
    chunk_sentences = [sentences[0]]

    for i in range(1, len(sentences)):
        sim = float(np.dot(embs[i], embs[i - 1]))
        if sim < similarity_threshold:
            # Semantic break detected
            chunks.append(" ".join(chunk_sentences))
            chunk_sentences = [sentences[i]]
        else:
            chunk_sentences.append(sentences[i])

    if chunk_sentences:
        chunks.append(" ".join(chunk_sentences))

    return chunks

Εμπλουτισμός των chunks με συμφραζόμενα

Ένα μεμονωμένο chunk συχνά χάνει τις πληροφορίες που το καθιστούσαν ερμηνεύσιμο. «Η διάρκεια είναι τρία χρόνια» δεν σημαίνει τίποτα αν ο αναγνώστης—ή το μοντέλο ενσωμάτωσης—δεν γνωρίζει ότι προέρχεται από το κεφάλαιο της εγγύησης του κατασκευαστή. Η προσθήκη προθέματος σε κάθε chunk με τον τίτλο του εγγράφου και τον τίτλο της ενότητας επαναφέρει αυτό το συμφραζόμενο απευθείας μέσα στο ίδιο το διάνυσμα, και μια αναζήτηση για «διάρκεια εγγύησης» θα βρει τότε το απόσπασμα.

def enrich_chunk(chunk: str, doc_title: str, section: str = "") -> str:
    """Adds context to the chunk for better embedding."""
    prefix = f"Document: {doc_title}"
    if section:
        prefix += f" | Section: {section}"
    return f"{prefix}\n\n{chunk}"

Τι μέγεθος chunk πρέπει να επιλέξετε;

Η επιλογή περιλαμβάνει μια ισορροπία μεταξύ ακρίβειας και συμφραζομένων: ένα σύντομο chunk στοχεύει με ακρίβεια αλλά είναι ακρωτηριασμένο, ενώ ένα μακρύ chunk κατανοεί τα πάντα αλλά αραιώνει το σήμα.

Μέγεθος (tokens)ΠλεονεκτήματαΜειονεκτήματα
100–200Πολύ ακριβές, καλή κοκκοποίησηΧάνει τα συμφραζόμενα
300–500Καλός συμβιβασμόςΤυπικό
500–1000Πλούσια συμφραζόμεναΛιγότερο ακριβές, ακριβό
1000+Μέγιστα συμφραζόμεναΑραιώνει τις πληροφορίες

Δεν υπάρχει καθολική τιμή: το ιδανικό μέγεθος εξαρτάται από τα έγγραφά σας και τα ερωτήματά σας. Η μόνη αξιόπιστη μέθοδος είναι να ευρετηριάσετε το ίδιο σώμα κειμένων με δύο ή τρία μεγέθη και στη συνέχεια να μετρήσετε χρησιμοποιώντας τις μετρικές από το μάθημα 10 σε ένα σύνολο πραγματικών ερωτήσεων. Μια βάση γνώσεων υποστήριξης αποτελούμενη από σύντομες απαντήσεις ανέχεται 200 tokens· ένα νομικό σώμα κειμένων θα απαιτήσει 800.

Βασικά σημεία

  • Το chunking είναι το βήμα με τη μεγαλύτερη επίδραση στον αγωγό RAG
  • Χρησιμοποιήστε το σταθερό μέγεθος ως σημείο αναφοράς και τους διαχωριστές για να σεβαστείτε τη δομή
  • Το σημασιολογικό chunking εντοπίζει αυτόματα τις αλλαγές θεμάτων
  • Η επικάλυψη και ο εμπλουτισμός με συμφραζόμενα βελτιώνουν την ποιότητα
  • Δοκιμάστε διαφορετικά μεγέθη και μετρήστε με μετρικές αναζήτησης