Ανάκτηση: Τμηματοποίηση και Κατάταξη
Σε αυτήν τη σελίδα
Ανάκτηση: Τμηματοποίηση και Κατάταξη
Η Αναζήτηση Αρχείων (File Search) βασίζεται σε έναν πλήρη αγωγό ανάκτησης: τα έγγραφά σας χωρίζονται σε τμήματα, μετατρέπονται σε διανύσματα, ευρετηριάζονται και στη συνέχεια κατατάσσονται ως προς τη συνάφεια όταν υποβάλλεται ένα ερώτημα. Η κατανόηση αυτού του αγωγού σάς επιτρέπει να βελτιστοποιήσετε την ποιότητα των απαντήσεων.
Ο Αγωγός Ανάκτησης
Όταν ανεβάζετε ένα αρχείο σε ένα διανυσματικό αποθετήριο (vector store), το OpenAI εκτελεί αυτόματα τα εξής:
- Ανάλυση (Parsing): Εξάγει το ακατέργαστο κείμενο από την αρχική μορφή.
- Τμηματοποίηση (Chunking): Χωρίζει το κείμενο σε τμήματα ελεγχόμενου μεγέθους.
- Ενσωμάτωση (Embedding): Μετατρέπει κάθε τμήμα σε διάνυσμα.
- Ευρετηρίαση: Αποθηκεύει τα διανύσματα στο διανυσματικό ευρετήριο.
Κατά τη στιγμή του ερωτήματος:
- Ενσωμάτωση Ερωτήματος: Η ερώτηση μετατρέπεται σε διάνυσμα.
- Διανυσματική Αναζήτηση: Εντοπίζει τα πλησιέστερα τμήματα.
- Κατάταξη: Ανακατατάσσει τα αποτελέσματα με βάση τη συνάφεια.
- Έγχυση: Εισάγει τα καλύτερα τμήματα στο πλαίσιο του μοντέλου.
Διαμόρφωση της Στρατηγικής Τμηματοποίησης
Η τμηματοποίηση είναι η ρύθμιση που καθορίζει τα πάντα και η ανταλλαγή είναι απλή. Τα μικρά τμήματα αποδίδουν ακριβή αποτελέσματα αναζήτησης, αλλά παρέχουν αποσπάσματα στερημένα συμφραζομένων—βρίσκετε τη σωστή πρόταση, αλλά χάνετε το αντικείμενο στο οποίο αναφέρεται. Τα μεγάλα τμήματα διατηρούν τα συμφραζόμενα, αλλά θάβουν τις σχετικές πληροφορίες μέσα σε άσχετο κείμενο, γεγονός που εξασθενεί τον βαθμό ομοιότητας.
Δεν υπάρχει καθολική τιμή: η σωστή ρύθμιση εξαρτάται από τη δομή του εγγράφου σας, ακριβώς όπως συνοψίζεται στον παρακάτω πίνακα.
from openai import OpenAI
client = OpenAI()
# Default strategy: auto
vector_store = client.vector_stores.create(
name="legal-base",
chunking_strategy={"type": "auto"}
)
# Custom strategy: smaller chunks for higher precision
vector_store = client.vector_stores.create(
name="support-faq",
chunking_strategy={
"type": "static",
"static": {
"max_chunk_size_tokens": 400,
"chunk_overlap_tokens": 100
}
}
)
Επιλογή του Σωστού Μεγέθους Τμήματος
| Τύπος Περιεχομένου | max_chunk_size | overlap | Γιατί |
|---|---|---|---|
| FAQ, Ερωτήσεις & Απαντήσεις | 200-400 | 50 | Σύντομες, αυτοτελείς απαντήσεις |
| Τεχνική Τεκμηρίωση | 600-800 | 200 | Παράγραφοι με συμφραζόμενα |
| Συμβόλαια, Νομικά Κείμενα | 800-1200 | 300 | Μακροσκελείς, διασυνδεδεμένες ρήτρες |
| Πηγαίος Κώδικας | 400-600 | 100 | Συναρτήσεις και κλάσεις |
Επίδραση της Επικάλυψης
Η επικάλυψη λύνει ένα συγκεκριμένο πρόβλημα: πληροφορίες που βρίσκονται στα όρια ενός τμήματος θα κόβονταν στη μέση, με αποτέλεσμα κανένα από τα δύο μισά να μην ταιριάζει με το ερώτημα. Επικαλύπτοντας τα τμήματα, διασφαλίζετε ότι κάθε πρόταση εμφανίζεται ακέραια σε τουλάχιστον ένα τμήμα. Το κόστος είναι η πλεονασματικότητα—μια επικάλυψη 300 token σε τμήματα 800 token αποθηκεύει σχεδόν 40% διπλότυπο κείμενο.
# Original text (simplified)
# "Clause 5.1 states the supplier must deliver within 30 days.
# In case of delay, penalties of 1% per day apply.
# Clause 5.2 specifies penalties are capped at 15%."
# Without overlap: Clause 5.1 and penalties might end up in different chunks
# With overlap: the link between clause and penalties is preserved
Κατώφλι Συνάφειας και Κατάταξη
Η κατάταξη καθορίζει ποια τμήματα θα διατηρηθούν. Μπορείτε να διαμορφώσετε ένα φίλτρο:
response = client.responses.create(
model="gpt-5.6-terra",
input="What is the return policy?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"max_num_results": 10,
"ranking_options": {
"ranker": "auto",
"score_threshold": 0.5
}
}]
)
Το score_threshold φιλτράρει τα αποτελέσματα κάτω από ένα κατώφλι συνάφειας. Μια τιμή 0.0 επιστρέφει τα πάντα, ενώ το 1.0 θα ήταν υπερβολικά περιοριστικό. Στην πράξη, τιμές μεταξύ 0.3 και 0.6 αποδίδουν καλά αποτελέσματα.
Βελτιστοποίηση της Ποιότητας Ανάκτησης
Προετοιμασία Εγγράφων
Αυτός είναι ο πιο αποδοτικός ως προς το κόστος μοχλός σε όλο αυτό το μάθημα και ο μόνος που δεν κοστίζει τίποτα σε ρυθμίσεις: ένα καλά δομημένο έγγραφο ευρετηριάζεται σωστά. Χρησιμοποιήστε σαφείς επικεφαλίδες, μια εισαγωγική πρόταση για κάθε ενότητα και αποφύγετε τους πίνακες που μετατρέπονται σε ασύνδετο κείμενο. Αντιθέτως, καμία ρύθμιση τμηματοποίησης δεν θα σώσει ένα PDF του οποίου η εξαγωγή παράγει μπερδεμένες στήλες.
# Bad: Scanned PDF with approximate OCR
# -> Incoherent chunks, poor-quality embeddings
# Good: Structured document with headings and sections
# -> Chunks aligned with logical sections
# Pattern: Pre-process before upload
def prepare_document(raw_text: str) -> str:
"""Cleans and structures text before indexing."""
# Remove repetitive headers/footers
lines = raw_text.split("\n")
lines = [l for l in lines if not is_header_footer(l)]
# Normalize spaces
text = "\n".join(lines)
text = re.sub(r"\n{3,}", "\n\n", text)
return text
Εμπλουτισμός με Μεταδεδομένα
Τα μεταδεδομένα επιτρέπουν τον προ-φιλτράρισμα πριν από τη διανυσματική αναζήτηση, βελτιώνοντας την ακρίβεια:
# Upload with rich metadata
documents = [
{"file": "hr-policy-2026.pdf", "department": "hr", "type": "policy", "year": 2026},
{"file": "supplier-contract-a.pdf", "department": "procurement", "type": "contract", "year": 2026},
{"file": "it-security-guide.pdf", "department": "it", "type": "guide", "year": 2025},
]
for doc in documents:
with open(doc["file"], "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id,
attributes={
"department": doc["department"],
"document_type": doc["type"],
"year": doc["year"]
}
)
Μέτρηση της Ποιότητας Ανάκτησης
Χωρίς μέτρηση, κάθε ρύθμιση τμηματοποίησης είναι απλώς διαίσθηση. Ένα σύνολο είκοσι ερωτήσεων όπου γνωρίζετε την αναμενόμενη απάντηση και το έγγραφο που την περιέχει αρκεί για να αντικειμενικοποιήσετε τη διαδικασία: αλλάξτε μια παράμετρο, εκτελέστε ξανά το σύνολο δοκιμών και συγκρίνετε. Αυτό απαιτεί ελάχιστη εργασία σε σύγκριση με τις ώρες που ξοδεύονται συζητώντας για το μέγεθος των τμημάτων χωρίς δεδομένα.
def evaluate_retrieval(test_questions: list[dict], vs_id: str) -> dict:
"""Evaluates retrieval quality on a test set.
Each element in test_questions contains:
- question: the question to ask
- expected_answer: keywords or phrases expected in the response
"""
results = {"total": 0, "relevant": 0, "irrelevant": 0}
for test in test_questions:
response = client.responses.create(
model="gpt-5.6-terra",
input=test["question"],
tools=[{
"type": "file_search",
"vector_store_ids": [vs_id],
"max_num_results": 5
}]
)
answer = response.output_text.lower()
found_keywords = sum(
1 for word in test["expected_answer"]
if word.lower() in answer
)
results["total"] += 1
if found_keywords >= len(test["expected_answer"]) * 0.5:
results["relevant"] += 1
else:
results["irrelevant"] += 1
results["relevance_rate"] = results["relevant"] / results["total"]
return results
Προηγμένες Στρατηγικές
Πολλαπλά Διανυσματικά Αποθετήρια (Multi-Vector-Store)
Εκτελέστε ερωτήματα σε πολλαπλές βάσεις εγγράφων παράλληλα:
response = client.responses.create(
model="gpt-5.6-terra",
input="Compare our HR policy with legal obligations",
tools=[{
"type": "file_search",
"vector_store_ids": [
vs_internal_policies,
vs_legal_texts
],
"max_num_results": 15
}]
)
Αποσυντιθέμενα Ερωτήματα
Μια ερώτηση που περιέχει πολλαπλά αιτήματα παράγει ένα μέσο διάνυσμα που δεν μοιάζει με κανένα από αυτά, οδηγώντας σε κακά αποτελέσματα αναζήτησης για όλα. Η ανάλυσή της σε ξεχωριστά υπο-ερωτήματα αποδίδει σημαντικά καλύτερα αποτελέσματα—αυτή είναι η ίδια αρχή με την αναζήτηση στον ιστό: ένα ακριβές ερώτημα κερδίζει έναν εξαντλητικό.
def decomposed_search(complex_question: str, vs_id: str) -> str:
"""Decomposes a complex question into sub-searches."""
# Step 1: Decompose the question
decomposition = client.responses.create(
model="gpt-5.6-terra",
input=f"Decompose this question into 2-3 simple sub-questions: {complex_question}",
)
# Step 2: Search for each sub-question
sub_results = []
for sub_q in decomposition.output_text.split("\n"):
if sub_q.strip():
r = client.responses.create(
model="gpt-5.6-terra",
input=sub_q.strip(),
tools=[{"type": "file_search", "vector_store_ids": [vs_id]}]
)
sub_results.append(r.output_text)
# Step 3: Synthesize
synthesis = client.responses.create(
model="gpt-5.6-terra",
input=f"Original question: {complex_question}\n\n"
f"Intermediate results:\n" + "\n---\n".join(sub_results) +
"\n\nSynthesize a complete and coherent answer."
)
return synthesis.output_text
Βασικά σημεία
- Η στατική (
static) τμηματοποίηση με προσαρμοσμένο μέγεθος και επικάλυψη βελτιώνει την ακρίβεια. - Μικρά τμήματα για FAQ, μεγάλα τμήματα για νομικά έγγραφα.
- Το
score_thresholdφιλτράρει τα άσχετα αποτελέσματα. - Καθαρίζετε και δομείτε τα έγγραφά σας πριν από την ευρετηρίαση.
- Αξιολογείτε την ποιότητα ανάκτησης με ένα σύνολο δοκιμών.