Αναζήτηση Αρχείων έναντι Προσαρμοσμένου RAG: Πότε να Χρησιμοποιήσετε το Κάθε Ένα
Σε αυτήν τη σελίδα
Στόχοι
- Να κατανοήσετε το διαχειριζόμενο RAG της OpenAI (File Search)
- Να συγκρίνετε το File Search με έναν προσαρμοσμένο αγωγό RAG
- Να επιλέξετε τη σωστή προσέγγιση για την περίπτωσή σας
File Search: Το Διαχειριζόμενο RAG της OpenAI
Μόλις δημιουργήσατε κάθε στρώμα ενός αγωγού RAG, μάθημα προς μάθημα. Το File Search κάνει όλα αυτά για εσάς. Είναι ένα εργαλείο ενσωματωμένο στο API Responses της OpenAI που διαχειρίζεται αυτόματα τον τεμαχισμό (chunking), την ενσωμάτωση (embedding), την αποθήκευση διανυσμάτων και την αναζήτηση: εσείς ανεβάζετε τα αρχεία σας και κάνετε ερωτήματα. Αυτό το μάθημα δεν αποτελεί απόρριψη όσων προηγήθηκαν, αλλά μια ειλικρινή ερώτηση που πρέπει να θέσετε πριν γράψετε οποιονδήποτε κώδικα: ποιο είναι το σωστό επίπεδο αφαίρεσης για το έργο σας;
Όλα ξεκινούν με μια αποθήκη διανυσμάτων (vector store), το δοχείο που φιλοξενεί τα ευρετηριασμένα έγγραφά σας. Την δημιουργείτε, ανεβάζετε αρχεία ένα προς ένα και στη συνέχεια περιμένετε να ολοκληρωθεί η ευρετηρίαση πριν κάνετε ερωτήματα. Αυτός ο βρόχος αναμονής δεν είναι διακοσμητικός: η ευρετηρίαση είναι ασύγχρονη και ένα ερώτημα που ξεκινά πολύ νωρίς θα δει μόνο μέρος του σώματος κειμένου.
from openai import OpenAI
client = OpenAI()
# 1. Create a vector store
vector_store = client.vector_stores.create(
name="product-documentation"
)
print(f"Vector store created: {vector_store.id}")
# 2. Upload files
files = ["user_guide.pdf", "faq.md", "changelog.txt"]
for file in files:
with open(file, "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id
)
print(f" Uploaded: {file}")
# Wait for indexing to complete
import time
while True:
vs = client.vector_stores.retrieve(vector_store.id)
if vs.file_counts.completed == vs.file_counts.total:
break
time.sleep(2)
print("Indexing complete")
Η υποβολή ερωτήματος απαιτεί πλέον μία μόνο κλήση: δηλώνετε το εργαλείο file_search με το ID της αποθήκης και το μοντέλο αποφασίζει πότε θα ανακτήσει πληροφορίες. Το ενδιαφέρον μέρος είναι η ανάγνωση των σχολίων (annotations), τα οποία περιέχουν τις παραπομπές στα αρχεία. Αυτό σας επιτρέπει να εμφανίζετε τις πηγές στον χρήστη—μια συμπεριφορά που έπρεπε να υλοποιήσετε χειροκίνητα στον προσαρμοσμένο αγωγό.
# Query with File Search
response = client.responses.create(
model="gpt-5.6-terra",
input="What are the new features in v3.2?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id]
}]
)
print(response.output_text)
# Access cited sources
for annotation in response.output:
if hasattr(annotation, "annotations"):
for ann in annotation.annotations:
if ann.type == "file_citation":
print(f" Source: file {ann.file_citation.file_id}")
Δύο ρυθμίσεις σας επιτρέπουν να βελτιστοποιήσετε τη συμπεριφορά χωρίς να εγκαταλείψετε το διαχειριζόμενο εργαλείο. Το max_num_results ορίζει τον αριθμό των τεμαχίων που ανακτώνται και το score_threshold φιλτράρει τα αποτελέσματα με χαμηλή βαθμολογία, ακριβώς όπως το κατώφλι συνάφειας που εφαρμόσατε μετά την επαναβαθμολόγηση (reranking).
response = client.responses.create(
model="gpt-5.6-terra",
input="How do I configure SSO?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"max_num_results": 10, # Number of chunks to retrieve
"ranking_options": {
"ranker": "auto", # Automatic ranker
"score_threshold": 0.3 # Relevance threshold
}
}]
)
Τι Σας Προσφέρει και Τι Σας Αφαιρεί το File Search
Το καθοριστικό επιχείρημα υπέρ του File Search είναι η πλήρης απουσία υποδομής: καμία βάση δεδομένων διανυσμάτων για προμήθεια, δημιουργία αντιγράφων ασφαλείας ή παρακολούθηση. Ο τεμαχισμός γίνεται για εσάς και βελτιστοποιείται από την OpenAI, η ενημέρωση του σώματος κειμένου είναι τόσο απλή όσο η προσθήκη ή αφαίρεση ενός αρχείου, οι παραπομπές δημιουργούνται αυτόματα και οι κοινοί τύποι αρχείων υποστηρίζονται εγγενώς—PDF, DOCX, MD, TXT, HTML, JSON, μεταξύ άλλων. Μια ομάδα χωρίς εμπειρογνωμοσύνη σε υποδομές μπορεί να θέσει μια βάση γνώσεων online μέσα σε ένα απόγευμα.
Η άλλη όψη αυτής της ευκολίας είναι η απώλεια ελέγχου σε κάθε κρίκο της αλυσίδας. Δεν επιλέγετε εσείς το μέγεθος του τεμαχίου, επομένως η ισορροπία ακρίβειας/πλαισίου από το Μάθημα 12 βρίσκεται εκτός του ελέγχου σας. Η αναζήτηση είναι καθαρά σημασιολογική: χωρίς υβριδική αναζήτηση, οι αναφορές σε προϊόντα και οι ακριβείς κωδικοί σφαλμάτων παραμένουν ευάλωτοι. Επίσης, δεν μπορείτε να συνδέσετε το Cohere ή έναν οικείο cross-encoder για επαναβαθμολόγηση. Προσθέστε σε αυτά τρεις ακόμη στρατηγικούς παράγοντες: η αποθήκευση διανυσμάτων χρεώνεται επιπλέον των κλήσεων API, τα δεδομένα σας φιλοξενούνται στους διακομιστές της OpenAI και η ευρετηρίαση καλύπτει μόνο κείμενο.
Ένας προσαρμοσμένος αγωγός αντιστρέφει αυτή τη λίστα όρο προς όρο. Εσείς κυριαρχείτε στον τεμαχισμό, την ενσωμάτωση, την αναζήτηση, την επαναβαθμολόγηση και τη διατύπωση prompts (prompting)· συνδυάζετε σημασιολογική και λεξική αναζήτηση· αναμειγνύετε παρόχους μοντέλων ή διατηρείτε τα πάντα on-premise εάν τα δεδομένα σας το απαιτούν· και πάνω απ’ όλα, βελτιστοποιείτε κάθε στοιχείο ανεξάρτητα μετρώντας την επίδρασή του. Αυτός ο έλεγχος έχει ως τίμημα τον κώδικα που πρέπει να γράψετε και να συντηρήσετε, μια βάση δεδομένων διανυσμάτων να διαχειριστείτε και την απαραίτητη τεχνογνωσία—ο τεμαχισμός, η αξιολόγηση και η επαναβαθμολόγηση δεν αυτοσχεδιάζονται, κάτι που καλύπτει ακριβώς αυτό το μάθημα.
Πίνακας Απόφασης
| Κριτήριο | File Search | Προσαρμοσμένο RAG |
|---|---|---|
| Ταχεία δημιουργία πρωτοτύπου | ✅ Ιδανικό | ⚠️ Πιο αργό |
| Έλεγχος τεμαχισμού | ❌ | ✅ |
| Υβριδική αναζήτηση | ❌ | ✅ |
| Ευαίσθητα δεδομένα | ⚠️ Στην OpenAI | ✅ On-premise |
| Κόστος σε κλίμακα | ⚠️ Μπορεί να είναι υψηλό | ✅ Προβλέψιμο |
| Συντήρηση | ✅ Μηδενική | ⚠️ Προς διαχείριση |
| Μέγιστη απόδοση | ⚠️ Καλή | ✅ Βελτιστοποιήσιμη |
Υβριδική Αρχιτεκτονική: Το Καλύτερο και των Δύο Κόσμων
Η επιλογή δεν χρειάζεται να είναι οριστική και δεν πρέπει να είναι. Η πιο αποδοτική προσέγγιση είναι να ξεκινήσετε με το File Search για να επικυρώσετε ότι η περίπτωσή σας είναι βιώσιμη και στη συνέχεια να μεταβείτε σε έναν προσαρμοσμένο αγωγό την ημέρα που θα χτυπήσετε ένα αναγνωρισμένο όριο. Η encapsulation και των δύο πίσω από μια ενιαία μέθοδο respond καθιστά αυτή την εναλλαγή ανώδυνη για την υπόλοιπη εφαρμογή σας.
class HybridRAG:
"""Start with File Search, switch to custom if needed."""
def __init__(self, mode: str = "file_search"):
self.client = OpenAI()
self.mode = mode
def respond_file_search(self, question: str, vs_id: str) -> str:
response = self.client.responses.create(
model="gpt-5.6-terra",
input=question,
tools=[{
"type": "file_search",
"vector_store_ids": [vs_id]
}]
)
return response.output_text
def respond_custom(self, question: str, pipeline) -> str:
result = pipeline.respond(question)
return result["response"]
def respond(self, question: str, **kwargs) -> str:
if self.mode == "file_search":
return self.respond_file_search(
question, kwargs["vs_id"]
)
else:
return self.respond_custom(
question, kwargs["pipeline"]
)
Όταν η μετανάστευση καταστεί απαραίτητη, ακολουθεί μια συγκεκριμένη σειρά:
- Εξαγάγετε τα αρχεία σας από την αποθήκη διανυσμάτων
- Υλοποιήστε τον τεμαχισμό προσαρμοσμένο στο περιεχόμενό σας
- Δημιουργήστε ενσωματώσεις με το
text-embedding-3-large - Ευρετηριάστε σε μια βάση δεδομένων διανυσμάτων (Qdrant, Pinecone, κ.λπ.)
- Προσθέστε επαναβαθμολόγηση και υβριδική αναζήτηση
- Αξιολογήστε με το σύνολο δεδομένων δοκιμής σας
- Συγκρίνετε τις μετρικές με το File Search πριν την εναλλαγή
Το τελευταίο βήμα είναι αυτό που συχνά παραλείπεται και είναι το μόνο που δικαιολογεί όλα τα υπόλοιπα: χωρίς μια ποσοτική σύγκριση, μπορεί να έχετε αντικαταστήσει ένα αξιοπρεπές διαχειριζόμενο σύστημα με ένα κατώτερο οικείο, συν το επιπλέον κόστος συντήρησης.
Βασικά σημεία
- Το File Search είναι ιδανικό για τη γρήγορη δημιουργία πρωτοτύπων ενός συστήματος RAG χωρίς υποδομή
- Ένας προσαρμοσμένος αγωγός RAG προσφέρει πλήρη έλεγχο και βελτιστοποιήσιμη απόδοση
- Ξεκινήστε με το File Search και μεταβείτε σε προσαρμοσμένο όταν συναντήσετε όρια
- Κριτήρια απόφασης: έλεγχος, ευαίσθητα δεδομένα, κόστος, απόδοση