Wyszukiwanie plików kontra niestandardowy RAG: kiedy użyć którego
Na tej stronie
Cele
- Zrozumieć zarządzany RAG od OpenAI (File Search)
- Porównać File Search z niestandardowym potokiem RAG
- Wybrać odpowiednie podejście dla swojego przypadku użycia
File Search: Zarządzany RAG od OpenAI
Właśnie zbudowałeś każdą warstwę potoku RAG, lekcja po lekcji. File Search robi to wszystko za Ciebie. Jest to narzędzie wbudowane w API Responses od OpenAI, które automatycznie obsługuje dzielenie na fragmenty (chunking), tworzenie embeddingów, przechowywanie wektorowe i wyszukiwanie: przesyłasz swoje pliki i zadajesz zapytania. Ta lekcja nie jest odrzuceniem tego, co było wcześniej, lecz szczerą kwestią, którą musisz sobie zadać przed napisaniem jakiejkolwiek linii kodu: jaki poziom abstrakcji jest właściwy dla Twojego projektu?
Wszystko zaczyna się od wektorowego magazynu danych (vector store), czyli kontenera hostującego Twoje zindeksowane dokumenty. Tworzysz go, przesyłasz pliki jeden po drugim, a następnie czekasz na zakończenie indeksowania przed zadaniem zapytania. To oczekiwanie nie jest tylko formalnością: indeksowanie jest asynchroniczne, a zapytanie wysłane zbyt wcześnie zobaczy tylko część zbioru danych.
from openai import OpenAI
client = OpenAI()
# 1. Create a vector store
vector_store = client.vector_stores.create(
name="product-documentation"
)
print(f"Vector store created: {vector_store.id}")
# 2. Upload files
files = ["user_guide.pdf", "faq.md", "changelog.txt"]
for file in files:
with open(file, "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id
)
print(f" Uploaded: {file}")
# Wait for indexing to complete
import time
while True:
vs = client.vector_stores.retrieve(vector_store.id)
if vs.file_counts.completed == vs.file_counts.total:
break
time.sleep(2)
print("Indexing complete")
Zadawanie zapytań wymaga następnie tylko jednego wywołania: deklarujesz narzędzie file_search z ID magazynu, a model sam decyduje, kiedy pobrać informacje. Najciekawszą częścią jest odczyt adnotacji, które zawierają cytowania plików. Pozwala to wyświetlać użytkownikowi źródła – zachowanie, które w niestandardowym potoku musiałeś implementować ręcznie.
# Query with File Search
response = client.responses.create(
model="gpt-5.6-terra",
input="What are the new features in v3.2?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id]
}]
)
print(response.output_text)
# Access cited sources
for annotation in response.output:
if hasattr(annotation, "annotations"):
for ann in annotation.annotations:
if ann.type == "file_citation":
print(f" Source: file {ann.file_citation.file_id}")
Dwa ustawienia pozwalają dostroić zachowanie bez wychodzenia poza zarządzane narzędzie. max_num_results określa liczbę pobranych fragmentów, a score_threshold filtruje wyniki o niskim wyniku, dokładnie tak jak próg trafności, który stosowałeś po ponownym rankingu (reranking).
response = client.responses.create(
model="gpt-5.6-terra",
input="How do I configure SSO?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"max_num_results": 10, # Number of chunks to retrieve
"ranking_options": {
"ranker": "auto", # Automatic ranker
"score_threshold": 0.3 # Relevance threshold
}
}]
)
Co daje Ci File Search, a czego Cię pozbawia
Decydującym argumentem za File Search jest całkowity brak infrastruktury: żadnej bazy danych wektorowych do uruchamiania, tworzenia kopii zapasowych czy monitorowania. Dzielenie na fragmenty jest wykonywane za Ciebie i optymalizowane przez OpenAI, aktualizacja zbioru danych jest tak prosta jak dodanie lub usunięcie pliku, cytowania są generowane automatycznie, a popularne formaty są obsługiwane natywnie – PDF, DOCX, MD, TXT, HTML, JSON i inne. Zespół bez doświadczenia infrastrukturalnego może uruchomić bazę wiedzy w ciągu jednego popołudnia.
Drugą stroną tej wygody jest utrata kontroli nad każdym ogniwem łańcucha. Nie wybierasz rozmiaru fragmentu, więc kompromis między precyzją a kontekstem z Lekcji 12 wymyka się spod Twojej kontroli. Wyszukiwanie jest czysto semantyczne: brak wyszukiwania hybrydowego, więc odniesienia do produktów i dokładne kody błędów pozostają kwestią delikatną. Nie możesz też podpiąć Cohere ani własnego enkodera krzyżowego (cross-encoder) do ponownego rankingu. Dołóż do tego trzy kolejne strategiczne kwestie: przechowywanie wektorów jest płatne dodatkowo poza wywołaniami API, Twoje dane znajdują się na serwerach OpenAI, a indeksowanie obejmuje tylko tekst.
Niestandardowy potok odwraca tę listę słowo w słowo. Panujesz nad dzieleniem na fragmenty, embeddingami, wyszukiwaniem, ponownym rankingiem i promptowaniem; łączysz wyszukiwanie semantyczne i leksykalne; mieszasz dostawców modeli lub utrzymujesz wszystko on-premise, jeśli wymagają tego Twoje dane; a przede wszystkim optymalizujesz każdy komponent niezależnie, mierząc jego wpływ. Ta kontrola okupiona jest kodem do napisania i utrzymania, bazą danych wektorowych do administrowania oraz wymaganą ekspertyzą – dzielenie na fragmenty, ewaluacja i ponowny ranking nie są działaniami improwizowanymi, co właśnie stanowi sedno tego kursu.
Macierz decyzyjna
| Kryterium | File Search | Niestandardowy RAG |
|---|---|---|
| Szybkie prototypowanie | ✅ Idealne | ⚠️ Wolniejsze |
| Kontrola nad dzieleniem na fragmenty | ❌ | ✅ |
| Wyszukiwanie hybrydowe | ❌ | ✅ |
| Dane wrażliwe | ⚠️ Na serwerach OpenAI | ✅ On-premise |
| Koszt w skali | ⚠️ Może być wysoki | ✅ Przewidywalny |
| Utrzymanie | ✅ Zerowe | ⚠️ Do zarządzania |
| Maksymalna wydajność | ⚠️ Dobra | ✅ Optymalizowalna |
Architektura hybrydowa: najlepsze z obu światów
Wybór nie musi być ostateczny i nie powinien taki być. Najbardziej opłacalnym podejściem jest rozpoczęcie od File Search, aby zweryfikować, czy Twój przypadek użycia ma sens, a następnie przejście na niestandardowy potok w momencie napotkania zidentyfikowanego limitu. Ukrycie obu rozwiązań za jedną metodą respond sprawia, że ta zmiana jest bezbolesna dla reszty Twojej aplikacji.
class HybridRAG:
"""Start with File Search, switch to custom if needed."""
def __init__(self, mode: str = "file_search"):
self.client = OpenAI()
self.mode = mode
def respond_file_search(self, question: str, vs_id: str) -> str:
response = self.client.responses.create(
model="gpt-5.6-terra",
input=question,
tools=[{
"type": "file_search",
"vector_store_ids": [vs_id]
}]
)
return response.output_text
def respond_custom(self, question: str, pipeline) -> str:
result = pipeline.respond(question)
return result["response"]
def respond(self, question: str, **kwargs) -> str:
if self.mode == "file_search":
return self.respond_file_search(
question, kwargs["vs_id"]
)
else:
return self.respond_custom(
question, kwargs["pipeline"]
)
Gdy migracja staje się konieczna, przebiega według precyzyjnej kolejności:
- Eksportuj swoje pliki z magazynu wektorowego
- Zaimplementuj dzielenie na fragmenty dostosowane do Twojej treści
- Wygeneruj embeddingi za pomocą
text-embedding-3-large - Zaindeksuj w bazie danych wektorowych (Qdrant, Pinecone itp.)
- Dodaj ponowny ranking i wyszukiwanie hybrydowe
- Przeprowadź ewaluację na swoim zbiorze testowym
- Porównaj metryki z File Search przed przełączeniem
Ostatni krok jest najczęściej pomijany, a jest jedynym, który uzasadnia wszystkie pozostałe: bez ilościowego porównania możesz zastąpić przyzwoity zarządzany system gorszym rozwiązaniem własnej roboty, dokładając do tego narzut związany z utrzymaniem.
Podsumowanie
- File Search jest idealny do szybkiego prototypowania systemu RAG bez infrastruktury
- Niestandardowy potok RAG oferuje pełną kontrolę i wydajność podlegającą optymalizacji
- Zacznij od File Search, migruj do rozwiązania niestandardowego, gdy napotkasz limity
- Kryteria decyzyjne: kontrola, dane wrażliwe, koszt, wydajność