Pretraživanje datoteka naspram prilagođenog RAG-a: kada koristiti što
Na ovoj stranici
Ciljevi
- Razumjeti OpenAI-jev upravljani RAG (File Search)
- Usporediti File Search s prilagođenim RAG cjevovodom
- Odabrati pravi pristup za svoj slučaj upotrebe
File Search: OpenAI-jev upravljani RAG
Upravo si lekciju po lekciju izgradio/la svaki sloj RAG cjevovoda. File Search radi sve to umjesto tebe. To je alat ugrađen u OpenAI Responses API koji automatski obrađuje chunking (cijepanje), ugradnju (embedding), vektorsku pohranu i pretraživanje: ti učitaš svoje datoteke, a zatim postavljaš upite. Ova lekcija nije odbacivanje onoga što je prethodilo, već iskreno pitanje koje si moraš postaviti prije pisanja ijednog retka koda: koja je razina apstrakcije ispravna za tvoj projekt?
Sve počinje s vektorskom pohranom (vector store), spremnikom koji hosta tvoje indeksirane dokumente. Stvoriš je, učitaš datoteke jednu po jednu, a zatim čekaš da indeksiranje završi prije postavljanja upita. Ovo čekanje nije kozmetičko: indeksiranje je asinkrono, a upit pokrenut prerano vidjet će samo dio korpusa.
from openai import OpenAI
client = OpenAI()
# 1. Create a vector store
vector_store = client.vector_stores.create(
name="product-documentation"
)
print(f"Vector store created: {vector_store.id}")
# 2. Upload files
files = ["user_guide.pdf", "faq.md", "changelog.txt"]
for file in files:
with open(file, "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id
)
print(f" Uploaded: {file}")
# Wait for indexing to complete
import time
while True:
vs = client.vector_stores.retrieve(vector_store.id)
if vs.file_counts.completed == vs.file_counts.total:
break
time.sleep(2)
print("Indexing complete")
Samo postavljanje upita tada zahtijeva jedan poziv: deklariraš alat file_search s ID-jem pohrane, a model odlučuje kada dohvatiti informacije. Zanimljiv dio je čitanje bilješki (annotations) koje sadrže citate datoteka. To ti omogućuje prikaz izvora korisniku – ponašanje koje si u prilagođenom cjevovodu morao/la ručno implementirati.
# Query with File Search
response = client.responses.create(
model="gpt-5.6-terra",
input="What are the new features in v3.2?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id]
}]
)
print(response.output_text)
# Access cited sources
for annotation in response.output:
if hasattr(annotation, "annotations"):
for ann in annotation.annotations:
if ann.type == "file_citation":
print(f" Source: file {ann.file_citation.file_id}")
Dvije postavke omogućuju fino podešavanje ponašanja bez napuštanja upravljanog alata. max_num_results postavlja broj dohvaćenih chunkova, a score_threshold filtrira rezultate s niskim rezultatom, točno kao prag relevantnosti koji si primijenio/la nakon ponovnog rangiranja.
response = client.responses.create(
model="gpt-5.6-terra",
input="How do I configure SSO?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"max_num_results": 10, # Number of chunks to retrieve
"ranking_options": {
"ranker": "auto", # Automatic ranker
"score_threshold": 0.3 # Relevance threshold
}
}]
)
Što ti File Search daje, a što oduzima
Presudan argument za File Search je potpuni izostanak infrastrukture: nema vektorske baze podataka koju trebaš osigurati, sigurnosno kopirati ili nadzirati. Chunking je obavljen za tebe i optimiziran od strane OpenAI-ja, ažuriranje korpusa jednostavno je kao dodavanje ili uklanjanje datoteke, citati se generiraju automatski, a uobičajeni formati su izvorno podržani – PDF, DOCX, MD, TXT, HTML, JSON, između ostalih. Tim bez stručnosti za infrastrukturu može postaviti bazu znanja na mrežu u jednom popodnevu.
Naličje ove pogodnosti je gubitak kontrole nad svakom karikom u lancu. Ne biraš veličinu chunka, pa je kompromis između preciznosti i konteksta iz Lekcije 12 izvan tvojih ruku. Pretraživanje je isključivo semantičko: nema hibridnog pretraživanja, pa reference na proizvode i točne kodove pogrešaka ostaju krhke. Također ne možeš uključiti Cohere ili vlastiti unakrsni enkoder (cross-encoder) za ponovno rangiranje. Dodaj tome još tri strateška razmatranja: vektorska pohrana se naplaćuje dodatno uz API pozive, tvoji podaci se nalaze na OpenAI-jevim poslužiteljima, a indeksiranje pokriva samo tekst.
Prilagođeni cjevovod okreće ovaj popis članak po članak. Ti upravljaš chunkingom, ugradnjom, pretraživanjem, ponovnim rangiranjem i promptingom; kombiniraš semantičko i leksičko pretraživanje; miješaš pružatelje modela ili sve držiš na vlastitim poslužiteljima (on-premise) ako to tvoji podaci zahtijevaju; i iznad svega, optimiziraš svaku komponentu neovisno mjerenjem njezinog učinka. Ova kontrola dolazi uz cijenu koda koji trebaš napisati i održavati, vektorske baze podataka kojom trebaš upravljati i stručnosti – chunking, evaluacija i ponovno rangiranje nisu stvari koje se improviziraju, što je upravo ono što ovaj tečaj pokriva.
Matrica odlučivanja
| Kriterij | File Search | Prilagođeni RAG |
|---|---|---|
| Brzo prototipiranje | ✅ Idealno | ⚠️ Sporije |
| Kontrola chunkinga | ❌ | ✅ |
| Hibridno pretraživanje | ❌ | ✅ |
| Osjetljivi podaci | ⚠️ Na OpenAI-ju | ✅ Na vlastitim poslužiteljima |
| Trošak u velikom obujmu | ⚠️ Može biti visok | ✅ Predvidljiv |
| Održavanje | ✅ Nula | ⚠️ Za upravljanje |
| Maksimalne performanse | ⚠️ Dobre | ✅ Moguće optimizirati |
Hibridna arhitektura: Najbolje iz oba svijeta
Izbor ne mora biti konačan i ne bi trebao biti. Najisplativiji pristup je započeti s File Searchom kako bi se potvrdilo da tvoj slučaj upotrebe ima smisla, a zatim prijeći na prilagođeni cjevovod onog dana kada naiđeš na identificirano ograničenje. Inkapsuliranje oba pristupa iza jedne metode respond čini ovaj prelazak bezbolnim za ostatak tvoje aplikacije.
class HybridRAG:
"""Start with File Search, switch to custom if needed."""
def __init__(self, mode: str = "file_search"):
self.client = OpenAI()
self.mode = mode
def respond_file_search(self, question: str, vs_id: str) -> str:
response = self.client.responses.create(
model="gpt-5.6-terra",
input=question,
tools=[{
"type": "file_search",
"vector_store_ids": [vs_id]
}]
)
return response.output_text
def respond_custom(self, question: str, pipeline) -> str:
result = pipeline.respond(question)
return result["response"]
def respond(self, question: str, **kwargs) -> str:
if self.mode == "file_search":
return self.respond_file_search(
question, kwargs["vs_id"]
)
else:
return self.respond_custom(
question, kwargs["pipeline"]
)
Kada migracija postane nužna, ona slijedi precizan redoslijed:
- Izvezi svoje datoteke iz vektorske pohrane
- Implementiraj chunking prilagođen svom sadržaju
- Generiraj ugradnje (embeddings) s
text-embedding-3-large - Indeksiraj u vektorsku bazu podataka (Qdrant, Pinecone, itd.)
- Dodaj ponovno rangiranje i hibridno pretraživanje
- Evaluiraj sa svojim testnim skupom podataka
- Usporedi metrike s File Searchom prije prelaska
Posljednji korak je onaj koji se najčešće preskače, a jedini je koji opravdava sve ostalo: bez kvantitativne usporedbe, možda si zamijenio/la pristojan upravljani sustav inferiornim vlastitim rješenjem, uz dodatni teret održavanja.
Sažetak
- File Search je idealan za brzo prototipiranje RAG sustava bez infrastrukture
- Prilagođeni RAG cjevovod nudi potpunu kontrolu i performanse koje se mogu optimizirati
- Započni s File Searchom, migriraj na prilagođeno rješenje kada naiđeš na ograničenja
- Kriteriji odluke: kontrola, osjetljivi podaci, trošak, performanse