File Search vs. mukautettu RAG: kumpaa milloinkin käyttää
Tällä sivulla
Tavoitteet
- Ymmärtää OpenAI:n hallinnoima RAG (File Search)
- Vertailla File Searchiä mukautettuun RAG-putkeen
- Valita oikea lähestymistapa käyttötapaustasi varten
File Search: OpenAI:n hallinnoima RAG
Olet juuri rakentanut RAG-putken kaikki kerrokset oppitunti kerrallaan. File Search hoitaa kaiken tämän puolestasi. Se on OpenAI Responses API:hun sisäänrakennettu työkalu, joka hallitsee automaattisesti paloittelemisen, upottamisen, vektoritallennuksen ja haun: lataat tiedostosi ja esität kysymyksiä. Tämä oppitunti ei ole aiempien sisältöjen hylkäämistä, vaan rehellinen kysymys, joka sinun on esitettävä ennen koodin kirjoittamista: mikä on projektisi oikea abstraktiotaso?
Kaikki alkaa vektorivarastosta, säilöstä, joka isännöi indeksoituja dokumenttejasi. Luot sen, syötät tiedostot siihen yksi kerrallaan ja odotat indeksoinnin valmistumista ennen kyselyjen tekemistä. Tämä odotusvaihe ei ole pelkkä muodollisuus: indeksointi on asynkronista, ja liian aikaisin suoritettu kysely näkee vain osan aineistosta.
from openai import OpenAI
client = OpenAI()
# 1. Create a vector store
vector_store = client.vector_stores.create(
name="product-documentation"
)
print(f"Vector store created: {vector_store.id}")
# 2. Upload files
files = ["user_guide.pdf", "faq.md", "changelog.txt"]
for file in files:
with open(file, "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id
)
print(f" Uploaded: {file}")
# Wait for indexing to complete
import time
while True:
vs = client.vector_stores.retrieve(vector_store.id)
if vs.file_counts.completed == vs.file_counts.total:
break
time.sleep(2)
print("Indexing complete")
Kysely vaatii tämän jälkeen vain yhden kutsun: määrität file_search-työkalun varaston tunnuksella, ja malli päättää, milloin tietoja haetaan. Mielenkiintoisin osa on annotaatioiden lukeminen, jotka sisältävät tiedostoviitteet. Tämä mahdollistaa lähteiden näyttämisen käyttäjälle – toiminnon, joka piti toteuttaa manuaalisesti mukautetussa putkessa.
# Query with File Search
response = client.responses.create(
model="gpt-5.6-terra",
input="What are the new features in v3.2?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id]
}]
)
print(response.output_text)
# Access cited sources
for annotation in response.output:
if hasattr(annotation, "annotations"):
for ann in annotation.annotations:
if ann.type == "file_citation":
print(f" Source: file {ann.file_citation.file_id}")
Kaksi asetusta antaa sinun hienosäätää toimintaa poistumatta hallinnoidusta työkalusta. max_num_results määrittää haettujen palasten määrän, ja score_threshold suodattaa pois heikosti pisteytyneet tulokset aivan kuten sovelsit merkityksellisyyskynnystä uudelleenjärjestelyn jälkeen.
response = client.responses.create(
model="gpt-5.6-terra",
input="How do I configure SSO?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"max_num_results": 10, # Number of chunks to retrieve
"ranking_options": {
"ranker": "auto", # Automatic ranker
"score_threshold": 0.3 # Relevance threshold
}
}]
)
Mitä File Search antaa ja mitä se vie pois
Ratkaisevin argumentti File Searchin puolesta on infrastruktuurin täydellinen puuttuminen: ei vektoritietokantaa, jota pitäisi ottaa käyttöön, varmuuskopioida tai valvoa. Paloitteleminen tehdään puolestasi ja OpenAI optimoi sen, aineiston päivittäminen on yhtä helppoa kuin tiedoston lisääminen tai poistaminen, viitteet generoituvat automaattisesti, ja yleisimmät muodot tuetaan natiivisti – PDF, DOCX, MD, TXT, HTML, JSON ja muut. Tiimi, jolla ei ole infrastruktuuriosaamista, saa tietopankin linjaan iltapäivän aikana.
Tämän mukavuuden kääntöpuoli on kontrollin menetys ketjun jokaisessa linkissä. Et valitse palasten kokoa, joten oppitunnin 12 tarkkuus/konteksti-kompromissi on käsiesi ulottumattomissa. Haku on puhtaasti semanttista: ei hybridihakua, joten tuoteviitteet ja tarkat virhekoodit jäävät hauraiksi. Et myöskään voi liittää mukaan Coherea tai omaa ristiinkooderia (cross-encoder) uudelleenjärjestelyä varten. Lisää tähän vielä kolme strategista näkökohtaa: vektoritallennuksesta veloitetaan erikseen API-kutsujen lisäksi, datasi sijaitsee OpenAI:n palvelimilla, ja indeksointi kattaa vain tekstin.
Mukautettu putki kääntää tämän listan termeittäin päinvastoin. Hallitset paloittelemisen, upottamisen, haun, uudelleenjärjestelyn ja kehotteet; yhdistät semanttisen ja leksikaalisen haun; sekoitat mallintarjoajia tai pidät kaiken omalla palvelimellasi, jos datasi sitä vaatii; ja ennen kaikkea optimoit jokaista komponenttia itsenäisesti mittaamalla sen vaikutusta. Tämä kontrolli tulee kuitenkin koodin kirjoittamisen ja ylläpidon, hallittavan vektoritietokannan sekä asiantuntemuksen hintaan – paloitteleminen, arviointi ja uudelleenjärjestely eivät ole improvisoitavia taitoja, mikä on juuri tämän kurssin ydin.
Päätösmatriisi
| Kriteriumi | File Search | Mukautettu RAG |
|---|---|---|
| Nopea prototyyppaus | ✅ Ihanteellinen | ⚠️ Hitampi |
| Paloittelemisen kontrolli | ❌ | ✅ |
| Hybridihaku | ❌ | ✅ |
| Arkaluonteinen data | ⚠️ OpenAI:lla | ✅ Omalla palvelimella |
| Kustannukset skaalautuessa | ⚠️ Voi olla korkeat | ✅ Ennustettavat |
| Ylläpito | ✅ Nolla | ⚠️ Hallittava |
| Maksimisuorituskyky | ⚠️ Hyvä | ✅ Optimoitavissa |
Hybridiarkkitehtuuri: parhaat puolet molemmista
Valinnan ei tarvitse olla lopullinen, eikä sen pitäisi olla. Kustannustehokkain lähestymistapa on aloittaa File Searchilla varmistaaksesi, että käyttötapaustesi perusta on kestävällä pohjalla, ja siirtyä mukautettuun putkeen sinä päivänä, kun törmäät tunnistettuun rajoitukseen. Molempien kapseloiminen yhden respond-metodin taakse tekee tästä siirtymästä kivuttoman muulle sovelluksellesi.
class HybridRAG:
"""Start with File Search, switch to custom if needed."""
def __init__(self, mode: str = "file_search"):
self.client = OpenAI()
self.mode = mode
def respond_file_search(self, question: str, vs_id: str) -> str:
response = self.client.responses.create(
model="gpt-5.6-terra",
input=question,
tools=[{
"type": "file_search",
"vector_store_ids": [vs_id]
}]
)
return response.output_text
def respond_custom(self, question: str, pipeline) -> str:
result = pipeline.respond(question)
return result["response"]
def respond(self, question: str, **kwargs) -> str:
if self.mode == "file_search":
return self.respond_file_search(
question, kwargs["vs_id"]
)
else:
return self.respond_custom(
question, kwargs["pipeline"]
)
Kun migraatio tulee tarpeelliseksi, se etenee tarkassa järjestyksessä:
- Vie tiedostosi vektorivarastosta
- Toteuta paloitteleminen, joka on sovitettu sisältöösi
- Luo upotteet käyttäen
text-embedding-3-large-mallia - Indeksoi vektoritietokantaan (Qdrant, Pinecone jne.)
- Lisää uudelleenjärjestely ja hybridihaku
- Arvioi testidatasetilläsi
- Vertaa mittareita File Searchiin ennen vaihtoa
Viimeinen vaihe on se, joka useimmiten ohitetaan, ja se on ainoa, joka oikeuttaa kaiken muun: ilman kvantitatiivista vertailua saatat olla korvannut kelvollisen hallinnoidun järjestelmän heikommalla itse tehdyllä ratkaisulla, plus ylläpitokuormalla.
Keskeiset asiat
- File Search on ihanteellinen RAG-järjestelmän nopeaan prototyyppaukseen ilman infrastruktuuria
- Mukautettu RAG-putki tarjoaa täyden kontrollin ja optimoitavan suorituskyvyn
- Aloita File Searchilla, siirry mukautettuun ratkaisuun rajoitusten ilmetessä
- Päätöskriteerit: kontrolli, arkaluonteinen data, kustannukset, suorituskyky