Failų paieška arba individualus RAG: kada naudoti kurį
Šiame puslapyje
Tikslai
- Suprasti „OpenAI“ valdomą RAG („File Search“)
- Palyginti „File Search“ su individualia RAG grandine
- Pasirinkti tinkamiausią metodą savo atvejui
„File Search“: „OpenAI“ valdomas RAG
Tu ką tik sukūrei kiekvieną RAG grandinės sluoksnį, pamoka po pamokos. „File Search“ tai atlieka už tave. Tai įrankis, integruotas į „OpenAI Responses API“, kuris automatiškai tvarko skaidymą, įterpinių kūrimą, vektorių saugojimą ir paiešką: tu tiesiog įkeliate failus ir užduodate klausimus. Ši pamoka nėra ankstesnių žinių neigimas, o sąžiningas klausimas, kurį privalai sau užduoti prieš rašydamas bet kokį kodą: koks abstrakcijos lygis tinkamiausias tavo projektui?
Viskas prasideda nuo vektorių saugyklos – konteinerio, kuriame laikomi tavo indeksuoti dokumentai. Tu ją sukuri, failus įkeliate po vieną ir lauki, kol baigsis indeksavimas, prieš pradėdamas užklausas. Šis laukimas nėra formalumas: indeksavimas vyksta asinchroniškai, todėl per anksti paleista užklausa matys tik dalį duomenų bazės.
from openai import OpenAI
client = OpenAI()
# 1. Create a vector store
vector_store = client.vector_stores.create(
name="product-documentation"
)
print(f"Vector store created: {vector_store.id}")
# 2. Upload files
files = ["user_guide.pdf", "faq.md", "changelog.txt"]
for file in files:
with open(file, "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id
)
print(f" Uploaded: {file}")
# Wait for indexing to complete
import time
while True:
vs = client.vector_stores.retrieve(vector_store.id)
if vs.file_counts.completed == vs.file_counts.total:
break
time.sleep(2)
print("Indexing complete")
Užklausos vykdymui pakanka vieno kvietimo: nurodai file_search įrankį su saugyklos ID, o modelis pats nusprendžia, kada gauti informaciją. Svarbiausia dalis – anotacijų skaitymas, kuriose pateikiamos nuorodos į failus. Tai leidžia rodyti šaltinius naudotojui – elgseną, kurią individualioje grandinėje tekdavo įgyvendinti rankiniu būdu.
# Query with File Search
response = client.responses.create(
model="gpt-5.6-terra",
input="What are the new features in v3.2?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id]
}]
)
print(response.output_text)
# Access cited sources
for annotation in response.output:
if hasattr(annotation, "annotations"):
for ann in annotation.annotations:
if ann.type == "file_citation":
print(f" Source: file {ann.file_citation.file_id}")
Du nustatymai leidžia derinti elgseną neišeinant iš valdomo įrankio ribų. max_num_results nustato gaunamų fragmentų skaičių, o score_threshold atfiltruoja mažo reikšmingumo rezultatus – lygiai taip pat, kaip taikydavai reikšmingumo slenkstį po perrikiavimo.
response = client.responses.create(
model="gpt-5.6-terra",
input="How do I configure SSO?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"max_num_results": 10, # Number of chunks to retrieve
"ranking_options": {
"ranker": "auto", # Automatic ranker
"score_threshold": 0.3 # Relevance threshold
}
}]
)
Ką „File Search“ suteikia ir ko atima
Pagrindinis „File Search“ privalumas – visiška infrastruktūros nebūtinybė: nereikia diegti, rezervuoti ar stebėti vektorių duomenų bazės. Skaidymą atlieka ir optimizuoja „OpenAI“, duomenų bazės atnaujinimas toks pat paprastas kaip failo pridėjimas arba pašalinimas, citatos generuojamos automatiškai, o standartiniai formatai palaikomi natūraliai – PDF, DOCX, MD, TXT, HTML, JSON ir kiti. Komanda, neturinti infrastruktūros patirties, gali paleisti žinių bazę per vieną popietę.
Atvirkštinė šio patogumo pusė – visiškas kontrolės praradimas над kiekviena grandinės nuoroda. Tu negali pasirinkti fragmento dydžio, todėl 12 pamokoje nagrinėtas tikslumo ir konteksto balansas lieka ne tavo rankose. Paieška yra gryna semantinė: nėra hibridinės paieškos, todėl produkto nuorodos ir tikslūs klaidų kodai lieka pažeidžiami. Be to, negali prijungti „Cohere“ ar savo sukurto kryžminio enkoderio perrikiavimui. Pridėkime dar tris strateginius aspektus: už vektorių saugojimą mokama papildomai prie API kvietimų, tavo duomenys saugomi „OpenAI“ serveriuose, o indeksuojamas tik tekstas.
Individuali grandinė šį sąrašą apverčia aukštyn kojomis. Tu valdai skaidymą, įterpinių kūrimą, paiešką, perrikiavimą ir raginimų formavimą; derini semantinę ir leksinę paiešką; maišai modelių tiekėjus arba viską laikai savo serveriuose, jei to reikalauja duomenys; ir svarbiausia – kiekvieną komponentą optimizuoji atskirai, matuodamas jo poveikį. Už šią kontrolę tenka mokėti rašomu ir prižiūrimu kodu, administruojama vektorių duomenų baze ir reikalinga ekspertize – skaidymas, vertinimas ir perrikiavimas nėra improvizuojami dalykai, būtent tai ir nagrinėjama šiame kurse.
Sprendimų matrica
| Kriterijus | File Search | Individualus RAG |
|---|---|---|
| Greitas prototipavimas | ✅ Idealu | ⚠️ Lėčiau |
| Skaidymo kontrolė | ❌ | ✅ |
| Hibridinė paieška | ❌ | ✅ |
| Konfidencialūs duomenys | ⚠️ „OpenAI“ serveriuose | ✅ Savo serveriuose |
| Kaina dideliu mastu | ⚠️ Gali būti didelė | ✅ Nuspėjama |
| Priežiūra | ✅ Nulinė | ⚠️ Reikia valdyti |
| Maksimalus našumas | ⚠️ Geras | ✅ Optimizuojamas |
Hibridinė architektūra: geriausia iš abiejų pasaulių
Pasirinkimas neturi būti galutinis ir neturėtų būti. Ekonomiškiausias būdas – pradėti nuo „File Search“, kad patikrintum, ar tavo naudojimo atvejis gyvybingas, o pereiti prie individualios grandinės tik tada, kai pasieksi nustatytą ribą. Abu metodus apgaubus vienu respond metodu, šis perėjimas likusiai programos daliai tampa neskausmingas.
class HybridRAG:
"""Start with File Search, switch to custom if needed."""
def __init__(self, mode: str = "file_search"):
self.client = OpenAI()
self.mode = mode
def respond_file_search(self, question: str, vs_id: str) -> str:
response = self.client.responses.create(
model="gpt-5.6-terra",
input=question,
tools=[{
"type": "file_search",
"vector_store_ids": [vs_id]
}]
)
return response.output_text
def respond_custom(self, question: str, pipeline) -> str:
result = pipeline.respond(question)
return result["response"]
def respond(self, question: str, **kwargs) -> str:
if self.mode == "file_search":
return self.respond_file_search(
question, kwargs["vs_id"]
)
else:
return self.respond_custom(
question, kwargs["pipeline"]
)
Kai migracija tampa būtina, ji vyksta griežta tvarka:
- Eksportuok failus iš vektorių saugyklos
- Įgyvendink skaidymą, pritaikytą tavo turiniui
- Sukurk įterpinius naudodamas
text-embedding-3-large - Indeksuok vektorių duomenų bazėje (Qdrant, Pinecone ir kt.)
- Pridėk perrikiavimą ir hibridinę paiešką
- Įvertink naudodamas savo testų duomenų rinkinį
- Palygink rodiklius su „File Search“ prieš pereinant
Paskutinis žingsnis yra tas, kurį dažniausiai praleidžia, tačiau būtent jis pateisina visus kitus: be kiekybinio palyginimo gali pakeisti neblogą valdomą sistemą prastesniu savos gamybos sprendimu, pridėdamas dar ir priežiūros naštą.
Svarbiausi punktai
- „File Search“ idealiai tinka greitai sukurti RAG sistemą be infrastruktūros
- Individuali RAG grandinė suteikia visišką kontrolę ir optimizuojamą našumą
- Pradėk nuo „File Search“, pereik prie individualaus sprendimo pasiekus ribas
- Sprendimo kriterijai: kontrolė, konfidencialūs duomenys, kaina, našumas