Paieška failuose: dokumentų indeksavimas ir užklausos
Šiame puslapyje
Paieška failuose: dokumentų indeksavimas ir užklausos
„File Search“ leidžia modeliui naršyti tavo privačius dokumentus. Įkeliate failus į vektorių saugyklą, o modelis automatiškai juos užklausia, kai jam reikia konkrečios informacijos. Tai yra RAG (Retrieval-Augmented Generation) pagrindas, integruotas tiesiai į „OpenAI“ API.
Vektorių saugyklos kūrimas
Vektorių saugykla yra pagrindinis „File Search“ organizacinis vienetas, ir čia pasirinkta struktūra ilgam liks su tavimi. Viena saugykla visai įmonei yra lengvai administruojama, tačiau joje sumaišomi nesusiję dokumentai su skirtinga terminija, o tai mažina rezultatų tikslumą. Atskiros saugyklos pagal komandas ar sritis reikalauja šiek tiek daugiau valdymo, tačiau kiekvieną paiešką padaro žymiai tikslesnę. Jei abejoji – atskirk jas: vėliau sujungti lengviau nei išpainioti netvarką.
from openai import OpenAI
client = OpenAI()
# Create the vector store
vector_store = client.vector_stores.create(
name="product-documentation"
)
print(f"Vector store created: {vector_store.id}")
Failų įkėlimas ir indeksavimas
Indeksavimas vyksta asinchroniškai, ir tai yra dažniausia klaidų priežastis pirmojo bandymo metu: įkeliate failus, iškart pateikiate užklausą, o modelis atsako, kad nieko nerado – ne todėl, kad paieška nepavyko, o todėl, kad niekas dar nebuvo indeksuota. Prieš siųsdami užklausas visada patikrinkite būseną, kaip parodyta gyvavimo ciklo skyriuje.
Keli žodžiai apie formatus: sąrašas platus, bet ne visi failai yra vienodi. Iš žodžių procesoriaus sugeneruotas PDF failas išskiriamas švariai; nuskaitytas PDF be teksto sluoksnio nieko neprideda, nes jame tiesiog nėra žodžių, kuriuos būtų galima indeksuoti.
import os
# Upload a single file
with open("user-guide.pdf", "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
# Attach to the vector store
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id
)
# Batch upload
folder = "./documentation/"
for filename in os.listdir(folder):
path = os.path.join(folder, filename)
if os.path.isfile(path):
with open(path, "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id
)
print(f"Indexed: {filename}")
Užklausos naudojant „File Search“
Iškvietimas sąmoningai padarytas paprastas: nurodote įrankį, užduodate klausimą, o modelis pats nusprendžia, ar reikia atlikti paiešką. Visas RAG darbas – skaidymas į dalis, vektorizavimas, reitingavimas ir įterpimas į kontekstą – atliekamas serveryje. Tai sutaupo daug laiko paleidimo metu, o kitoje pamokoje aptarsime nustatymus, kuriuos reikia žinoti, kai numatytųjų parametrų nepakanka.
response = client.responses.create(
model="gpt-5.6-terra",
input="What is the refund procedure for premium clients?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id]
}]
)
print(response.output_text)
Modelis automatiškai ieško tavo dokumentuose ir suformuluoja atsakymą remdamasis rastu turiniu.
Paieškos rezultatų nagrinėjimas
Anotacijos yra tai, kas patikimą atsakymą atskiria nuo paprasto teiginio. Rodyk jas savo vartotojams: vidinėje žinių bazėje galimybė atsekti informaciją iki originalaus dokumento visiškai pakeičia pasitikėjimo sistema lygį – ir padeda pastebėti atvejus, kai modelis suklydo.
response = client.responses.create(
model="gpt-5.6-terra",
input="What SLAs are guaranteed in the contract?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id]
}]
)
# Iterate through annotations
for item in response.output:
if item.type == "message":
for block in item.content:
if hasattr(block, "annotations"):
for ann in block.annotations:
if ann.type == "file_citation":
print(f"File: {ann.file_id}")
print(f"Position: {ann.start_index}-{ann.end_index}")
Paieškos konfigūravimas
Rezultatų skaičius
Didesnis ištraukų skaičius mechaniškai nepagerina atsakymo. Viršijus maždaug dešimt, silpnai susijusios ištraukos „praskiedžia“ geras ir eikvoja apmokestinamą kontekstą. Didinkite šią reikšmę tik tada, kai atsakymas akivaizdžiai neišsamus, o ne dėl principo.
response = client.responses.create(
model="gpt-5.6-terra",
input="List all penalty clauses in the contract",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"max_num_results": 20 # Default: 5, max: 50
}]
)
Metaduomenų filtravimas
Metaduomenys yra dažniausiai nepakankamai išnaudojamas tikslumo svertas. Filtravimas pagal metus, skyrių ar dokumento tipą prieš atliekant vektorių paiešką iš anksto pašalina triukšmą, kurį kitaip turėtų atrinkti reitingavimo algoritmas. Tai taip pat leidžia atsakyti „pagal dabartinę procedūrą“, o nemaišyti trijų iš eilės einančių to paties dokumento versijų.
# Upload with metadata
with open("contract-2026.pdf", "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id,
attributes={
"doc_type": "contract",
"year": 2026,
"client": "acme-corp"
}
)
# Filtered search
response = client.responses.create(
model="gpt-5.6-terra",
input="What is the due date?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"filters": {
"type": "eq",
"key": "doc_type",
"value": "contract"
}
}]
)
Sudėtiniai filtrai
Kelis kriterijus galima derinti naudojant loginius operatorius:
response = client.responses.create(
model="gpt-5.6-terra",
input="Summarize contractual obligations for 2026",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"filters": {
"type": "and",
"filters": [
{"type": "eq", "key": "doc_type", "value": "contract"},
{"type": "gte", "key": "year", "value": 2026}
]
}
}]
)
Vektorių saugyklos gyvavimo ciklo valdymas
Indeksavimo stebėjimas
# Check vector store status
vs = client.vector_stores.retrieve(vector_store.id)
print(f"Status: {vs.status}")
print(f"Files: {vs.file_counts.completed} indexed, "
f"{vs.file_counts.in_progress} in progress, "
f"{vs.file_counts.failed} failed")
Pasenusių failų šalinimas
# List files in the vector store
files = client.vector_stores.files.list(vector_store.id)
for f in files.data:
print(f"{f.id} - {f.status}")
# Detach a file
client.vector_stores.files.delete(
vector_store_id=vector_store.id,
file_id="file_abc123"
)
Pilnas pavyzdys: dokumentacijos asistentas
def documentation_assistant(question: str, vs_id: str) -> dict:
"""Assistant that answers based on internal documentation."""
response = client.responses.create(
model="gpt-5.6-terra",
instructions=(
"You are a documentation assistant. Answer solely based on the "
"provided documents. If the information is not in the documents, "
"state that clearly. Cite your sources."
),
input=question,
tools=[{
"type": "file_search",
"vector_store_ids": [vs_id],
"max_num_results": 10
}]
)
return {
"answer": response.output_text,
"model": response.model,
"tokens": response.usage.total_tokens
}
Svarbiausi punktai
- Sukurk vektorių saugyklą ir įkelk failus, kad įgalintum „File Search“
- Modelis pats nusprendžia, kada ieškoti dokumentuose
max_num_resultsvaldo paieškos gylį- Metaduomenys ir filtrai leidžia vykdyti tikslinę paiešką
- Prieš siųsdami užklausas stebėkite indeksavimo būseną