Iskanje po datotekah: indeksiranje in poizvedbe po dokumentih
Na tej strani
Iskanje po datotekah: indeksiranje in poizvedbe po dokumentih
Iskanje po datotekah (File Search) modelu omogoča brskanje po tvojih zasebnih dokumentih. Datoteke naložiš v vektorsko shrambo, model pa jih samodejno poišče vsakič, ko potrebuje specifične informacije. To je temelj arhitekture RAG, vgrajen neposredno v API OpenAI.
Ustvari vektorsko shrambo
Vektorska shramba je organizacijska enota za iskanje po datotekah; struktura, ki jo izbereš tukaj, te bo spremljala dolgo časa. Enota shramba za celotno podjetje je sicer enostavna za upravljanje, vendar meša dokumente z nepovezanimi besednjaki, kar zmanjšuje ustreznost rezultatov. Ločene shrambe po ekipah ali domenah zahtevajo nekoliko več upravljanja, a vsako iskanje naredijo bistveno natančnejše. Če si v dvomih, jih loči: kasnejše združevanje je lažje kot razpletanje nereda.
from openai import OpenAI
client = OpenAI()
# Create the vector store
vector_store = client.vector_stores.create(
name="product-documentation"
)
print(f"Vector store created: {vector_store.id}")
Naloži in indeksiraj datoteke
Indeksiranje je asinhrono in to je najpogostejši vir napak pri prvem poskusu: datoteke dodaš, takoj izvedeš poizvedbo in model odgovori, da ni našel ničesar – ne zato, ker bi iskanje odpovedalo, temveč zato, ker še ničesar ni bilo indeksirano. Pred poizvedbo vedno preveri stanje, kot je prikazano v razdelku o življenjskem ciklu.
Glede formatov: seznam je širok, vendar vse datoteke niso enake. PDF, ustvarjen v urejevalniku besedila, se čisto izlušči; optično prebran PDF brez besedilne plasti ne doda ničesar, saj dobesedno ni besed za indeksiranje.
import os
# Upload a single file
with open("user-guide.pdf", "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
# Attach to the vector store
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id
)
# Batch upload
folder = "./documentation/"
for filename in os.listdir(folder):
path = os.path.join(folder, filename)
if os.path.isfile(path):
with open(path, "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id
)
print(f"Indexed: {filename}")
Poizvedba z iskanjem po datotekah
Klic je namerno preprost: deklariraš orodje, zastaviš vprašanje in model se odloči, ali bo iskal. Vse delo RAG – razčlenjevanje na dele, vektorizacija, razvrščanje in vnos v kontekst – poteka na strežniku. To pri zagonu prihrani veliko časa; naslednja lekcija pokriva nastavitve, ki jih moraš poznati, ko privzete vrednosti ne zadoščajo.
response = client.responses.create(
model="gpt-5.6-terra",
input="What is the refund procedure for premium clients?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id]
}]
)
print(response.output_text)
Model samodejno preišče tvoje dokumente in oblikuje odgovor na podlagi najdene vsebine.
Preuči rezultate iskanja
Anotacije so tisto, kar loči preverljiv odgovor od gole trditve. Razkrij jih svojim uporabnikom: pri interni bazi znanja možnost sledenja nazaj do izvirnega dokumenta popolnoma spremeni raven zaupanja v sistem – in ti pomaga prepoznati primere, ko je model zgrešil cilj.
response = client.responses.create(
model="gpt-5.6-terra",
input="What SLAs are guaranteed in the contract?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id]
}]
)
# Iterate through annotations
for item in response.output:
if item.type == "message":
for block in item.content:
if hasattr(block, "annotations"):
for ann in block.annotations:
if ann.type == "file_citation":
print(f"File: {ann.file_id}")
print(f"Position: {ann.start_index}-{ann.end_index}")
Konfiguriraj iskanje
Število rezultatov
Povečanje števila odlomkov mehansko ne izboljša odgovora. Približno nad desetimi šibko relevantni izvlečki razredčijo dobre in porabijo zaračunani kontekst. To vrednost dvigni le, ko je odgovor vidno nepopoln, ne kot načelno pravilo.
response = client.responses.create(
model="gpt-5.6-terra",
input="List all penalty clauses in the contract",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"max_num_results": 20 # Default: 5, max: 50
}]
)
Filtriranje z metapodatki
Metapodatki so najbolj podcenjena vzvod za natančnost. Filtriranje po letu, oddelku ali vrsti dokumenta pred vektorskim iskanjem vnaprej odstrani šum, ki bi ga sicer moral filtrirati algoritem za razvrščanje. To ti omogoča tudi odgovore v slogu „glede na trenutni postopek”, namesto da mešaš tri zaporedne različice istega dokumenta.
# Upload with metadata
with open("contract-2026.pdf", "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id,
attributes={
"doc_type": "contract",
"year": 2026,
"client": "acme-corp"
}
)
# Filtered search
response = client.responses.create(
model="gpt-5.6-terra",
input="What is the due date?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"filters": {
"type": "eq",
"key": "doc_type",
"value": "contract"
}
}]
)
Sestavljeni filtri
Več meril združi z logičnimi operatorji:
response = client.responses.create(
model="gpt-5.6-terra",
input="Summarize contractual obligations for 2026",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"filters": {
"type": "and",
"filters": [
{"type": "eq", "key": "doc_type", "value": "contract"},
{"type": "gte", "key": "year", "value": 2026}
]
}
}]
)
Upravljaj življenjski cikel vektorske shrambe
Spremljaj indeksiranje
# Check vector store status
vs = client.vector_stores.retrieve(vector_store.id)
print(f"Status: {vs.status}")
print(f"Files: {vs.file_counts.completed} indexed, "
f"{vs.file_counts.in_progress} in progress, "
f"{vs.file_counts.failed} failed")
Odstrani zastarele datoteke
# List files in the vector store
files = client.vector_stores.files.list(vector_store.id)
for f in files.data:
print(f"{f.id} - {f.status}")
# Detach a file
client.vector_stores.files.delete(
vector_store_id=vector_store.id,
file_id="file_abc123"
)
Celoten primer: asistent za dokumentacijo
def documentation_assistant(question: str, vs_id: str) -> dict:
"""Assistant that answers based on internal documentation."""
response = client.responses.create(
model="gpt-5.6-terra",
instructions=(
"You are a documentation assistant. Answer solely based on the "
"provided documents. If the information is not in the documents, "
"state that clearly. Cite your sources."
),
input=question,
tools=[{
"type": "file_search",
"vector_store_ids": [vs_id],
"max_num_results": 10
}]
)
return {
"answer": response.output_text,
"model": response.model,
"tokens": response.usage.total_tokens
}
Ključne ugotovitve
- Ustvari vektorsko shrambo in naloži datoteke, da omogočiš iskanje po datotekah.
- Model se sam odloči, kdaj iskati po dokumentih.
max_num_resultsnadzira globino iskanja.- Metapodatki in filtri omogočajo ciljno usmerjeno iskanje.
- Pred poizvedbo spremljaj stanje indeksiranja.