Meklēšana failos: dokumentu indeksēšana un vaicājumi
Šajā lapā
Meklēšana failos: dokumentu indeksēšana un vaicājumi
Meklēšana failos ļauj modelim pārlūkot tavus privātos dokumentus. Tu augšupielādē failus vektoru krātuvē, un modelis automātiski veic tajos vaicājumus, kad tam nepieciešama konkrēta informācija. Tas ir RAG (Retrieval-Augmented Generation) pamats, kas ir tieši iebūvēts OpenAI API.
Vektoru krātuves izveide
Vektoru krātuve ir meklēšanas failos organizatoriskā vienība, un šeit izvēlētā struktūra tev kalpos ilgu laiku. Viena krātuve visai uzņēmuma darbībai ir viegli pārvaldāma, taču tajā sajaucas dokumenti ar nesaistītu vārdu krājumu, kas pasliktina atbilžu precizitāti. Atsevišķas krātuves pa komandām vai domēniem prasa nedaudz vairāk pārvaldības, taču padara katru meklēšanu ievērojami precīzāku. Ja šaubies, atdali tās: vēlāk apvienot ir vieglāk nekā atšķetināt haosu.
from openai import OpenAI
client = OpenAI()
# Create the vector store
vector_store = client.vector_stores.create(
name="product-documentation"
)
print(f"Vector store created: {vector_store.id}")
Failu augšupielāde un indeksēšana
Indeksēšana notiek asinhroni, un tas ir visbiežākais kļūdu avots pirmajā mēģinājumā: tu pievieno failus, uzreiz veic vaicājumu, un modelis atbild, ka neko nav atradis — nevis tāpēc, ka meklēšana būtu izgāzusies, bet gan tāpēc, ka nekas vēl nav indeksēts. Pirms vaicājuma veikšanas vienmēr pārbaudi statusu, kā parādīts sadaļā par dzīves ciklu.
Daži vārdi par formātiem: saraksts ir plašs, taču ne visi faili ir vienlīdzīgi. PDF fails, kas ģenerēts no teksta redaktora, tiek attīrīts tīri; skenēts PDF bez teksta slāņa nedod nekādu labumu, jo tajā burtiski nav neviena vārda, ko indeksēt.
import os
# Upload a single file
with open("user-guide.pdf", "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
# Attach to the vector store
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id
)
# Batch upload
folder = "./documentation/"
for filename in os.listdir(folder):
path = os.path.join(folder, filename)
if os.path.isfile(path):
with open(path, "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id
)
print(f"Indexed: {filename}")
Vaicājumi, izmantojot meklēšanu failos
Izsaukums ir apzināti vienkāršots: tu deklarē rīku, uzdod savu jautājumu, un modelis pats izlemj, vai veikt meklēšanu. Viss RAG darbs — sadalīšana fragmentos, vektorizācija, rangēšana un ievietošana kontekstā — notiek servera pusē. Tas ietaupa ievērojamu laiku starta brīdī, un nākamajā nodarbībā aplūkosim iestatījumus, kas tev jāzina, ja noklusējuma vērtības nav pietiekamas.
response = client.responses.create(
model="gpt-5.6-terra",
input="What is the refund procedure for premium clients?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id]
}]
)
print(response.output_text)
Modelis automātiski meklē tavos dokumentos un formulē atbildi, pamatojoties uz atrasto saturu.
Meklēšanas rezultātu pārbaude
Anotācijas ir tas, kas atšķir pārbaudāmu atbildi no vienkārša apgalvojuma. Darī tās pieejamas saviem lietotājiem: iekšējā zināšanu bāzē iespēja izsekot līdz oriģinālajam dokumentam pilnībā maina uzticēšanās līmeni sistēmai — un palīdz tev pamanīt gadījumus, kad modelis ir kļūdījies.
response = client.responses.create(
model="gpt-5.6-terra",
input="What SLAs are guaranteed in the contract?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id]
}]
)
# Iterate through annotations
for item in response.output:
if item.type == "message":
for block in item.content:
if hasattr(block, "annotations"):
for ann in block.annotations:
if ann.type == "file_citation":
print(f"File: {ann.file_id}")
print(f"Position: {ann.start_index}-{ann.end_index}")
Meklēšanas konfigurēšana
Rezultātu skaits
Pasažu skaita palielināšana mehāniski neuzlabo atbildi. Pārsniedzot aptuveni desmit, vāji atbilstoši izraksti atšķaida labos un patērē apmaksājamo kontekstu. Palielini šo vērtību tikai tad, ja atbilde ir acīmredzami nepilnīga, nevis principa pēc.
response = client.responses.create(
model="gpt-5.6-terra",
input="List all penalty clauses in the contract",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"max_num_results": 20 # Default: 5, max: 50
}]
)
Metadatu filtrēšana
Metadati ir visvairāk nepietiekami izmantots svira precizitātes nodrošināšanai. Filtrēšana pēc gada, nodaļas vai dokumenta veida pirms vektoru meklēšanas novērš troksni jau sākumā, ko citādi nāktos izfiltrēt rangēšanas procesā. Tas arī ļauj atbildēt „saskaņā ar pašreizējo procedūru”, nesajaucot trīs secīgas viena un tā paša dokumenta versijas.
# Upload with metadata
with open("contract-2026.pdf", "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id,
attributes={
"doc_type": "contract",
"year": 2026,
"client": "acme-corp"
}
)
# Filtered search
response = client.responses.create(
model="gpt-5.6-terra",
input="What is the due date?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"filters": {
"type": "eq",
"key": "doc_type",
"value": "contract"
}
}]
)
Salikti filtri
Apvieno vairākus kritērijus, izmantojot loģiskos operatorus:
response = client.responses.create(
model="gpt-5.6-terra",
input="Summarize contractual obligations for 2026",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"filters": {
"type": "and",
"filters": [
{"type": "eq", "key": "doc_type", "value": "contract"},
{"type": "gte", "key": "year", "value": 2026}
]
}
}]
)
Vektoru krātuves dzīves cikla pārvaldība
Indeksēšanas uzraudzība
# Check vector store status
vs = client.vector_stores.retrieve(vector_store.id)
print(f"Status: {vs.status}")
print(f"Files: {vs.file_counts.completed} indexed, "
f"{vs.file_counts.in_progress} in progress, "
f"{vs.file_counts.failed} failed")
Nevajadzīgu failu noņemšana
# List files in the vector store
files = client.vector_stores.files.list(vector_store.id)
for f in files.data:
print(f"{f.id} - {f.status}")
# Detach a file
client.vector_stores.files.delete(
vector_store_id=vector_store.id,
file_id="file_abc123"
)
Pilns piemērs: dokumentācijas asistents
def documentation_assistant(question: str, vs_id: str) -> dict:
"""Assistant that answers based on internal documentation."""
response = client.responses.create(
model="gpt-5.6-terra",
instructions=(
"You are a documentation assistant. Answer solely based on the "
"provided documents. If the information is not in the documents, "
"state that clearly. Cite your sources."
),
input=question,
tools=[{
"type": "file_search",
"vector_store_ids": [vs_id],
"max_num_results": 10
}]
)
return {
"answer": response.output_text,
"model": response.model,
"tokens": response.usage.total_tokens
}
Galvenās atziņas
- Izveido vektoru krātuvi un augšupielādē tajā savus failus, lai aktivizētu meklēšanu failos
- Modelis pats izlemj, kad veikt dokumentu meklēšanu
max_num_resultskontrolē meklēšanas dziļumu- Metadati un filtri ļauj veikt mērķtiecīgu meklēšanu
- Pirms vaicājuma veikšanas uzraugi indeksēšanas statusu