Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Meklēšana failos: dokumentu indeksēšana un vaicājumi

Nodarbība 7 no 20 Programmētājs
Šajā lapā
  1. Meklēšana failos: dokumentu indeksēšana un vaicājumi
  2. Vektoru krātuves izveide
  3. Failu augšupielāde un indeksēšana
  4. Vaicājumi, izmantojot meklēšanu failos
  5. Meklēšanas rezultātu pārbaude
  6. Meklēšanas konfigurēšana
  7. Vektoru krātuves dzīves cikla pārvaldība
  8. Pilns piemērs: dokumentācijas asistents
  9. Galvenās atziņas

Meklēšana failos: dokumentu indeksēšana un vaicājumi

Meklēšana failos ļauj modelim pārlūkot tavus privātos dokumentus. Tu augšupielādē failus vektoru krātuvē, un modelis automātiski veic tajos vaicājumus, kad tam nepieciešama konkrēta informācija. Tas ir RAG (Retrieval-Augmented Generation) pamats, kas ir tieši iebūvēts OpenAI API.

Vektoru krātuves izveide

Vektoru krātuve ir meklēšanas failos organizatoriskā vienība, un šeit izvēlētā struktūra tev kalpos ilgu laiku. Viena krātuve visai uzņēmuma darbībai ir viegli pārvaldāma, taču tajā sajaucas dokumenti ar nesaistītu vārdu krājumu, kas pasliktina atbilžu precizitāti. Atsevišķas krātuves pa komandām vai domēniem prasa nedaudz vairāk pārvaldības, taču padara katru meklēšanu ievērojami precīzāku. Ja šaubies, atdali tās: vēlāk apvienot ir vieglāk nekā atšķetināt haosu.

from openai import OpenAI

client = OpenAI()

# Create the vector store
vector_store = client.vector_stores.create(
    name="product-documentation"
)
print(f"Vector store created: {vector_store.id}")

Failu augšupielāde un indeksēšana

Indeksēšana notiek asinhroni, un tas ir visbiežākais kļūdu avots pirmajā mēģinājumā: tu pievieno failus, uzreiz veic vaicājumu, un modelis atbild, ka neko nav atradis — nevis tāpēc, ka meklēšana būtu izgāzusies, bet gan tāpēc, ka nekas vēl nav indeksēts. Pirms vaicājuma veikšanas vienmēr pārbaudi statusu, kā parādīts sadaļā par dzīves ciklu.

Daži vārdi par formātiem: saraksts ir plašs, taču ne visi faili ir vienlīdzīgi. PDF fails, kas ģenerēts no teksta redaktora, tiek attīrīts tīri; skenēts PDF bez teksta slāņa nedod nekādu labumu, jo tajā burtiski nav neviena vārda, ko indeksēt.

import os

# Upload a single file
with open("user-guide.pdf", "rb") as f:
    file_obj = client.files.create(file=f, purpose="assistants")

# Attach to the vector store
client.vector_stores.files.create(
    vector_store_id=vector_store.id,
    file_id=file_obj.id
)

# Batch upload
folder = "./documentation/"
for filename in os.listdir(folder):
    path = os.path.join(folder, filename)
    if os.path.isfile(path):
        with open(path, "rb") as f:
            file_obj = client.files.create(file=f, purpose="assistants")
        client.vector_stores.files.create(
            vector_store_id=vector_store.id,
            file_id=file_obj.id
        )
        print(f"Indexed: {filename}")

Vaicājumi, izmantojot meklēšanu failos

Izsaukums ir apzināti vienkāršots: tu deklarē rīku, uzdod savu jautājumu, un modelis pats izlemj, vai veikt meklēšanu. Viss RAG darbs — sadalīšana fragmentos, vektorizācija, rangēšana un ievietošana kontekstā — notiek servera pusē. Tas ietaupa ievērojamu laiku starta brīdī, un nākamajā nodarbībā aplūkosim iestatījumus, kas tev jāzina, ja noklusējuma vērtības nav pietiekamas.

response = client.responses.create(
    model="gpt-5.6-terra",
    input="What is the refund procedure for premium clients?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id]
    }]
)

print(response.output_text)

Modelis automātiski meklē tavos dokumentos un formulē atbildi, pamatojoties uz atrasto saturu.

Meklēšanas rezultātu pārbaude

Anotācijas ir tas, kas atšķir pārbaudāmu atbildi no vienkārša apgalvojuma. Darī tās pieejamas saviem lietotājiem: iekšējā zināšanu bāzē iespēja izsekot līdz oriģinālajam dokumentam pilnībā maina uzticēšanās līmeni sistēmai — un palīdz tev pamanīt gadījumus, kad modelis ir kļūdījies.

response = client.responses.create(
    model="gpt-5.6-terra",
    input="What SLAs are guaranteed in the contract?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id]
    }]
)

# Iterate through annotations
for item in response.output:
    if item.type == "message":
        for block in item.content:
            if hasattr(block, "annotations"):
                for ann in block.annotations:
                    if ann.type == "file_citation":
                        print(f"File: {ann.file_id}")
                        print(f"Position: {ann.start_index}-{ann.end_index}")

Meklēšanas konfigurēšana

Rezultātu skaits

Pasažu skaita palielināšana mehāniski neuzlabo atbildi. Pārsniedzot aptuveni desmit, vāji atbilstoši izraksti atšķaida labos un patērē apmaksājamo kontekstu. Palielini šo vērtību tikai tad, ja atbilde ir acīmredzami nepilnīga, nevis principa pēc.

response = client.responses.create(
    model="gpt-5.6-terra",
    input="List all penalty clauses in the contract",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "max_num_results": 20  # Default: 5, max: 50
    }]
)

Metadatu filtrēšana

Metadati ir visvairāk nepietiekami izmantots svira precizitātes nodrošināšanai. Filtrēšana pēc gada, nodaļas vai dokumenta veida pirms vektoru meklēšanas novērš troksni jau sākumā, ko citādi nāktos izfiltrēt rangēšanas procesā. Tas arī ļauj atbildēt „saskaņā ar pašreizējo procedūru”, nesajaucot trīs secīgas viena un tā paša dokumenta versijas.

# Upload with metadata
with open("contract-2026.pdf", "rb") as f:
    file_obj = client.files.create(file=f, purpose="assistants")

client.vector_stores.files.create(
    vector_store_id=vector_store.id,
    file_id=file_obj.id,
    attributes={
        "doc_type": "contract",
        "year": 2026,
        "client": "acme-corp"
    }
)

# Filtered search
response = client.responses.create(
    model="gpt-5.6-terra",
    input="What is the due date?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "filters": {
            "type": "eq",
            "key": "doc_type",
            "value": "contract"
        }
    }]
)

Salikti filtri

Apvieno vairākus kritērijus, izmantojot loģiskos operatorus:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Summarize contractual obligations for 2026",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "filters": {
            "type": "and",
            "filters": [
                {"type": "eq", "key": "doc_type", "value": "contract"},
                {"type": "gte", "key": "year", "value": 2026}
            ]
        }
    }]
)

Vektoru krātuves dzīves cikla pārvaldība

Indeksēšanas uzraudzība

# Check vector store status
vs = client.vector_stores.retrieve(vector_store.id)
print(f"Status: {vs.status}")
print(f"Files: {vs.file_counts.completed} indexed, "
      f"{vs.file_counts.in_progress} in progress, "
      f"{vs.file_counts.failed} failed")

Nevajadzīgu failu noņemšana

# List files in the vector store
files = client.vector_stores.files.list(vector_store.id)
for f in files.data:
    print(f"{f.id} - {f.status}")

# Detach a file
client.vector_stores.files.delete(
    vector_store_id=vector_store.id,
    file_id="file_abc123"
)

Pilns piemērs: dokumentācijas asistents

def documentation_assistant(question: str, vs_id: str) -> dict:
    """Assistant that answers based on internal documentation."""
    response = client.responses.create(
        model="gpt-5.6-terra",
        instructions=(
            "You are a documentation assistant. Answer solely based on the "
            "provided documents. If the information is not in the documents, "
            "state that clearly. Cite your sources."
        ),
        input=question,
        tools=[{
            "type": "file_search",
            "vector_store_ids": [vs_id],
            "max_num_results": 10
        }]
    )

    return {
        "answer": response.output_text,
        "model": response.model,
        "tokens": response.usage.total_tokens
    }

Galvenās atziņas

  • Izveido vektoru krātuvi un augšupielādē tajā savus failus, lai aktivizētu meklēšanu failos
  • Modelis pats izlemj, kad veikt dokumentu meklēšanu
  • max_num_results kontrolē meklēšanas dziļumu
  • Metadati un filtri ļauj veikt mērķtiecīgu meklēšanu
  • Pirms vaicājuma veikšanas uzraugi indeksēšanas statusu