Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Paieška failuose: dokumentų indeksavimas ir užklausos

Paskaita 7 iš 20 Kūrėjas
Šiame puslapyje
  1. Paieška failuose: dokumentų indeksavimas ir užklausos
  2. Vektorių saugyklos kūrimas
  3. Failų įkėlimas ir indeksavimas
  4. Užklausos naudojant „File Search“
  5. Paieškos rezultatų nagrinėjimas
  6. Paieškos konfigūravimas
  7. Vektorių saugyklos gyvavimo ciklo valdymas
  8. Pilnas pavyzdys: dokumentacijos asistentas
  9. Svarbiausi punktai

Paieška failuose: dokumentų indeksavimas ir užklausos

„File Search“ leidžia modeliui naršyti tavo privačius dokumentus. Įkeliate failus į vektorių saugyklą, o modelis automatiškai juos užklausia, kai jam reikia konkrečios informacijos. Tai yra RAG (Retrieval-Augmented Generation) pagrindas, integruotas tiesiai į „OpenAI“ API.

Vektorių saugyklos kūrimas

Vektorių saugykla yra pagrindinis „File Search“ organizacinis vienetas, ir čia pasirinkta struktūra ilgam liks su tavimi. Viena saugykla visai įmonei yra lengvai administruojama, tačiau joje sumaišomi nesusiję dokumentai su skirtinga terminija, o tai mažina rezultatų tikslumą. Atskiros saugyklos pagal komandas ar sritis reikalauja šiek tiek daugiau valdymo, tačiau kiekvieną paiešką padaro žymiai tikslesnę. Jei abejoji – atskirk jas: vėliau sujungti lengviau nei išpainioti netvarką.

from openai import OpenAI

client = OpenAI()

# Create the vector store
vector_store = client.vector_stores.create(
    name="product-documentation"
)
print(f"Vector store created: {vector_store.id}")

Failų įkėlimas ir indeksavimas

Indeksavimas vyksta asinchroniškai, ir tai yra dažniausia klaidų priežastis pirmojo bandymo metu: įkeliate failus, iškart pateikiate užklausą, o modelis atsako, kad nieko nerado – ne todėl, kad paieška nepavyko, o todėl, kad niekas dar nebuvo indeksuota. Prieš siųsdami užklausas visada patikrinkite būseną, kaip parodyta gyvavimo ciklo skyriuje.

Keli žodžiai apie formatus: sąrašas platus, bet ne visi failai yra vienodi. Iš žodžių procesoriaus sugeneruotas PDF failas išskiriamas švariai; nuskaitytas PDF be teksto sluoksnio nieko neprideda, nes jame tiesiog nėra žodžių, kuriuos būtų galima indeksuoti.

import os

# Upload a single file
with open("user-guide.pdf", "rb") as f:
    file_obj = client.files.create(file=f, purpose="assistants")

# Attach to the vector store
client.vector_stores.files.create(
    vector_store_id=vector_store.id,
    file_id=file_obj.id
)

# Batch upload
folder = "./documentation/"
for filename in os.listdir(folder):
    path = os.path.join(folder, filename)
    if os.path.isfile(path):
        with open(path, "rb") as f:
            file_obj = client.files.create(file=f, purpose="assistants")
        client.vector_stores.files.create(
            vector_store_id=vector_store.id,
            file_id=file_obj.id
        )
        print(f"Indexed: {filename}")

Iškvietimas sąmoningai padarytas paprastas: nurodote įrankį, užduodate klausimą, o modelis pats nusprendžia, ar reikia atlikti paiešką. Visas RAG darbas – skaidymas į dalis, vektorizavimas, reitingavimas ir įterpimas į kontekstą – atliekamas serveryje. Tai sutaupo daug laiko paleidimo metu, o kitoje pamokoje aptarsime nustatymus, kuriuos reikia žinoti, kai numatytųjų parametrų nepakanka.

response = client.responses.create(
    model="gpt-5.6-terra",
    input="What is the refund procedure for premium clients?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id]
    }]
)

print(response.output_text)

Modelis automatiškai ieško tavo dokumentuose ir suformuluoja atsakymą remdamasis rastu turiniu.

Paieškos rezultatų nagrinėjimas

Anotacijos yra tai, kas patikimą atsakymą atskiria nuo paprasto teiginio. Rodyk jas savo vartotojams: vidinėje žinių bazėje galimybė atsekti informaciją iki originalaus dokumento visiškai pakeičia pasitikėjimo sistema lygį – ir padeda pastebėti atvejus, kai modelis suklydo.

response = client.responses.create(
    model="gpt-5.6-terra",
    input="What SLAs are guaranteed in the contract?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id]
    }]
)

# Iterate through annotations
for item in response.output:
    if item.type == "message":
        for block in item.content:
            if hasattr(block, "annotations"):
                for ann in block.annotations:
                    if ann.type == "file_citation":
                        print(f"File: {ann.file_id}")
                        print(f"Position: {ann.start_index}-{ann.end_index}")

Paieškos konfigūravimas

Rezultatų skaičius

Didesnis ištraukų skaičius mechaniškai nepagerina atsakymo. Viršijus maždaug dešimt, silpnai susijusios ištraukos „praskiedžia“ geras ir eikvoja apmokestinamą kontekstą. Didinkite šią reikšmę tik tada, kai atsakymas akivaizdžiai neišsamus, o ne dėl principo.

response = client.responses.create(
    model="gpt-5.6-terra",
    input="List all penalty clauses in the contract",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "max_num_results": 20  # Default: 5, max: 50
    }]
)

Metaduomenų filtravimas

Metaduomenys yra dažniausiai nepakankamai išnaudojamas tikslumo svertas. Filtravimas pagal metus, skyrių ar dokumento tipą prieš atliekant vektorių paiešką iš anksto pašalina triukšmą, kurį kitaip turėtų atrinkti reitingavimo algoritmas. Tai taip pat leidžia atsakyti „pagal dabartinę procedūrą“, o nemaišyti trijų iš eilės einančių to paties dokumento versijų.

# Upload with metadata
with open("contract-2026.pdf", "rb") as f:
    file_obj = client.files.create(file=f, purpose="assistants")

client.vector_stores.files.create(
    vector_store_id=vector_store.id,
    file_id=file_obj.id,
    attributes={
        "doc_type": "contract",
        "year": 2026,
        "client": "acme-corp"
    }
)

# Filtered search
response = client.responses.create(
    model="gpt-5.6-terra",
    input="What is the due date?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "filters": {
            "type": "eq",
            "key": "doc_type",
            "value": "contract"
        }
    }]
)

Sudėtiniai filtrai

Kelis kriterijus galima derinti naudojant loginius operatorius:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Summarize contractual obligations for 2026",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "filters": {
            "type": "and",
            "filters": [
                {"type": "eq", "key": "doc_type", "value": "contract"},
                {"type": "gte", "key": "year", "value": 2026}
            ]
        }
    }]
)

Vektorių saugyklos gyvavimo ciklo valdymas

Indeksavimo stebėjimas

# Check vector store status
vs = client.vector_stores.retrieve(vector_store.id)
print(f"Status: {vs.status}")
print(f"Files: {vs.file_counts.completed} indexed, "
      f"{vs.file_counts.in_progress} in progress, "
      f"{vs.file_counts.failed} failed")

Pasenusių failų šalinimas

# List files in the vector store
files = client.vector_stores.files.list(vector_store.id)
for f in files.data:
    print(f"{f.id} - {f.status}")

# Detach a file
client.vector_stores.files.delete(
    vector_store_id=vector_store.id,
    file_id="file_abc123"
)

Pilnas pavyzdys: dokumentacijos asistentas

def documentation_assistant(question: str, vs_id: str) -> dict:
    """Assistant that answers based on internal documentation."""
    response = client.responses.create(
        model="gpt-5.6-terra",
        instructions=(
            "You are a documentation assistant. Answer solely based on the "
            "provided documents. If the information is not in the documents, "
            "state that clearly. Cite your sources."
        ),
        input=question,
        tools=[{
            "type": "file_search",
            "vector_store_ids": [vs_id],
            "max_num_results": 10
        }]
    )

    return {
        "answer": response.output_text,
        "model": response.model,
        "tokens": response.usage.total_tokens
    }

Svarbiausi punktai

  • Sukurk vektorių saugyklą ir įkelk failus, kad įgalintum „File Search“
  • Modelis pats nusprendžia, kada ieškoti dokumentuose
  • max_num_results valdo paieškos gylį
  • Metaduomenys ir filtrai leidžia vykdyti tikslinę paiešką
  • Prieš siųsdami užklausas stebėkite indeksavimo būseną