Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Failų paieška arba individualus RAG: kada naudoti kurį

Paskaita 16 iš 22 Atnaujinta 2026 m. liepos 29 d. Kūrėjas
Šiame puslapyje
  1. Tikslai
  2. „File Search“: „OpenAI“ valdomas RAG
  3. Ką „File Search“ suteikia ir ko atima
  4. Sprendimų matrica
  5. Hibridinė architektūra: geriausia iš abiejų pasaulių
  6. Svarbiausi punktai

Tikslai

  • Suprasti „OpenAI“ valdomą RAG („File Search“)
  • Palyginti „File Search“ su individualia RAG grandine
  • Pasirinkti tinkamiausią metodą savo atvejui

„File Search“: „OpenAI“ valdomas RAG

Tu ką tik sukūrei kiekvieną RAG grandinės sluoksnį, pamoka po pamokos. „File Search“ tai atlieka už tave. Tai įrankis, integruotas į „OpenAI Responses API“, kuris automatiškai tvarko skaidymą, įterpinių kūrimą, vektorių saugojimą ir paiešką: tu tiesiog įkeliate failus ir užduodate klausimus. Ši pamoka nėra ankstesnių žinių neigimas, o sąžiningas klausimas, kurį privalai sau užduoti prieš rašydamas bet kokį kodą: koks abstrakcijos lygis tinkamiausias tavo projektui?

Viskas prasideda nuo vektorių saugyklos – konteinerio, kuriame laikomi tavo indeksuoti dokumentai. Tu ją sukuri, failus įkeliate po vieną ir lauki, kol baigsis indeksavimas, prieš pradėdamas užklausas. Šis laukimas nėra formalumas: indeksavimas vyksta asinchroniškai, todėl per anksti paleista užklausa matys tik dalį duomenų bazės.

from openai import OpenAI

client = OpenAI()

# 1. Create a vector store
vector_store = client.vector_stores.create(
    name="product-documentation"
)
print(f"Vector store created: {vector_store.id}")

# 2. Upload files
files = ["user_guide.pdf", "faq.md", "changelog.txt"]

for file in files:
    with open(file, "rb") as f:
        file_obj = client.files.create(file=f, purpose="assistants")
        client.vector_stores.files.create(
            vector_store_id=vector_store.id,
            file_id=file_obj.id
        )
        print(f"  Uploaded: {file}")

# Wait for indexing to complete
import time
while True:
    vs = client.vector_stores.retrieve(vector_store.id)
    if vs.file_counts.completed == vs.file_counts.total:
        break
    time.sleep(2)
print("Indexing complete")

Užklausos vykdymui pakanka vieno kvietimo: nurodai file_search įrankį su saugyklos ID, o modelis pats nusprendžia, kada gauti informaciją. Svarbiausia dalis – anotacijų skaitymas, kuriose pateikiamos nuorodos į failus. Tai leidžia rodyti šaltinius naudotojui – elgseną, kurią individualioje grandinėje tekdavo įgyvendinti rankiniu būdu.

# Query with File Search
response = client.responses.create(
    model="gpt-5.6-terra",
    input="What are the new features in v3.2?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id]
    }]
)

print(response.output_text)

# Access cited sources
for annotation in response.output:
    if hasattr(annotation, "annotations"):
        for ann in annotation.annotations:
            if ann.type == "file_citation":
                print(f"  Source: file {ann.file_citation.file_id}")

Du nustatymai leidžia derinti elgseną neišeinant iš valdomo įrankio ribų. max_num_results nustato gaunamų fragmentų skaičių, o score_threshold atfiltruoja mažo reikšmingumo rezultatus – lygiai taip pat, kaip taikydavai reikšmingumo slenkstį po perrikiavimo.

response = client.responses.create(
    model="gpt-5.6-terra",
    input="How do I configure SSO?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "max_num_results": 10,         # Number of chunks to retrieve
        "ranking_options": {
            "ranker": "auto",           # Automatic ranker
            "score_threshold": 0.3      # Relevance threshold
        }
    }]
)

Ką „File Search“ suteikia ir ko atima

Pagrindinis „File Search“ privalumas – visiška infrastruktūros nebūtinybė: nereikia diegti, rezervuoti ar stebėti vektorių duomenų bazės. Skaidymą atlieka ir optimizuoja „OpenAI“, duomenų bazės atnaujinimas toks pat paprastas kaip failo pridėjimas arba pašalinimas, citatos generuojamos automatiškai, o standartiniai formatai palaikomi natūraliai – PDF, DOCX, MD, TXT, HTML, JSON ir kiti. Komanda, neturinti infrastruktūros patirties, gali paleisti žinių bazę per vieną popietę.

Atvirkštinė šio patogumo pusė – visiškas kontrolės praradimas над kiekviena grandinės nuoroda. Tu negali pasirinkti fragmento dydžio, todėl 12 pamokoje nagrinėtas tikslumo ir konteksto balansas lieka ne tavo rankose. Paieška yra gryna semantinė: nėra hibridinės paieškos, todėl produkto nuorodos ir tikslūs klaidų kodai lieka pažeidžiami. Be to, negali prijungti „Cohere“ ar savo sukurto kryžminio enkoderio perrikiavimui. Pridėkime dar tris strateginius aspektus: už vektorių saugojimą mokama papildomai prie API kvietimų, tavo duomenys saugomi „OpenAI“ serveriuose, o indeksuojamas tik tekstas.

Individuali grandinė šį sąrašą apverčia aukštyn kojomis. Tu valdai skaidymą, įterpinių kūrimą, paiešką, perrikiavimą ir raginimų formavimą; derini semantinę ir leksinę paiešką; maišai modelių tiekėjus arba viską laikai savo serveriuose, jei to reikalauja duomenys; ir svarbiausia – kiekvieną komponentą optimizuoji atskirai, matuodamas jo poveikį. Už šią kontrolę tenka mokėti rašomu ir prižiūrimu kodu, administruojama vektorių duomenų baze ir reikalinga ekspertize – skaidymas, vertinimas ir perrikiavimas nėra improvizuojami dalykai, būtent tai ir nagrinėjama šiame kurse.

Sprendimų matrica

KriterijusFile SearchIndividualus RAG
Greitas prototipavimas✅ Idealu⚠️ Lėčiau
Skaidymo kontrolė❌✅
Hibridinė paieška❌✅
Konfidencialūs duomenys⚠️ „OpenAI“ serveriuose✅ Savo serveriuose
Kaina dideliu mastu⚠️ Gali būti didelė✅ Nuspėjama
Priežiūra✅ Nulinė⚠️ Reikia valdyti
Maksimalus našumas⚠️ Geras✅ Optimizuojamas

Hibridinė architektūra: geriausia iš abiejų pasaulių

Pasirinkimas neturi būti galutinis ir neturėtų būti. Ekonomiškiausias būdas – pradėti nuo „File Search“, kad patikrintum, ar tavo naudojimo atvejis gyvybingas, o pereiti prie individualios grandinės tik tada, kai pasieksi nustatytą ribą. Abu metodus apgaubus vienu respond metodu, šis perėjimas likusiai programos daliai tampa neskausmingas.

class HybridRAG:
    """Start with File Search, switch to custom if needed."""

    def __init__(self, mode: str = "file_search"):
        self.client = OpenAI()
        self.mode = mode

    def respond_file_search(self, question: str, vs_id: str) -> str:
        response = self.client.responses.create(
            model="gpt-5.6-terra",
            input=question,
            tools=[{
                "type": "file_search",
                "vector_store_ids": [vs_id]
            }]
        )
        return response.output_text

    def respond_custom(self, question: str, pipeline) -> str:
        result = pipeline.respond(question)
        return result["response"]

    def respond(self, question: str, **kwargs) -> str:
        if self.mode == "file_search":
            return self.respond_file_search(
                question, kwargs["vs_id"]
            )
        else:
            return self.respond_custom(
                question, kwargs["pipeline"]
            )

Kai migracija tampa būtina, ji vyksta griežta tvarka:

  1. Eksportuok failus iš vektorių saugyklos
  2. Įgyvendink skaidymą, pritaikytą tavo turiniui
  3. Sukurk įterpinius naudodamas text-embedding-3-large
  4. Indeksuok vektorių duomenų bazėje (Qdrant, Pinecone ir kt.)
  5. Pridėk perrikiavimą ir hibridinę paiešką
  6. Įvertink naudodamas savo testų duomenų rinkinį
  7. Palygink rodiklius su „File Search“ prieš pereinant

Paskutinis žingsnis yra tas, kurį dažniausiai praleidžia, tačiau būtent jis pateisina visus kitus: be kiekybinio palyginimo gali pakeisti neblogą valdomą sistemą prastesniu savos gamybos sprendimu, pridėdamas dar ir priežiūros naštą.

Svarbiausi punktai

  • „File Search“ idealiai tinka greitai sukurti RAG sistemą be infrastruktūros
  • Individuali RAG grandinė suteikia visišką kontrolę ir optimizuojamą našumą
  • Pradėk nuo „File Search“, pereik prie individualaus sprendimo pasiekus ribas
  • Sprendimo kriterijai: kontrolė, konfidencialūs duomenys, kaina, našumas