Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Failide otsing vs kohandatud RAG: millal kumba kasutada

Õppetund 16 / 22 Värskendatud 29. juuli 2026 Arendajatele
Sellel lehel
  1. Eesmärgid
  2. File Search: OpenAI hallatav RAG
  3. Mida File Search annab ja mida see ära võtab
  4. Otsustamaatriks
  5. Hübriidarhitektuur: parim mõlemast maailmast
  6. Peamised punktid

Eesmärgid

  • Mõista OpenAI hallatavat RAG-i (File Search)
  • Võrrelda File Searchi kohandatud RAGi torustikuga
  • Valida oma kasutusjuhuks sobivaim lähenemine

File Search: OpenAI hallatav RAG

Oled just tund-tunnilt üles ehitanud iga RAGi torustiku kihi. File Search teeb kõik selle sinu eest. See on OpenAI Responses API-sse sisse ehitatud tööriist, mis haldab automaatselt tükeldamist, manustamist (embedding), vektorlaostust ja otsingut: sa laadid oma failid üles ja esitad päringuid. See tund ei ole eitus sellele, mis eelnes, vaid aus küsimus, mille pead enne koodi kirjutamist endale esitama: milline on sinu projekti jaoks õige abstraktsioonitase?

Kõik algab vektorpoest, konteinerist, mis majutab sinu indekseeritud dokumente. Loote selle, laadite failid ükshaaval üles ja ootate indekseerimise lõppemist enne päringute esitamist. See ootetsükkel ei ole kosmeetiline: indekseerimine on asünkroonne ja liiga vara käivitatud päring näeb ainult osa kogumikust.

from openai import OpenAI

client = OpenAI()

# 1. Create a vector store
vector_store = client.vector_stores.create(
    name="product-documentation"
)
print(f"Vector store created: {vector_store.id}")

# 2. Upload files
files = ["user_guide.pdf", "faq.md", "changelog.txt"]

for file in files:
    with open(file, "rb") as f:
        file_obj = client.files.create(file=f, purpose="assistants")
        client.vector_stores.files.create(
            vector_store_id=vector_store.id,
            file_id=file_obj.id
        )
        print(f"  Uploaded: {file}")

# Wait for indexing to complete
import time
while True:
    vs = client.vector_stores.retrieve(vector_store.id)
    if vs.file_counts.completed == vs.file_counts.total:
        break
    time.sleep(2)
print("Indexing complete")

Päringu esitamine võtab seejärel vaid ühe väljakutse: deklareerid tööriista file_search koos poe ID-ga ja mudel otsustab, millal teavet hankida. Huvitav osa on annotatsioonide lugemine, mis sisaldavad failide viiteid. See võimaldab kuvada kasutajale allikaid – käitumist, mida pidid kohandatud torustikus käsitsi rakendama.

# Query with File Search
response = client.responses.create(
    model="gpt-5.6-terra",
    input="What are the new features in v3.2?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id]
    }]
)

print(response.output_text)

# Access cited sources
for annotation in response.output:
    if hasattr(annotation, "annotations"):
        for ann in annotation.annotations:
            if ann.type == "file_citation":
                print(f"  Source: file {ann.file_citation.file_id}")

Kaks seadet võimaldavad sul käitumist peenhäälestada, lahkumata hallatavast tööriistast. max_num_results määrab toodud tükkide arvu ja score_threshold filtreerib välja madala skooriga tulemused, täpselt nagu asjakohasuse lävi, mida rakendasid pärast ümberjärjestamist (reranking).

response = client.responses.create(
    model="gpt-5.6-terra",
    input="How do I configure SSO?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "max_num_results": 10,         # Number of chunks to retrieve
        "ranking_options": {
            "ranker": "auto",           # Automatic ranker
            "score_threshold": 0.3      # Relevance threshold
        }
    }]
)

Mida File Search annab ja mida see ära võtab

Otsustav argument File Searchi kasuks on taristu täielik puudumine: ei ole vaja varustada, varundada ega jälgida vektorandmebaasi. Tükeldamise teeb sinu eest OpenAI ja optimeerib seda, kogumiku uuendamine on sama lihtne kui faili lisamine või eemaldamine, viited genereeritakse automaatselt ja levinud vorminguid toetatakse loomupäraselt – PDF, DOCX, MD, TXT, HTML, JSON ja teised. Meeskond, kellel puuduvad taristualased teadmised, saab teadmistebaasi tööle ühe pärastlõunaga.

Selle mugavuse varjukülg on kontrolli kaotamine ahela iga lüli üle. Sa ei vali tüki suurust, nii et 12. tunnis käsitletud täpsuse ja konteksti vaheline kompromiss on sinu käest väljas. Otsing on puhtalt semantiline: hübriidotsingut pole, seega jäävad tooteviited ja täpsed veakoodid habrasteks. Samuti ei saa sa ühendada Cohere’i ega oma loodud ristkodeerijat (cross-encoder) ümberjärjestamiseks. Lisage sellele veel kolm strateegilist kaalutlust: vektorlaostuse eest arvestatakse tasu lisaks API väljakutsetele, sinu andmed asuvad OpenAI serverites ja indekseerimine hõlmab ainult teksti.

Kohandatud torustik pöörab selle loendi liikme haaval vastupidiseks. Sa valdad tükeldamist, manustamist, otsingut, ümberjärjestamist ja juhendamist (prompting); kombineerid semantilist ja leksikaalset otsingut; segad mudelite pakkujaid või hoiad kõike kohapeal (on-premise), kui sinu andmed seda nõuavad; ja mis kõige tähtsam – optimeerid iga komponenti sõltumatult, mõõtes selle mõju. See kontroll maksab kirjutatava ja hooldatava koodi, hallatava vektorandmebaasi ja eksperditeadmiste näol – tükeldamine, hindamine ja ümberjärjestamine ei ole improviseeritavad, mida see kursus just käsitlebki.

Otsustamaatriks

KriteriumFile SearchKohandatud RAG
Kiire prototüüpimine✅ Ideaalne⚠️ Aeglasem
Tükeldamise kontroll❌✅
Hübriidotsing❌✅
Tundlikud andmed⚠️ OpenAI juures✅ Kohapeal
Kulud suurel skaalal⚠️ Võivad olla kõrged✅ Ennustatavad
Hooldus✅ Null⚠️ Tuleb hallata
Maksimaalne jõudlus⚠️ Hea✅ Optimeeritav

Hübriidarhitektuur: parim mõlemast maailmast

Valik ei pea olema lõplik ja see ei tohigi olla. Kulutõhusaim lähenemine on alustada File Searchist, et valideerida, kas sinu kasutusjuhtum on elujõuline, ja seejärel lülituda kohandatud torustikule päeval, kui jõuad tuvastatud piiranguni. Mõlema kapseldamine ühe respond meetodi taha muudab selle ülemineku ülejäänud rakenduse jaoks valutuks.

class HybridRAG:
    """Start with File Search, switch to custom if needed."""

    def __init__(self, mode: str = "file_search"):
        self.client = OpenAI()
        self.mode = mode

    def respond_file_search(self, question: str, vs_id: str) -> str:
        response = self.client.responses.create(
            model="gpt-5.6-terra",
            input=question,
            tools=[{
                "type": "file_search",
                "vector_store_ids": [vs_id]
            }]
        )
        return response.output_text

    def respond_custom(self, question: str, pipeline) -> str:
        result = pipeline.respond(question)
        return result["response"]

    def respond(self, question: str, **kwargs) -> str:
        if self.mode == "file_search":
            return self.respond_file_search(
                question, kwargs["vs_id"]
            )
        else:
            return self.respond_custom(
                question, kwargs["pipeline"]
            )

Kui migratsioon muutub vajalikuks, järgib see täpset järjekorda:

  1. Ekspordi oma failid vektorpoest
  2. Rakenda tükeldamine, mis on kohandatud sinu sisule
  3. Genereeri manused kasutades text-embedding-3-large
  4. Indekseeri vektorandmebaasi (Qdrant, Pinecone jne)
  5. Lisa ümberjärjestamine ja hübriidotsing
  6. Hinda oma testandmestikuga
  7. Võrdle mõõdikuid File Searchiga enne üleminekut

Viimane samm on see, mida kõige sagedamini vahele jäetakse, ja see on ainus, mis õigustab kõike muud: ilma kvantitatiivse võrdluseta võid olla asendanud korraliku hallatava süsteemi kehvema omatehtud lahendusega, pluss hoolduse lisakoormus.

Peamised punktid

  • File Search on ideaalne RAG-süsteemi kiireks prototüüpimiseks ilma taristuta
  • Kohandatud RAGi torustik pakub täielikku kontrolli ja optimeeritavat jõudlust
  • Alusta File Searchist ja migreeru kohandatud lahendusele, kui jõuad piiranguteni
  • Otsustuskriteeriumid: kontroll, tundlikud andmed, kulud, jõudlus