Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Meklēšana failos vai pielāgots RAG: kad izmantot ko

Nodarbība 16 no 22 Atjaunota 2026. gada 29. jūlijs Programmētājs
Šajā lapā
  1. Mērķi
  2. Meklēšana failos: OpenAI pārvaldītais RAG
  3. Ko dod meklēšana failos un ko tā atņem
  4. Lēmumu matrica
  5. Hibrīda arhitektūra: labākais no abām pasaulēm
  6. Galvenās atziņas

Mērķi

  • Izprast OpenAI pārvaldīto RAG (meklēšanu failos)
  • Salīdzināt meklēšanu failos ar pielāgotu RAG cauruļvadu
  • Izvēlēties pareizo pieeju savam lietojumam

Meklēšana failos: OpenAI pārvaldītais RAG

Tu tikko izveidoji katru RAG cauruļvada slāni, soli pa solim. Meklēšana failos dara visu to tavā vietā. Tas ir rīks, kas iebūvēts OpenAI Responses API un automātiski apstrādā sadalīšanu fragmentos, iegulšanu, vektoru glabāšanu un meklēšanu: tu augšupielādē savus failus un veic vaicājumus. Šī nodarbība nav noliegums iepriekš apgūtajam, bet gan godīgs jautājums, kas tev jāuzdod pirms jebkāda koda rakstīšanas: kāds ir tava projekta pareizais abstrakcijas līmenis?

Viss sākas ar vektoru krātuvi — konteineru, kurā tiek mitināti tavi indeksētie dokumenti. Tu to izveido, failus ievieto tajos pa vienam un tad gaidi, līdz indeksēšana ir pabeigta, pirms veic vaicājumu. Šī gaidīšanas cilpa nav tikai formāla: indeksēšana notiek asinhroni, un vaicājums, kas uzsākts pārāk agri, redzēs tikai daļu no kopuma.

from openai import OpenAI

client = OpenAI()

# 1. Create a vector store
vector_store = client.vector_stores.create(
    name="product-documentation"
)
print(f"Vector store created: {vector_store.id}")

# 2. Upload files
files = ["user_guide.pdf", "faq.md", "changelog.txt"]

for file in files:
    with open(file, "rb") as f:
        file_obj = client.files.create(file=f, purpose="assistants")
        client.vector_stores.files.create(
            vector_store_id=vector_store.id,
            file_id=file_obj.id
        )
        print(f"  Uploaded: {file}")

# Wait for indexing to complete
import time
while True:
    vs = client.vector_stores.retrieve(vector_store.id)
    if vs.file_counts.completed == vs.file_counts.total:
        break
    time.sleep(2)
print("Indexing complete")

Vaicājums pēc tam prasa tikai vienu izsaukumu: tu deklarē rīku file_search ar krātuves ID, un modelis pats izlemj, kad izgūt informāciju. Interesantākā daļa ir anotāciju lasīšana, kas satur failu citātus. Tas ļauj tev lietotājam parādīt avotus — uzvedību, kas pielāgotajā cauruļvadā bija jāievieš manuāli.

# Query with File Search
response = client.responses.create(
    model="gpt-5.6-terra",
    input="What are the new features in v3.2?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id]
    }]
)

print(response.output_text)

# Access cited sources
for annotation in response.output:
    if hasattr(annotation, "annotations"):
        for ann in annotation.annotations:
            if ann.type == "file_citation":
                print(f"  Source: file {ann.file_citation.file_id}")

Divi iestatījumi ļauj smalki noregulēt uzvedību, neatstājot pārvaldīto rīku. max_num_results nosaka izgūto fragmentu skaitu, bet score_threshold filtrē rezultātus ar zemu vērtējumu, tieši tāpat kā atbilstības slieksnis, ko piemēroji pēc pārkārtošanas.

response = client.responses.create(
    model="gpt-5.6-terra",
    input="How do I configure SSO?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "max_num_results": 10,         # Number of chunks to retrieve
        "ranking_options": {
            "ranker": "auto",           # Automatic ranker
            "score_threshold": 0.3      # Relevance threshold
        }
    }]
)

Ko dod meklēšana failos un ko tā atņem

Izšķirošais arguments par labu meklēšanai failos ir pilnīga infrastruktūras neesamība: nav jānodrošina, jādublē vai jāuzrauga vektoru datubāze. Sadalīšanu fragmentos veic OpenAI un tā ir optimizēta, kopuma atjaunināšana ir tikpat vienkārša kā faila pievienošana vai noņemšana, citāti tiek ģenerēti automātiski, un bieži sastopami formāti tiek atbalstīti dabiski — PDF, DOCX, MD, TXT, HTML, JSON un citi. Komanda bez infrastruktūras pieredzes var izveidot zināšanu bāzi vienas pēcpusdienas laikā.

Šīs ērtības otrā puse ir kontroles zudums pār katru ķēdes posmu. Tu neizvēlies fragmenta izmēru, tāpēc precizitātes un konteksta kompromiss no 12. nodarbības ir ārpus tavām rokām. Meklēšana ir tīri semantiska: nav hibrīdmeklēšanas, tāpēc produktu atsauces un precīzi kļūdu kodi paliek neaizsargāti. Tu arī nevari pieslēgt Cohere vai pašizstrādātu krustenisko kodētāju pārkārtošanai. Pievieno tam vēl trīs stratēģiskus apsvērumus: par vektoru glabāšanu tiek iekasēta maksa papildus API izsaukumiem, tavi dati atrodas OpenAI serveros, un indeksēšana aptver tikai tekstu.

Pielāgots cauruļvads apgriež šo sarakstu otrādi. Tu pārvaldi sadalīšanu fragmentos, iegulšanu, meklēšanu, pārkārtošanu un uzvedņu veidošanu; tu apvieno semantisko un leksikālo meklēšanu; tu sajauc modeļu nodrošinātājus vai visu glabā uz vietas, ja to prasa tavi dati; un pāri visam — tu optimizē katru komponenti neatkarīgi, mērot tās ietekmi. Šī kontrole prasa cenu: ir jāraksta un jāuztur kods, jāadministrē vektoru datubāze un nepieciešama ekspertīze — sadalīšana fragmentos, novērtēšana un pārkārtošana nav improvizējama, un tieši to aptver šis kurss.

Lēmumu matrica

KritērijsMeklēšana failosPielāgots RAG
Ātra prototipēšana✅ Ideāli⚠️ Lēnāk
Kontrole pār sadalīšanu fragmentos❌✅
Hibrīdmeklēšana❌✅
Konfidenciāli dati⚠️ Pie OpenAI✅ Uz vietas
Izmaksas lielos apjomos⚠️ Var būt augstas✅ Prognozējamas
Uzturēšana✅ Nulle⚠️ Jāpārvalda
Maksimālā veiktspēja⚠️ Laba✅ Optimizējama

Hibrīda arhitektūra: labākais no abām pasaulēm

Izvēlei nav jābūt galīgai, un tai tādu nevajadzētu būt. Rentablākā pieeja ir sākt ar meklēšanu failos, lai pārbaudītu, vai tavs lietojums ir dzīvotspējīgs, un pēc tam pāriet uz pielāgotu cauruļvadu dienā, kad sasniedz identificētu robežu. Abu ietveršana aiz vienas respond metodes padara šo pāreju nesāpīgu pārējai tavai lietotnei.

class HybridRAG:
    """Start with File Search, switch to custom if needed."""

    def __init__(self, mode: str = "file_search"):
        self.client = OpenAI()
        self.mode = mode

    def respond_file_search(self, question: str, vs_id: str) -> str:
        response = self.client.responses.create(
            model="gpt-5.6-terra",
            input=question,
            tools=[{
                "type": "file_search",
                "vector_store_ids": [vs_id]
            }]
        )
        return response.output_text

    def respond_custom(self, question: str, pipeline) -> str:
        result = pipeline.respond(question)
        return result["response"]

    def respond(self, question: str, **kwargs) -> str:
        if self.mode == "file_search":
            return self.respond_file_search(
                question, kwargs["vs_id"]
            )
        else:
            return self.respond_custom(
                question, kwargs["pipeline"]
            )

Kad migrācija kļūst nepieciešama, tā notiek precīzā secībā:

  1. Eksportē savus failus no vektoru krātuves
  2. Ievies sadalīšanu fragmentos, kas pielāgota tavam saturam
  3. Ģenerē iegulumus, izmantojot text-embedding-3-large
  4. Indeksē vektoru datubāzē (Qdrant, Pinecone u.c.)
  5. Pievieno pārkārtošanu un hibrīdmeklēšanu
  6. Novērtē, izmantojot savu testa datu kopu
  7. Salīdzini metrikas ar meklēšanu failos pirms pārejas

Pēdējais solis ir tas, ko visbiežāk izlaiž, un tas ir vienīgais, kas attaisno visu pārējo: bez kvantitatīva salīdzinājuma tu vari būt nomainījis pieklājīgu pārvaldītu sistēmu uz sliktāku pašizstrādātu risinājumu, pieskaitot tam vēl uzturēšanas slogu.

Galvenās atziņas

  • Meklēšana failos ir ideāla, lai ātri izveidotu RAG sistēmas prototipu bez infrastruktūras
  • Pielāgots RAG cauruļvads nodrošina pilnīgu kontroli un optimizējamu veiktspēju
  • Sāc ar meklēšanu failos, pārej uz pielāgotu risinājumu, kad sasniedz robežas
  • Lēmuma kritēriji: kontrole, konfidenciāli dati, izmaksas, veiktspēja