Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Tfittxija tal-Fajls vs RAG Custom: Meta Tuża Liema

Lezzjoni 16 / 22 Aġġornat 29 ta’ Lulju 2026 Zviluppatur
F'din il-paġna
  1. Għanijiet
  2. File Search: Ir-RAG Immaniġġjat ta’ OpenAI
  3. X’Jagħtik il-File Search, u X’Jneħħilek
  4. Matriċi tad-Deċiżjoni
  5. Arkitettura Ibrida: L-Aħjar taż-Żewġ Dinjiet
  6. Punti Ewlenin

Għanijiet

  • Tifhem ir-RAG immaniġġjat ta’ OpenAI (File Search)
  • Tqabbel il-File Search ma’ pipeline RAG custom
  • Tagħżel l-approċċ it-tajjeb għall-każ ta’ użu tiegħek

File Search: Ir-RAG Immaniġġjat ta’ OpenAI

Għadek kemm bnejt kull saff ta’ pipeline RAG, lezzjoni wara l-oħra. Il-File Search jagħmel dan kollu għalik. Huwa għodda mibnija ġewwa l-API tar-Risposti ta’ OpenAI li timmaniġġja awtomatikament il-qtugħ (chunking), l-embedding, il-ħażna vettorjali, u t-tfittxija: inti ttella’ l-fajls tiegħek, u int tistaqsi. Din il-lezzjoni mhix rifjut ta’ dak li ġie qabel, iżda mistoqsija onesta li trid tagħmel qabel ma tikteb kwalunkwe kodiċi: x’inhu l-livell ta’ astrazzjoni t-tajjeb għall-proġett tiegħek?

Kollox jibda b’maħżen vettorjali (vector store), il-kontenitur li jospita d-dokumenti indiċjati tiegħek. Int toħloqu, timbotta l-fajls ġo fih wieħed wieħed, u mbagħad tistenna sakemm jintemm l-indiċjar qabel ma tagħmel mistoqsijiet. Dan iċ-ċiklu ta’ stennija mhuwiex kosmetiku: l-indiċjar huwa asinkronu, u mistoqsija mnedija kmieni wisq se tara biss parti mill-korpus.

from openai import OpenAI

client = OpenAI()

# 1. Create a vector store
vector_store = client.vector_stores.create(
    name="product-documentation"
)
print(f"Vector store created: {vector_store.id}")

# 2. Upload files
files = ["user_guide.pdf", "faq.md", "changelog.txt"]

for file in files:
    with open(file, "rb") as f:
        file_obj = client.files.create(file=f, purpose="assistants")
        client.vector_stores.files.create(
            vector_store_id=vector_store.id,
            file_id=file_obj.id
        )
        print(f"  Uploaded: {file}")

# Wait for indexing to complete
import time
while True:
    vs = client.vector_stores.retrieve(vector_store.id)
    if vs.file_counts.completed == vs.file_counts.total:
        break
    time.sleep(2)
print("Indexing complete")

It-tfittxija mbagħad tieħu sejħa waħda biss: tiddikjara l-għodda file_search bl-ID tal-maħżen, u l-mudell jiddeċiedi meta jirkupra l-informazzjoni. Il-parti interessanti hija l-qari tal-annotazzjonijiet, li fihom iċ-ċitazzjonijiet tal-fajls. Dan jippermettilek turi s-sorsi lill-utent—l-imġiba li kellek timplimenta manwalment fil-pipeline custom.

# Query with File Search
response = client.responses.create(
    model="gpt-5.6-terra",
    input="What are the new features in v3.2?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id]
    }]
)

print(response.output_text)

# Access cited sources
for annotation in response.output:
    if hasattr(annotation, "annotations"):
        for ann in annotation.annotations:
            if ann.type == "file_citation":
                print(f"  Source: file {ann.file_citation.file_id}")

Żewġ settings jħalluk tirfina l-imġiba mingħajr ma toħroġ mill-għodda mmaniġġjata. max_num_results jistabbilixxi n-numru ta’ biċċiet (chunks) irkuprati, u score_threshold jiffiltra r-riżultati b’punteġġ baxx, eżattament bħall-limitu ta’ rilevanza li applikajt wara r-reranking.

response = client.responses.create(
    model="gpt-5.6-terra",
    input="How do I configure SSO?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "max_num_results": 10,         # Number of chunks to retrieve
        "ranking_options": {
            "ranker": "auto",           # Automatic ranker
            "score_threshold": 0.3      # Relevance threshold
        }
    }]
)

X’Jagħtik il-File Search, u X’Jneħħilek

L-argument deċiżiv għall-File Search huwa n-nuqqas totali ta’ infrastruttura: l-ebda bażi tad-data vettorjali biex tipprovdi, tagħmel backup, jew timmonitorja. Il-qtugħ (chunking) isir għalik u huwa ottimizzat minn OpenAI, l-aġġornament tal-korpus huwa sempliċi daqs li żżid jew tneħħi fajl, iċ-ċitazzjonijiet jiġu ġġenerati awtomatikament, u l-formati komuni huma appoġġjati nativament—PDF, DOCX, MD, TXT, HTML, JSON, fost oħrajn. Tim mingħajr esperjenza fl-infrastruttura jista’ jkollu bażi tal-għarfien online f’wara nofsinhar.

In-naħa l-oħra ta’ din il-konvenjenza hija t-telf ta’ kontroll fuq kull rabta fil-katina. Int ma tagħżilx id-daqs tal-biċċa (chunk), allura l-kompromess preċiżjoni/kuntest mil-Lezzjoni 12 huwa barra minn idejk. It-tfittxija hija purament semantika: l-ebda tfittxija ibrida, allura r-referenzi tal-prodott u kodiċijiet ta’ żball eżatti jibqgħu fraġli. Ma tistax tikkonnettja ma’ Cohere jew cross-encoder magħmul fid-dar għar-reranking. Żid ma’ dan tliet konsiderazzjonijiet strateġiċi oħra: il-ħażna vettorjali tiġi fatturata barra mis-sejħiet tal-API, id-data tiegħek tirrisjedi fuq is-servers ta’ OpenAI, u l-indiċjar ikopri t-test biss.

Pipeline custom tinverti din il-lista terminu b’terminu. Int timmanigġja l-qtugħ, l-embedding, it-tfittxija, ir-reranking, u l-prompting; tgħaqqad it-tfittxija semantika u lessikali; tħallat fornituri tal-mudelli, jew iżżomm kollox fuq il-post (on-premise) jekk id-data tiegħek teħtieġ dan; u l-aktar importanti, tottimizza kull komponent indipendentement billi tkejjel l-effett tiegħu. Dan il-kontroll jiġi bl-ispiża ta’ kodiċi li trid tikteb u żżomm, bażi tad-data vettorjali biex tamministra, u esperjenza—il-qtugħ, l-evalwazzjoni, u r-reranking ma jsirux bl-improvviżazzjoni, li huwa preċiżament dak li tkopri dan il-kors.

Matriċi tad-Deċiżjoni

KriterjuFile SearchRAG Custom
Prototipar rapidu✅ Ideali⚠️ Iktar bil-mod
Kontroll tal-qtugħ (Chunking)❌✅
Tfittxija ibrida❌✅
Data sensittiva⚠️ Fuq OpenAI✅ Fuq il-post (On-premise)
Kost fuq skala kbira⚠️ Jista’ jkun għoli✅ Prevedibbli
Manutenzjoni✅ Żero⚠️ Biex timmaniġġja
Prestazzjoni massima⚠️ Tajba✅ Ottimizzabbli

Arkitettura Ibrida: L-Aħjar taż-Żewġ Dinjiet

L-għażla ma għandhiex tkun definittiva, u m’għandhiex tkun. L-approċċ l-aktar kost-effettiv huwa li tibda bil-File Search biex tivvalida li l-każ ta’ użu tiegħek huwa sod, u mbagħad tibdel għal pipeline custom il-jum li tilħaq limitu identifikat. Li tikkapsula t-tnejn wara metodu wieħed respond jagħmel dan il-bidla mingħajr tbatija għall-bqija tal-applikazzjoni tiegħek.

class HybridRAG:
    """Start with File Search, switch to custom if needed."""

    def __init__(self, mode: str = "file_search"):
        self.client = OpenAI()
        self.mode = mode

    def respond_file_search(self, question: str, vs_id: str) -> str:
        response = self.client.responses.create(
            model="gpt-5.6-terra",
            input=question,
            tools=[{
                "type": "file_search",
                "vector_store_ids": [vs_id]
            }]
        )
        return response.output_text

    def respond_custom(self, question: str, pipeline) -> str:
        result = pipeline.respond(question)
        return result["response"]

    def respond(self, question: str, **kwargs) -> str:
        if self.mode == "file_search":
            return self.respond_file_search(
                question, kwargs["vs_id"]
            )
        else:
            return self.respond_custom(
                question, kwargs["pipeline"]
            )

Meta l-migrazzjoni ssir neċessarja, issegwi ordni preċiża:

  1. Esporta l-fajls tiegħek mill-maħżen vettorjali
  2. Implimenta l-qtugħ (chunking) adattat għall-kontenut tiegħek
  3. Iġġenera l-embeddings b’text-embedding-3-large
  4. Indiċja f’bażi tad-data vettorjali (Qdrant, Pinecone, eċċ.)
  5. Żid ir-reranking u t-tfittxija ibrida
  6. Evalwa bid-dataset tat-test tiegħek
  7. Qabbel il-metriki mal-File Search qabel ma tibdel

L-aħħar pass huwa dak l-aktar spiss imħalli barra, u huwa l-uniku wieħed li jiġġustifika kollox ieħor: mingħajr tqabbil kwantitattiv, tista’ tkun issostitwixxejt sistema mmaniġġjata deċenti b’waħda magħmula fid-dar inferjuri, flimkien mal-piż tal-manutenzjoni.

Punti Ewlenin

  • Il-File Search huwa ideali biex tipprototipa rapidament sistema RAG mingħajr infrastruttura
  • Pipeline RAG custom toffri kontroll totali u prestazzjoni ottimizzabbli
  • Ibda bil-File Search, immigra għal custom meta tilħaq il-limiti
  • Kriterji tad-deċiżjoni: kontroll, data sensittiva, kost, prestazzjoni