Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Píblíne RAG Iomlán

Ceacht 14 as 18 Nuashonraithe 2 Samhain 2026 Forbróir
Ar an leathanach seo
  1. Ag Cur Gach Rud Le Chéile
  2. An Phíblíne Iomlán
  3. An Phíblíne a Rith
  4. Cúig Threo le Feabhsú Breise
  5. Príomhphointí

Ag Cur Gach Rud Le Chéile

Chumhdaigh na ceachtanna roimhe seo gach nasc sa slabhra ar leith: lódáil, scoilteadh, ionchódú, innéacsú, aisghabháil, agus giniúint. Anois, tá sé in am iad a tháthú ina chlár iomlán, ó thús go deireadh, is féidir leat a rith mar atá sé agus a oiriúnú ansin do do chuid doiciméad féin. Oireann an script seo i gcomhad amháin agus níl uirthi ach ceithre spleáchas.

pip install mistralai faiss-cpu numpy requests

An Phíblíne Iomlán

Tá dhá rogha dearaidh ag struchtúrú an chóid seo. Ar an gcéad dul síos, grúpáilimid gach cumraíocht ag barr an chomhaid: samhlacha, méid an chunca, méid an bhaisc, agus TOP_K mar thairisigh ainmnithe. Sábhálann sé seo ort luachanna crua-chódaithe atá curtha i bhfolach laistigh de fheidhmeanna a lorg nuair a bheidh ort an iompar a thiúnadh. Ar an dara dul síos, roinnimid an loighic ina sé fheidhm neamhspleácha, gach ceann acu ag freagairt do chéim amháin agus a dul chun cinn á phriontáil mar [n/6]. Níl an rian seo maisiúil: nuair a theipeann ar an bpíblíne nó nuair a thugann sí freagra aisteach, insíonn sé duit láithreach an bhfuil an fhadhb sa lódáil, sa scoilteadh, nó san aisghabháil. Tá gach feidhm in-athsholáthartha ar leithligh freisin—is féidir leat lódóir PDF a chur in ionad load_data gan an chuid eile a bhaint.

Cuireann an fheidhm main na céimeanna le chéile, agus ansin déanann sí ceist a chur ar an gcorpas le trí cheist faoin aiste Paul Graham a úsáideadh mar ár tacar sonraí samplach. Tabhair faoi deara go ritheann aisghabháil agus giniúint taobh istigh den lúb, ach tarlaíonn innéacsú uair amháin roimh ré: bheadh sé absurd an corpas iomlán a ath-ionchódú do gach ceist, ó thaobh costais agus moille de.

import os
import json
import numpy as np
import faiss
import requests
from mistralai.client import Mistral

# ============================================================
# Cumraíocht
# ============================================================
MISTRAL_API_KEY = os.environ.get("MISTRAL_API_KEY")
EMBED_MODEL = "mistral-embed"
CHAT_MODEL = "mistral-large-latest"
CHUNK_SIZE = 2048
BATCH_SIZE = 25
TOP_K = 3

client = Mistral(api_key=MISTRAL_API_KEY)


# ============================================================
# Céim 1: Sonraí a Lódáil
# ============================================================
def load_data(url):
    """Doiciméad téacs a lódáil ó URL."""
    print("[1/6] Sonraí á lódáil...")
    response = requests.get(url)
    response.raise_for_status()
    text = response.text
    print(f"  -> {len(text)} carachtar lódáilte")
    return text


# ============================================================
# Céim 2: Cuncanna a Chruthú
# ============================================================
def create_chunks(text, chunk_size=CHUNK_SIZE):
    """Téacs a scoilteadh ina chuncanna."""
    print("[2/6] Cuncanna á gcruthú...")
    chunks = []
    paragraphs = text.split("\n\n")
    current = ""

    for para in paragraphs:
        para = para.strip()
        if not para:
            continue
        if len(current) + len(para) + 2 <= chunk_size:
            current = current + "\n\n" + para if current else para
        else:
            if current:
                chunks.append(current)
            current = para

    if current:
        chunks.append(current)

    print(f"  -> {len(chunks)} cunc cruthaithe (meánmhéid: {sum(len(c) for c in chunks) // len(chunks)} carachtar)")
    return chunks


# ============================================================
# Céim 3: Leabaithe a Ghiniúint
# ============================================================
def create_embeddings(chunks, batch_size=BATCH_SIZE):
    """Cuncanna a ionchódú ina leabaithe trí mistral-embed."""
    print("[3/6] Leabaithe á nginiúint...")
    all_embeddings = []

    for i in range(0, len(chunks), batch_size):
        batch = chunks[i:i + batch_size]
        response = client.embeddings.create(
            model=EMBED_MODEL,
            inputs=batch,
        )
        all_embeddings.extend([d.embedding for d in response.data])
        print(f"  -> Baisc {i // batch_size + 1}/{(len(chunks) - 1) // batch_size + 1} ionchódaithe")

    embeddings = np.array(all_embeddings, dtype=np.float32)
    print(f"  -> Maitrís: {embeddings.shape}")
    return embeddings


# ============================================================
# Céim 4: Innéacs FAISS a Chruthú
# ============================================================
def create_index(embeddings):
    """Innéacs FAISS a chruthú agus a líonadh."""
    print("[4/6] Innéacs FAISS á chruthú...")
    dimension = embeddings.shape[1]
    index = faiss.IndexFlatL2(dimension)
    index.add(embeddings)
    print(f"  -> Innéacs: {index.ntotal} veicteoir, toise {dimension}")
    return index


# ============================================================
# Céim 5: Cuncanna Ábhartha a Aisghabháil
# ============================================================
def retrieve(question, index, chunks, k=TOP_K):
    """Na cuncanna is ábhartha a aisghabháil."""
    print(f"[5/6] Ag cuardach do: '{question[:50]}...'")
    response = client.embeddings.create(
        model=EMBED_MODEL,
        inputs=[question],
    )
    query_vector = np.array([response.data[0].embedding], dtype=np.float32)

    distances, indices = index.search(query_vector, k)

    results = []
    for dist, idx in zip(distances[0], indices[0]):
        if idx >= 0:
            results.append({
                "text": chunks[idx],
                "distance": float(dist),
            })

    print(f"  -> {len(results)} cunc aisghafa")
    return results


# ============================================================
# Céim 6: Freagra a Ghiniúint
# ============================================================
def generate(question, context_chunks):
    """An freagra a ghiniúint ag baint úsáide as an gcomhthéacs a aisghabhadh."""
    print("[6/6] Freagra á ghiniúint...")

    context = "\n\n---\n\n".join([c["text"] for c in context_chunks])

    prompt = f"""Comhthéacs faisnéiseach:

{context}

---

Bunaithe AR AN gCOMHTHÉACS thuas AMHÁIN, freagair an cheist seo a leanas go beacht agus go hiomlán.

Ceist: {question}"""

    response = client.chat.complete(
        model=CHAT_MODEL,
        messages=[
            {"role": "system", "content": "Is cúntóir tú a fhreagraíonn bunaithe ar an gcomhthéacs soláthraithe."},
            {"role": "user", "content": prompt},
        ],
        temperature=0.1,
    )

    answer = response.choices[0].message.content
    print(f"  -> Freagra ginte ({len(answer)} carachtar)")
    return answer


# ============================================================
# Príomhphíblíne
# ============================================================
def main():
    """An phíblíne RAG iomlán a rith."""
    # 1. Lódáil
    url = "https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt"
    text = load_data(url)

    # 2. Scoilt
    chunks = create_chunks(text)

    # 3. Ionchódú
    embeddings = create_embeddings(chunks)

    # 4. Innéacsú
    index = create_index(embeddings)

    # 5+6. Ceist -> Freagra
    questions = [
        "What were the two main things the author worked on before college?",
        "What did the author do during their time at Y Combinator?",
        "What programming language did the author learn first?",
    ]

    for question in questions:
        print(f"\n{'='*60}")
        context = retrieve(question, index, chunks)
        answer = generate(question, context)
        print(f"\nC: {question}")
        print(f"F: {answer}")


if __name__ == "__main__":
    main()

An Phíblíne a Rith

Sábháil an cód seo mar rag_pipeline.py, easpórtáil do eochair API sa timpeallacht—ná crua-chódaigh é sa chomhad riamh, mar beidh sé i stórchóras faoi dheireadh—agus ansin rith an script. Léireoidh an t-aschur na sé chéim, agus próiseálfaidh sé ansin na trí cheist lena bhfreagraí. Má tá aon fhreagra cosúil le bheith as ábhar, déan comparáid idir é agus na cuncanna a taispeántar i gcéim 5 sula gcuirfidh tú an locht ar an tsamhail ghiniúna.

export MISTRAL_API_KEY="your-api-key"
python rag_pipeline.py

Cúig Threo le Feabhsú Breise

Is bonn é an phíblíne seo, ní táirge críochnaithe, agus léiríonn gach ceann dá teorainneacha an chéad chéim eile. Is é an rud is práinní ná marthanacht: ina fhoirm reatha, déanann an script an corpas iomlán a ath-ionchódú ar gach rith, ach dá sábhálfaí an t-innéacs FAISS agus na cuncanna, bheadh feidhmiú ina dhiaidh sin beagnach láithreach. Is é an chéad leibhéal eile ná ath-rangú, ag cur torthaí FAISS trí chódóir trasnach a mheasann ábharthacht i bhfad níos mine ná fad veicteora amháin. Freagraíonn scagadh meiteashonraí ar riachtanas eile: cuardach a shrianadh de réir dáta, catagóire, nó údar chomh maith le cosúlacht. Díreoidh dhá fheabhsú dheireanacha ar thaithí an úsáideora: sruthú, a thaispeánann an freagra de réir mar a ghintear é seachas tar éis roinnt soicind ciúnais, agus stair chomhrá, a ligeann d’úsáideoirí leanúint ar aghaidh le “cad faoi leagan 2?” gan a gceist iomlán a athrá.

# 1. Sábháil an t-innéacs chun athríomh a sheachaint
faiss.write_index(index, "my_rag.index")
np.save("my_chunks.npy", np.array(chunks, dtype=object))

# 2. Ath-rangú a chur leis
# Tar éis aisghabháil FAISS, úsáid samhail chódóra trasnaigh
# chun torthaí a athordú de réir ábharthachta mionghrádaigh

# 3. Scagadh meiteashonraí
# Cuir scagairí leis (dáta, catagóir, údar) chomh maith
# le cosúlacht veicteora

# 4. Sruthú freagartha
# Úsáid client.chat.stream() chun an freagra a thaispeáint
# de réir mar a ghintear é

# 5. Stair chomhrá
# Cuir malartuithe roimhe seo leis an leid
# le haghaidh chatbot RAG comhthéacsúil

Príomhphointí

  • Briseann an phíblíne RAG iomlán síos ina 6 chéim: lódáil, scoilteadh, ionchódú, innéacsú, aisghabháil, giniúint
  • Is feidhm neamhspleách í gach céim, atá éasca le tástáil agus le hathsholáthar
  • Úsáid temperature=0.1 le haghaidh freagraí fíorasacha
  • Sábháil an t-innéacs FAISS agus na leabaithe chun athríomh a sheachaint ar gach rith
  • Is pointe tosaigh soladach é an phíblíne seo le saibhriú bunaithe ar do riachtanais