Aisghabháil agus Giniúint
Ar an leathanach seo
Ó Veicteoir go Freagra
Tá a fhios agat conas doiciméid a innéacsú agus na cinn is gaire do cheist a aisghabháil. Níl ach céim amháin fágtha: liosta smután a thiontú ina fhreagra inléite. Ciallaíonn sé seo comhthéacs aisghafa a instealladh i leid ionas go gcuirfidh an LLM freagra le chéile bunaithe ar do chuid sonraí seachas ar a chuimhní oiliúna. Ní theastaíonn ach cúpla líne cód, ach déanann sé difríocht chinntitheach i gcáilíocht. Tá comhthéacs curtha i láthair go maith agus treoir shoiléir chomh tábhachtach le cruinneas na haisghabhála.
An Leid RAG a Thógáil
Tá struchtúr an leide simplí, ach tá tionchar ag gach rogha. Uimhrigh na smután agus déan nóta dá bhfoinse ionas gur féidir leis an múnla tagairt a dhéanamh go beacht. Scar iad le teorainneoir infheicthe, ---, ionas nach ndéanfaidh an múnla dhá dhoiciméad contrártha a chumasc ina éileamh amháin. Is tábhachtaí fós, caithfidh an treoir a shrianadh go sainráite an freagra leis an gcomhthéacs soláthraithe agus cead a thabhairt don mhúnla a rá nach bhfuil a fhios aige. Gan an cead sin, líonfaidh LLM ar iarrtar air faoi fhaisnéis atá in easnamh an bhearna le cibé rud a bheidh inchreidte. Sin díreach an mheicníocht taibhreamh (hallucination).
def build_rag_prompt(question, retrieved_chunks):
"""Build the RAG prompt with retrieved context."""
# Format the context
context_parts = []
for i, chunk in enumerate(retrieved_chunks):
source = chunk.get("source", "unknown source")
context_parts.append(f"[Document {i+1} - {source}]\n{chunk['text']}")
context = "\n\n---\n\n".join(context_parts)
prompt = f"""You are an expert assistant. Answer the question using
ONLY the context provided below. If the information is not in the
context, say so clearly.
## Context
{context}
## Question
{question}
## Answer"""
return prompt
An Freagra a Ghiniúint
Tá an glao giniúna díreach: teachtaireacht chórais a athdhearbhaíonn an ról, agus teachtaireacht úsáideora a iompraíonn an leid comhcheangailte. Bí ar an airdeall leis an bparaiméadar teochta, socraithe anseo ag 0.1. I scríbhneoireacht chruthaitheach, ba mhaith leat éagsúlacht; i RAG, ba mhaith leat an contrárthacht. Ba mhaith leat go bhfanfadh an múnla chomh gar agus is féidir leis an méid a deir an comhthéacs, agus ba mhaith leat go dtáirgfadh dhá rith ar an gceist chéanna an freagra céanna. Chuirfeadh teocht ard an múnla chun athfhrámaíochta, eachtarshuímh, agus imeacht ón bhfoinse.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
def generate_answer(question, retrieved_chunks, model="mistral-large-latest"):
"""Generate a RAG answer with Mistral."""
prompt = build_rag_prompt(question, retrieved_chunks)
response = client.chat.complete(
model=model,
messages=[
{
"role": "system",
"content": "You are a precise assistant that answers based on the provided context."
},
{
"role": "user",
"content": prompt,
}
],
temperature=0.1, # Low temperature for factual answers
)
return response.choices[0].message.content
# Example
question = "What are the main steps of RAG?"
results = search_index(question, index, chunks, k=3)
answer = generate_answer(question, results)
print(answer)
An Sreabha a Chapsúlú i Rang
Oibríonn feidhmeanna scaipthe le haghaidh taiscéalaíochta, ní le haghaidh seachadta. Cuireann an rang RAGPipeline an stát le chéile—na smután, an maitrís leabaithe, agus an t-innéacs FAISS a tógadh uair amháin ag am tosaithe—agus trí oibríocht: déanann retrieve an cheist a chódú agus fiosrú an innéacs, déanann generate an leid a chur le chéile agus glaonn sé ar an múnla, agus slabhraíonn ask an dá cheann. Tabhair faoi deara cad a thugann ask ar ais: ní teaghrán, ach foclóir ina bhfuil an freagra, an liosta foinsí, agus líon na smután a úsáideadh. Is é an inrianaitheacht seo a dhealaíonn cúntóir ininiúchta ó bhosca dubh. An lá a dhéanann úsáideoir ceist faoi fhreagra, beidh a fhios agat cé na pasáistí ar bhraith sé orthu.
import numpy as np
import faiss
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
class RAGPipeline:
"""Complete RAG pipeline with Mistral and FAISS."""
def __init__(self, chunks, embeddings):
self.chunks = chunks
self.embeddings = embeddings.astype(np.float32)
# Create the FAISS index
dimension = embeddings.shape[1]
self.index = faiss.IndexFlatL2(dimension)
self.index.add(self.embeddings)
def retrieve(self, question, k=3):
"""Step 1: retrieve relevant chunks."""
response = client.embeddings.create(
model="mistral-embed",
inputs=[question],
)
query_vector = np.array(
[response.data[0].embedding], dtype=np.float32
)
distances, indices = self.index.search(query_vector, k)
results = []
for dist, idx in zip(distances[0], indices[0]):
if idx >= 0:
results.append({
"text": self.chunks[idx]["text"],
"source": self.chunks[idx].get("source", ""),
"distance": float(dist),
})
return results
def generate(self, question, context_chunks):
"""Step 2: generate the answer with context."""
prompt = build_rag_prompt(question, context_chunks)
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": prompt}],
temperature=0.1,
)
return response.choices[0].message.content
def ask(self, question, k=3):
"""Full pipeline: question -> sourced answer."""
# Retrieval
context = self.retrieve(question, k=k)
# Generation
answer = self.generate(question, context)
return {
"question": question,
"answer": answer,
"sources": [c["source"] for c in context],
"n_chunks_used": len(context),
}
# Usage
rag = RAGPipeline(chunks, embeddings)
result = rag.ask("How does indexing work in FAISS?")
print(f"Question: {result['question']}")
print(f"Answer: {result['answer']}")
print(f"Sources: {result['sources']}")
Trí Leagan Leid de réir Cás Úsáide
Is féidir leat an leid bonn a speisialú ag brath ar an méid a bhfuil tú ag súil leis ón gcúntóir. Má chaithfidh do chuid úsáideoirí gach éileamh a fhíorú, iarr go sainráite ar luachanna tagartha i lúibíní. Ceanglaíonn an múnla gach abairt ansin le doiciméad uimhrithe. Má chothaíonn an freagra comhéadan nó tuarascáil, forfheidhmíonn formáid struchtúrtha rannáin chobhsaí: freagra gonta, mionsonraí, foinsí, agus leibhéal muiníne a léiríonn cé chomh maith agus a chlúdaíonn an comhthéacs an cheist. Imríonn an tríú leagan ról difriúil: múineann sé don mhúnla éiginnteacht a bhriseadh síos trí idirdhealú a dhéanamh idir an méid is féidir leis a dheimhniú, an méid atá in easnamh, agus cá háit le breathnú ina dhiaidh sin. Go minic, táirgeann sé seo na cúntóirí is úsáidí sa chleachtas, toisc go mbuaileann “Tá X in easnamh orm” freagra muiníneach ach mícheart.
# 1. Prompt with citation instruction
prompt_cite = """Answer by citing source documents in brackets.
Example: "RAG improves accuracy [Document 1]."
Context: {context}
Question: {question}"""
# 2. Prompt with structured format
prompt_structured = """Answer in the following format:
**Answer**: [your concise answer]
**Details**: [detailed explanation]
**Sources**: [list of documents used]
**Confidence**: [high/medium/low based on context coverage]
Context: {context}
Question: {question}"""
# 3. Prompt with missing-information handling
prompt_honest = """If the context does not contain enough information to
answer completely, state clearly:
- What you can assert with certainty
- What is missing from the context
- Suggestions for obtaining the missing information
Context: {context}
Question: {question}"""
Ar thaobh na bparaiméadar glao, rialaíonn trí shocrú iompraíocht RAG. Glasálann teocht íseal aschur fíorasach, coscaíonn max_tokens freagraí a imíonn ina n-aistí, agus sáraíonn top_p coimeádach an stór focal sampláilte leis na leanúintí is dóichí.
# For RAG, use a low temperature
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": prompt}],
temperature=0.1, # Factual, low creativity
max_tokens=1024, # Limit answer length
top_p=0.95, # Conservative nucleus sampling
)
Príomhphointí
- Insteallann an leid RAG an comhthéacs aisghafa roimh an gceist
- Úsáid teocht íseal (0.1–0.3) le haghaidh freagraí fíorasacha
- Iarr ar an múnla foinsí a lua le haghaidh inrianaitheachta
- Capsúlaíonn an rang RAGPipeline an sreabha iomlán: aisghabháil, giniúint, ceist
- Déileáil le cásanna nach bhfuil dóthain faisnéise sa chomhthéacs