RAG Ceartaitheach
Ar an leathanach seo
Nuair nach leor an aisghabháil
Braitheann an córas RAG a thóg tú ar thoimhd fhollasach: gur iad na blúirí is cosúla leis an gceist na cinn chearta. Is minic a bhíonn an toimhd seo fíor, ach ní bhíonn sí i gcónaí. Má chuireann tú ceist ar d’innéacs faoi ábhar nach bhfuil ann, fillfidh FAISS fós na cúig veicteoir is gaire, beag beann ar chomh hainbhí agus atá siad—níl a fhios ag inneall cosúlachta conas a rá “níl aon rud agam”. Faigheann an tsamhail comhthéacs míoiriúnach ansin, agus ós rud é go n-iarrann an leid uirthi brath ar an gcomhthéacs sin, cruthaíonn sí freagra a bhfuil cuma údarásach air ach nach bhfuil bonn faoi. Is é seo an cás hallaisinéireachta is insidious toisc gur oibrigh an slabhra teicniúil gan earráid ar bith.
Cuirtear céim meastóireachta isteach idir aisghabháil agus giniúint le RAG Ceartaitheach (CRAG). Déanann LLM scrúdú ar gach doiciméad a aisghabhadh agus cinneann sé: an bhfuil baint aige leis nó nach bhfuil. Má tá an breithiúnas diúltach, ní ghineann an córas leis an méid atá aige amháin—aistríonn sé chuig cuardach gréasáin chun an t-eolas atá in easnamh ar do chorpas a aimsiú in áit eile. Mar sin, tá ceithre chéim sa sreabhadh: aisghabháil chaighdeánach ón stóras veicteoir, grádú gach doiciméid i gcoinne na ceiste, cinneadh an bhfuil gá le cuardach gréasáin a spreagadh má mheastar nach bhfuil baint ag doiciméad amháin ar a laghad leis, agus ar deireadh giniúint leis na doiciméid is fearr atá ar fáil.
An grádóir doiciméad
Braitheann gach rud ar an ngrádóir. Is é an cleas ná iarraidh ar an LLM breithiúnas dénártha a thabhairt i bhformáid JSON seachas measúnú saorchruthach: {"score": "yes"} nó {"score": "no"}, agus aon rud eile seachas sin. Ráthaíonn an paraiméadar response_format={"type": "json_object"} aschur inpharsáilte, agus díbríonn temperature=0 an t-athraitheacht—caithfidh an péire ceiste/doiciméid céanna an breithiúnas céanna a fháil i gcónaí, nó beidh iompar do phíblíne dodhéanta a atáirgeadh.
from mistralai.client import Mistral
import json
client = Mistral(api_key=api_key)
def grade_document(question, document):
"""Measúnú an bhfuil doiciméad ábhartha don cheist."""
prompt = f"""You are a relevance evaluator. Given a question
and a document, determine if the document contains relevant information
to answer the question.
Respond ONLY with a JSON object: {{"score": "yes"}} or {{"score": "no"}}
Question : {question}
Document : {document}
JSON Evaluation:"""
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": prompt}],
temperature=0,
response_format={"type": "json_object"},
)
result = json.loads(response.choices[0].message.content)
return result.get("score", "no") == "yes"
# Tástáil
question = "What are the steps of RAG?"
doc_pertinent = "RAG breaks down into retrieval, augmentation, and generation."
doc_non_pertinent = "The tiramisu recipe requires mascarpone."
print(grade_document(question, doc_pertinent)) # True
print(grade_document(question, doc_non_pertinent)) # False
Tuilleann an tástáil ag deireadh an bhloic aird. Léiríonn an oideas tiramisu go díreach an méid a ligeann cosúlacht veicteoir teacht tríd: má labhraíonn do chorpas faoi chócaireacht amháin agus má chuireann tú ceist faoi RAG air, beidh an blúire seo ar barr an liosta in easnamh iomaíochta. Ní dhéanann an grádóir comparáid idir veicteoirí áfach, ach léann sé an t-inneachar, agus diúltaíonn sé dó.
Nuair a chuirtear an breithiúnas seo i bhfeidhm ar gach blúire a aisghabhadh, cruthaítear dhá thosa eolais: an liosta scagtha de dhoiciméid le coinneáil, agus booleán a léiríonn an gá leis an ngréasán a chur leis. Tá an tairseach a roghnaítear anseo dian d’aon ghnó—is leor doiciméad amháin a chailliúint chun an cúltaca a spreagadh, ar an mbonn go bhfuil an comhthéacs neamhiomlán ansin.
def grade_documents(question, retrieved_chunks):
"""Measúnú agus scagadh ar dhoiciméid a aisghabhadh."""
relevant_docs = []
irrelevant_count = 0
for chunk in retrieved_chunks:
is_relevant = grade_document(question, chunk["text"])
if is_relevant:
relevant_docs.append(chunk)
else:
irrelevant_count += 1
need_web_search = irrelevant_count > 0
print(f" Relevant: {len(relevant_docs)}/{len(retrieved_chunks)}")
print(f" Web search needed: {need_web_search}")
return relevant_docs, need_web_search
An líon sábháilteachta gréasáin
Nuair nach leor na doiciméid áitiúla, féachann an córas in áit eile. Soláthraíonn Mistral uirlis ionsuite don chuspóir seo, web_search, a chumasaíonn tú tríd an Conversations API: déanann an tsamhail an cuardach féin, ansin scríobhann sí a freagra ag lua a foinsí. Tá tábhacht leis an mionsonra seo toisc nach féidir le glaonna simplí client.chat.complete cuardach a dhéanamh ar an ngréasán: d’fhreagródh an tsamhail ón gcuimhne, leis an riosca go gcruthódh sí go díreach an rud atá CRAG ag iarraidh a sheachaint. Agus ó leagan 3.0 den SDK, diúltaíonn críochnuithe comhrá don uirlis web_search i ndáiríre.
Is é an pointe dearaidh lárnach ná an fhormáid fillte: filleann an fheidhm liosta de fhillteáin leis an gcruth céanna le do bhlúirí áitiúla, le réimse source socraithe ar web_search, agus cuireann sí na URLanna luaithe leis. Ligeann an t-aonfhoirmeacht seo do chéimeanna síos an sruth neamhaird a dhéanamh go hiomlán ar thionscnamh na ndoiciméad agus an t-rian a chaomhnú don úsáideoir deiridh ag an am céanna.
def web_search_fallback(question):
"""Cúltaca cuardaigh gréasáin nuair nach leor doiciméid áitiúla."""
response = client.beta.conversations.start(
model="mistral-medium-latest",
inputs=question,
instructions="Answer factually, relying on web search results.",
tools=[{"type": "web_search"}],
store=False, # ní gá an comhrá a choinneáil ar thaobh Mistral
)
texte, urls = "", []
for entry in response.outputs:
if entry.type != "message.output":
continue # déan neamhaird ar an iontráil a dhéanann cur síos ar fhorghníomhú uirlise
if isinstance(entry.content, str):
texte += entry.content
continue
for chunk in entry.content:
if chunk.type == "text":
texte += chunk.text
elif chunk.type == "tool_reference" and chunk.url:
urls.append(chunk.url)
# Fill mar dhoiciméad "gréasáin", le foinsí luaithe
return [{
"text": texte,
"source": "web_search",
"urls": urls,
}]
Tá dhá chineál iontrála san fhreagra: iontráil tool.execution, a dhéanann cur síos ar an gcuardach a seoladh, agus iontráil message.output, a athraíonn a hinneachar idir blúirí téacs agus tagairtí (tool_reference) a iompraíonn teideal agus URL na leathanach a consultáladh. Is féidir le riarthóir eagraíochta fearainn a chuirtear faoi cheist a shrianadh trí liosta ceadaithe nó liosta blocála; imíonn torthaí scagtha gan rabhadh, mar sin d’fhéadfadh liosta ceadaithe ró-chúng fágáil gan aon toradh ar an gcuardach.
Foinse oifigiúil: Websearch (doiciméadú Mistral)
An phíblíne chomhcheangailte
Déanann an rang CorrectiveRAG athrá ar struchtúr na píblíne caighdeánaí trí ghrádú a chur isteach. Tá an réamhshocrú k=4 beagán níos flaithiúla ná na trí bhlúire gnáth, rud a bhfuil ciall leis: ós rud é go gcaithfidh an scagadh cuid acu amach, is fearr tosú le corrlach. Déanann an modh ask ceithre chéim an phróisis a chomhordú agus taispeánann sé gach ceann acu, rud a ligeann duit réasúnú an chórais a leanúint i bhfíor-am—cé mhéad doiciméad a mhair an grádú, an raibh an cúltaca spreagtha nó nach raibh. Nochtann an foclóir fillte web_search_used freisin: is táscaire luachmhar é seo le monatóireacht a dhéanamh air i dtáirgeadh, toisc nach léiríonn ráta úsáide gréasáin atá ard go mínormálta locht i gCRAG ach bearna i do chorpas.
class CorrectiveRAG:
"""Píblíne RAG Ceartaitheach le measúnú agus cúltaca gréasáin."""
def __init__(self, chunks, embeddings, index):
self.chunks = chunks
self.embeddings = embeddings
self.index = index
def retrieve(self, question, k=4):
"""Céim 1: aisghabháil chaighdeánach."""
response = client.embeddings.create(
model="mistral-embed",
inputs=[question],
)
query_vec = np.array([response.data[0].embedding], dtype=np.float32)
distances, indices = self.index.search(query_vec, k)
results = []
for dist, idx in zip(distances[0], indices[0]):
if idx >= 0:
results.append({
"text": self.chunks[idx]["text"],
"source": self.chunks[idx].get("source", "local"),
})
return results
def grade(self, question, documents):
"""Céim 2: measúnú ábharthachta."""
relevant = []
for doc in documents:
if grade_document(question, doc["text"]):
relevant.append(doc)
need_web = len(relevant) < len(documents)
return relevant, need_web
def generate(self, question, documents):
"""Céim 3: an freagra a ghiniúint."""
context = "\n\n---\n\n".join([d["text"] for d in documents])
prompt = f"""Context :\n{context}\n\nQuestion : {question}"""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Answer based on the context."},
{"role": "user", "content": prompt},
],
temperature=0.1,
)
return response.choices[0].message.content
def ask(self, question, k=4):
"""An phíblíne iomlán."""
print(f"\n=== Question : {question} ===")
# 1. Aisghabháil
print("1. Retrieval...")
docs = self.retrieve(question, k=k)
# 2. Grádú
print("2. Grading...")
relevant_docs, need_web = self.grade(question, docs)
# 3. Cúltaca cuardaigh gréasáin más gá
if need_web:
print("3. Fallback web search...")
web_docs = web_search_fallback(question)
relevant_docs.extend(web_docs)
# 4. Giniúint
print("4. Generation...")
answer = self.generate(question, relevant_docs)
return {
"answer": answer,
"sources_used": len(relevant_docs),
"web_search_used": need_web,
}
# Úsáid
crag = CorrectiveRAG(chunks, embeddings, index)
result = crag.ask("How does Mistral implement embeddings?")
print(f"\nAnswer : {result['answer']}")
print(f"Web search used : {result['web_search_used']}")
Tagann an iontaofacht seo ar chostas ar chóir duit glacadh leis go feasach: le k=4, spreagann gach ceist ceithre ghlaonna grádaithe sula dtosaíonn an ghiniúint fiú. Méadaíonn an mhoill a mhothaíonn an t-úsáideoir dá réir, agus méadaíonn an bille freisin. Athraíonn an comhréir de réir cásanna úsáide—do chúntóir dlí nó leighis, tá fíorú dodhéanta gan a bheith ann; d’inneall cuardaigh inmheánach ina bhfeiceann an t-úsáideoir na foinsí agus ina ndéanann sé/sí breithiúnas air féin, tá sé níos lú criticiúil.
Príomhphointí
- Cuireann RAG Ceartaitheach céim measúnaithe ábharthachta leis tar éis na haisghabhála
- Feidhmíonn LLM mar “ghrádóir” chun breithiúnas a dhéanamh ar gach doiciméad: an bhfuil baint aige leis nó nach bhfuil
- Má mheastar nach bhfuil baint ag na doiciméid leis, spreagtar cúltaca chuig cuardach gréasáin
- Laghdaíonn an cur chuige seo hallaisinéireacht go suntasach mar gheall ar chomhthéacs míoiriúnach
- Cuireann an grádú moill leis ach feabhsaíonn sé iontaofacht na bhfreagraí go mór