Извличане и генериране
На тази страница
От вектор до отговор
Вече знаете как да индексирате документи и да извличате онези, които са най-близки до даден въпрос. Остава една стъпка: превръщането на списък с фрагменти в четим отговор. Това означава инжектиране на извлечения контекст в подкана (prompt), така че големият езиков модел (LLM) да формулира отговор въз основа на вашите данни, а не на спомените от обучението си. Това изисква само няколко реда код, но прави решаваща разлика в качеството. Добре представеният контекст и ясната инструкция са също толкова важни, колкото и точността на извличането.
Изграждане на RAG подканата
Структурата на подканата е проста, но всеки избор има последствия. Номерирайте фрагментите и ги анотирайте с източника им, за да може моделът да цитира прецизно. Разделете ги с видим разделител, ---, за да не обедини моделът два противоречиви документа в едно твърдение. Най-важното е инструкцията изрично да ограничава отговора до предоставения контекст и да позволява на модела да каже, че не знае. Без това разрешение LLM, попитан за липсваща информация, ще запълни празнотата с каквото му се стори правдоподобно. Това е самият механизъм на халюцинациите.
def build_rag_prompt(question, retrieved_chunks):
"""Build the RAG prompt with retrieved context."""
# Format the context
context_parts = []
for i, chunk in enumerate(retrieved_chunks):
source = chunk.get("source", "unknown source")
context_parts.append(f"[Document {i+1} - {source}]\n{chunk['text']}")
context = "\n\n---\n\n".join(context_parts)
prompt = f"""You are an expert assistant. Answer the question using
ONLY the context provided below. If the information is not in the
context, say so clearly.
## Context
{context}
## Question
{question}
## Answer"""
return prompt
Генериране на отговора
Извикването за генериране е директно: системно съобщение, което препотвърждава ролята, и потребителско съобщение, което носи сглобената подкана. Обърнете внимание на параметъра temperature, зададен тук на 0.1. При творческото писане искате разнообразие; при RAG искате обратното. Искате моделът да остане възможно най-близо до това, което казва контекстът, и искате две изпълнения на един и същи въпрос да произведат един и същи отговор. Висока температура би подтикнала модела да преформулира, да екстраполира и да се отклони от източника.
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
def generate_answer(question, retrieved_chunks, model="mistral-large-latest"):
"""Generate a RAG answer with Mistral."""
prompt = build_rag_prompt(question, retrieved_chunks)
response = client.chat.complete(
model=model,
messages=[
{
"role": "system",
"content": "You are a precise assistant that answers based on the provided context."
},
{
"role": "user",
"content": prompt,
}
],
temperature=0.1, # Low temperature for factual answers
)
return response.choices[0].message.content
# Example
question = "What are the main steps of RAG?"
results = search_index(question, index, chunks, k=3)
answer = generate_answer(question, results)
print(answer)
Опаковане на потока в клас
Разпръснатите функции работят за проучване, но не и за внедряване. Класът RAGPipeline групира състоянието – фрагментите, матрицата с вгражданията и FAISS индекса, изградени веднъж при инициализацията – и три операции: retrieve кодира въпроса и заявява индекса, generate сглобява подканата и извиква модела, а ask свързва двете. Обърнете внимание какво връща ask: не низ, а речник, съдържащ отговора, списъка с източниците и броя на използваните фрагменти. Тази проследимост е това, което отличава одитируемия асистент от черната кутия. В деня, в който потребител оспори отговор, Вие ще знаете върху кои пасажи се е основал той.
import numpy as np
import faiss
from mistralai.client import Mistral
client = Mistral(api_key=api_key)
class RAGPipeline:
"""Complete RAG pipeline with Mistral and FAISS."""
def __init__(self, chunks, embeddings):
self.chunks = chunks
self.embeddings = embeddings.astype(np.float32)
# Create the FAISS index
dimension = embeddings.shape[1]
self.index = faiss.IndexFlatL2(dimension)
self.index.add(self.embeddings)
def retrieve(self, question, k=3):
"""Step 1: retrieve relevant chunks."""
response = client.embeddings.create(
model="mistral-embed",
inputs=[question],
)
query_vector = np.array(
[response.data[0].embedding], dtype=np.float32
)
distances, indices = self.index.search(query_vector, k)
results = []
for dist, idx in zip(distances[0], indices[0]):
if idx >= 0:
results.append({
"text": self.chunks[idx]["text"],
"source": self.chunks[idx].get("source", ""),
"distance": float(dist),
})
return results
def generate(self, question, context_chunks):
"""Step 2: generate the answer with context."""
prompt = build_rag_prompt(question, context_chunks)
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": prompt}],
temperature=0.1,
)
return response.choices[0].message.content
def ask(self, question, k=3):
"""Full pipeline: question -> sourced answer."""
# Retrieval
context = self.retrieve(question, k=k)
# Generation
answer = self.generate(question, context)
return {
"question": question,
"answer": answer,
"sources": [c["source"] for c in context],
"n_chunks_used": len(context),
}
# Usage
rag = RAGPipeline(chunks, embeddings)
result = rag.ask("How does indexing work in FAISS?")
print(f"Question: {result['question']}")
print(f"Answer: {result['answer']}")
print(f"Sources: {result['sources']}")
Три варианта на подканата според случая на употреба
Можете да специализирате базовата подкана в зависимост от това какво очаквате от асистента. Ако потребителите Ви трябва да проверят всяко твърдение, изрично поискайте цитати в скоби. Тогава моделът прикрепя всяко изречение към номериран документ. Ако отговорът захранва интерфейс или отчет, структуриран формат налага стабилни секции: кратък отговор, подробности, източници и ниво на доверие, което отразява колко добре контекстът покрива въпроса. Третият вариант играе различна роля: той учи модела да разбива несигурността, като прави разлика между това, което може да твърди, какво липсва и къде да търси следващо. Това често произвежда най-полезните асистенти на практика, защото „Липсва ми X“ е по-добре от уверен, но грешен отговор.
# 1. Prompt with citation instruction
prompt_cite = """Answer by citing source documents in brackets.
Example: "RAG improves accuracy [Document 1]."
Context: {context}
Question: {question}"""
# 2. Prompt with structured format
prompt_structured = """Answer in the following format:
**Answer**: [your concise answer]
**Details**: [detailed explanation]
**Sources**: [list of documents used]
**Confidence**: [high/medium/low based on context coverage]
Context: {context}
Question: {question}"""
# 3. Prompt with missing-information handling
prompt_honest = """If the context does not contain enough information to
answer completely, state clearly:
- What you can assert with certainty
- What is missing from the context
- Suggestions for obtaining the missing information
Context: {context}
Question: {question}"""
От гледна точка на параметрите на извикването, три настройки управляват поведението на RAG. Ниска температура заключва фактологичния изход, max_tokens предотвратява отговори, които се превръщат в есета, а консервативен top_p ограничава семплирания речник до най-вероятните продължения.
# For RAG, use a low temperature
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": prompt}],
temperature=0.1, # Factual, low creativity
max_tokens=1024, # Limit answer length
top_p=0.95, # Conservative nucleus sampling
)
Ключови изводи
- RAG подканата инжектира извлечения контекст преди въпроса
- Използвайте ниска температура (0.1–0.3) за фактологични отговори
- Поискайте от модела да цитира източниците за проследимост
- Класът
RAGPipelineобединява целия поток: извличане, генериране, задаване на въпрос - Обработвайте случаите, когато контекстът няма достатъчно информация