Премини към основното съдържание
Български— Изберете език
Меню

Извличане и генериране

Урок 13 от 18 Обновен 2 ноември 2026 г. Програмист
На тази страница
  1. От вектор до отговор
  2. Изграждане на RAG подканата
  3. Генериране на отговора
  4. Опаковане на потока в клас
  5. Три варианта на подканата според случая на употреба
  6. Ключови изводи

От вектор до отговор

Вече знаете как да индексирате документи и да извличате онези, които са най-близки до даден въпрос. Остава една стъпка: превръщането на списък с фрагменти в четим отговор. Това означава инжектиране на извлечения контекст в подкана (prompt), така че големият езиков модел (LLM) да формулира отговор въз основа на вашите данни, а не на спомените от обучението си. Това изисква само няколко реда код, но прави решаваща разлика в качеството. Добре представеният контекст и ясната инструкция са също толкова важни, колкото и точността на извличането.

Изграждане на RAG подканата

Структурата на подканата е проста, но всеки избор има последствия. Номерирайте фрагментите и ги анотирайте с източника им, за да може моделът да цитира прецизно. Разделете ги с видим разделител, ---, за да не обедини моделът два противоречиви документа в едно твърдение. Най-важното е инструкцията изрично да ограничава отговора до предоставения контекст и да позволява на модела да каже, че не знае. Без това разрешение LLM, попитан за липсваща информация, ще запълни празнотата с каквото му се стори правдоподобно. Това е самият механизъм на халюцинациите.

def build_rag_prompt(question, retrieved_chunks):
    """Build the RAG prompt with retrieved context."""
    # Format the context
    context_parts = []
    for i, chunk in enumerate(retrieved_chunks):
        source = chunk.get("source", "unknown source")
        context_parts.append(f"[Document {i+1} - {source}]\n{chunk['text']}")

    context = "\n\n---\n\n".join(context_parts)

    prompt = f"""You are an expert assistant. Answer the question using
ONLY the context provided below. If the information is not in the
context, say so clearly.

## Context

{context}

## Question

{question}

## Answer"""

    return prompt

Генериране на отговора

Извикването за генериране е директно: системно съобщение, което препотвърждава ролята, и потребителско съобщение, което носи сглобената подкана. Обърнете внимание на параметъра temperature, зададен тук на 0.1. При творческото писане искате разнообразие; при RAG искате обратното. Искате моделът да остане възможно най-близо до това, което казва контекстът, и искате две изпълнения на един и същи въпрос да произведат един и същи отговор. Висока температура би подтикнала модела да преформулира, да екстраполира и да се отклони от източника.

from mistralai.client import Mistral

client = Mistral(api_key=api_key)

def generate_answer(question, retrieved_chunks, model="mistral-large-latest"):
    """Generate a RAG answer with Mistral."""
    prompt = build_rag_prompt(question, retrieved_chunks)

    response = client.chat.complete(
        model=model,
        messages=[
            {
                "role": "system",
                "content": "You are a precise assistant that answers based on the provided context."
            },
            {
                "role": "user",
                "content": prompt,
            }
        ],
        temperature=0.1,  # Low temperature for factual answers
    )

    return response.choices[0].message.content

# Example
question = "What are the main steps of RAG?"
results = search_index(question, index, chunks, k=3)
answer = generate_answer(question, results)
print(answer)

Опаковане на потока в клас

Разпръснатите функции работят за проучване, но не и за внедряване. Класът RAGPipeline групира състоянието – фрагментите, матрицата с вгражданията и FAISS индекса, изградени веднъж при инициализацията – и три операции: retrieve кодира въпроса и заявява индекса, generate сглобява подканата и извиква модела, а ask свързва двете. Обърнете внимание какво връща ask: не низ, а речник, съдържащ отговора, списъка с източниците и броя на използваните фрагменти. Тази проследимост е това, което отличава одитируемия асистент от черната кутия. В деня, в който потребител оспори отговор, Вие ще знаете върху кои пасажи се е основал той.

import numpy as np
import faiss
from mistralai.client import Mistral

client = Mistral(api_key=api_key)

class RAGPipeline:
    """Complete RAG pipeline with Mistral and FAISS."""

    def __init__(self, chunks, embeddings):
        self.chunks = chunks
        self.embeddings = embeddings.astype(np.float32)

        # Create the FAISS index
        dimension = embeddings.shape[1]
        self.index = faiss.IndexFlatL2(dimension)
        self.index.add(self.embeddings)

    def retrieve(self, question, k=3):
        """Step 1: retrieve relevant chunks."""
        response = client.embeddings.create(
            model="mistral-embed",
            inputs=[question],
        )
        query_vector = np.array(
            [response.data[0].embedding], dtype=np.float32
        )

        distances, indices = self.index.search(query_vector, k)

        results = []
        for dist, idx in zip(distances[0], indices[0]):
            if idx >= 0:
                results.append({
                    "text": self.chunks[idx]["text"],
                    "source": self.chunks[idx].get("source", ""),
                    "distance": float(dist),
                })
        return results

    def generate(self, question, context_chunks):
        """Step 2: generate the answer with context."""
        prompt = build_rag_prompt(question, context_chunks)

        response = client.chat.complete(
            model="mistral-large-latest",
            messages=[{"role": "user", "content": prompt}],
            temperature=0.1,
        )
        return response.choices[0].message.content

    def ask(self, question, k=3):
        """Full pipeline: question -> sourced answer."""
        # Retrieval
        context = self.retrieve(question, k=k)

        # Generation
        answer = self.generate(question, context)

        return {
            "question": question,
            "answer": answer,
            "sources": [c["source"] for c in context],
            "n_chunks_used": len(context),
        }

# Usage
rag = RAGPipeline(chunks, embeddings)
result = rag.ask("How does indexing work in FAISS?")

print(f"Question: {result['question']}")
print(f"Answer: {result['answer']}")
print(f"Sources: {result['sources']}")

Три варианта на подканата според случая на употреба

Можете да специализирате базовата подкана в зависимост от това какво очаквате от асистента. Ако потребителите Ви трябва да проверят всяко твърдение, изрично поискайте цитати в скоби. Тогава моделът прикрепя всяко изречение към номериран документ. Ако отговорът захранва интерфейс или отчет, структуриран формат налага стабилни секции: кратък отговор, подробности, източници и ниво на доверие, което отразява колко добре контекстът покрива въпроса. Третият вариант играе различна роля: той учи модела да разбива несигурността, като прави разлика между това, което може да твърди, какво липсва и къде да търси следващо. Това често произвежда най-полезните асистенти на практика, защото „Липсва ми X“ е по-добре от уверен, но грешен отговор.

# 1. Prompt with citation instruction
prompt_cite = """Answer by citing source documents in brackets.
Example: "RAG improves accuracy [Document 1]."

Context: {context}
Question: {question}"""

# 2. Prompt with structured format
prompt_structured = """Answer in the following format:

**Answer**: [your concise answer]
**Details**: [detailed explanation]
**Sources**: [list of documents used]
**Confidence**: [high/medium/low based on context coverage]

Context: {context}
Question: {question}"""

# 3. Prompt with missing-information handling
prompt_honest = """If the context does not contain enough information to
answer completely, state clearly:
- What you can assert with certainty
- What is missing from the context
- Suggestions for obtaining the missing information

Context: {context}
Question: {question}"""

От гледна точка на параметрите на извикването, три настройки управляват поведението на RAG. Ниска температура заключва фактологичния изход, max_tokens предотвратява отговори, които се превръщат в есета, а консервативен top_p ограничава семплирания речник до най-вероятните продължения.

# For RAG, use a low temperature
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": prompt}],
    temperature=0.1,   # Factual, low creativity
    max_tokens=1024,    # Limit answer length
    top_p=0.95,         # Conservative nucleus sampling
)

Ключови изводи

  • RAG подканата инжектира извлечения контекст преди въпроса
  • Използвайте ниска температура (0.1–0.3) за фактологични отговори
  • Поискайте от модела да цитира източниците за проследимост
  • Класът RAGPipeline обединява целия поток: извличане, генериране, задаване на въпрос
  • Обработвайте случаите, когато контекстът няма достатъчно информация