Koko RAG-putki
Tällä sivulla
Kaikki yhteen
Aiemmissa oppitunneissa käsittelimme ketjun jokaista lenkkiä erikseen: lataaminen, paloitteleminen, koodaus, indeksointi, haku ja generointi. Nyt on aika hitsata ne yhdeksi täydelliseksi, päästä päähän toimivaksi ohjelmaksi, jonka voit ajaa sellaisenaan ja mukauttaa omiin dokumentteihisi. Tämä skripti mahtuu yhteen tiedostoon ja vaatii vain neljä riippuvuutta.
pip install mistralai faiss-cpu numpy requests
Koko putki
Koodin rakennetta ohjaavat kaksi suunnitteluratkaisua. Ensinnäkin ryhmitämme kaikki asetukset tiedoston alkuun: mallit, lohkon koko, eräkoko ja TOP_K on nimetty vakioiksi. Tämä säästää sinua kaivamasta kovakoodattuja arvoja funktioiden uumenista, kun haluat hienosäätää toimintaa. Toiseksi jaamme logiikan kuuteen itsenäiseen funktioon, joista kukin vastaa yhtä vaihetta ja tulostaa edistymisen muodossa [n/6]. Tämä jäljitys ei ole koriste: kun putki epäonnistuu tai palauttaa outoja vastauksia, se kertoo välittömästi, onko ongelma lataamisessa, paloittelemisessa vai haussa. Jokaista funktiota voi myös vaihtaa erillään – voit esimerkiksi korvata load_data-funktion PDF-laturilla koskematta muuhun koodiin.
main-funktio ketjuttaa vaiheet yhteen ja kysyy sitten korpukselta kolme kysymystä Paul Grahamin esseestä, jota käytimme demoaineistona. Huomaa, että haku ja generointi suoritetaan silmukassa, kun taas indeksointi tapahtuu vain kerran etukäteen: koko korpuksen uudelleenkoodaus jokaista kysymystä varten olisi absurdiä sekä kustannusten että viiveen kannalta.
import os
import json
import numpy as np
import faiss
import requests
from mistralai.client import Mistral
# ============================================================
# Configuration
# ============================================================
MISTRAL_API_KEY = os.environ.get("MISTRAL_API_KEY")
EMBED_MODEL = "mistral-embed"
CHAT_MODEL = "mistral-large-latest"
CHUNK_SIZE = 2048
BATCH_SIZE = 25
TOP_K = 3
client = Mistral(api_key=MISTRAL_API_KEY)
# ============================================================
# Step 1: Load Data
# ============================================================
def load_data(url):
"""Load a text document from a URL."""
print("[1/6] Loading data...")
response = requests.get(url)
response.raise_for_status()
text = response.text
print(f" -> {len(text)} characters loaded")
return text
# ============================================================
# Step 2: Create Chunks
# ============================================================
def create_chunks(text, chunk_size=CHUNK_SIZE):
"""Split text into chunks."""
print("[2/6] Creating chunks...")
chunks = []
paragraphs = text.split("\n\n")
current = ""
for para in paragraphs:
para = para.strip()
if not para:
continue
if len(current) + len(para) + 2 <= chunk_size:
current = current + "\n\n" + para if current else para
else:
if current:
chunks.append(current)
current = para
if current:
chunks.append(current)
print(f" -> {len(chunks)} chunks created (avg size: {sum(len(c) for c in chunks) // len(chunks)} chars)")
return chunks
# ============================================================
# Step 3: Generate Embeddings
# ============================================================
def create_embeddings(chunks, batch_size=BATCH_SIZE):
"""Encode chunks into embeddings via mistral-embed."""
print("[3/6] Generating embeddings...")
all_embeddings = []
for i in range(0, len(chunks), batch_size):
batch = chunks[i:i + batch_size]
response = client.embeddings.create(
model=EMBED_MODEL,
inputs=batch,
)
all_embeddings.extend([d.embedding for d in response.data])
print(f" -> Batch {i // batch_size + 1}/{(len(chunks) - 1) // batch_size + 1} encoded")
embeddings = np.array(all_embeddings, dtype=np.float32)
print(f" -> Matrix: {embeddings.shape}")
return embeddings
# ============================================================
# Step 4: Create FAISS Index
# ============================================================
def create_index(embeddings):
"""Create and populate a FAISS index."""
print("[4/6] Creating FAISS index...")
dimension = embeddings.shape[1]
index = faiss.IndexFlatL2(dimension)
index.add(embeddings)
print(f" -> Index: {index.ntotal} vectors, dimension {dimension}")
return index
# ============================================================
# Step 5: Retrieve Relevant Chunks
# ============================================================
def retrieve(question, index, chunks, k=TOP_K):
"""Retrieve the most relevant chunks."""
print(f"[5/6] Searching for: '{question[:50]}...'")
response = client.embeddings.create(
model=EMBED_MODEL,
inputs=[question],
)
query_vector = np.array([response.data[0].embedding], dtype=np.float32)
distances, indices = index.search(query_vector, k)
results = []
for dist, idx in zip(distances[0], indices[0]):
if idx >= 0:
results.append({
"text": chunks[idx],
"distance": float(dist),
})
print(f" -> {len(results)} chunks retrieved")
return results
# ============================================================
# Step 6: Generate Answer
# ============================================================
def generate(question, context_chunks):
"""Generate the answer using retrieved context."""
print("[6/6] Generating answer...")
context = "\n\n---\n\n".join([c["text"] for c in context_chunks])
prompt = f"""Informative context:
{context}
---
Based ONLY on the context above, answer the following question precisely and completely.
Question: {question}"""
response = client.chat.complete(
model=CHAT_MODEL,
messages=[
{"role": "system", "content": "You are an assistant that answers based on the provided context."},
{"role": "user", "content": prompt},
],
temperature=0.1,
)
answer = response.choices[0].message.content
print(f" -> Answer generated ({len(answer)} characters)")
return answer
# ============================================================
# Main Pipeline
# ============================================================
def main():
"""Run the complete RAG pipeline."""
# 1. Load
url = "https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt"
text = load_data(url)
# 2. Chunk
chunks = create_chunks(text)
# 3. Encode
embeddings = create_embeddings(chunks)
# 4. Index
index = create_index(embeddings)
# 5+6. Question -> Answer
questions = [
"What were the two main things the author worked on before college?",
"What did the author do during their time at Y Combinator?",
"What programming language did the author learn first?",
]
for question in questions:
print(f"\n{'='*60}")
context = retrieve(question, index, chunks)
answer = generate(question, context)
print(f"\nQ: {question}")
print(f"A: {answer}")
if __name__ == "__main__":
main()
Putken suorittaminen
Tallenna tämä koodi nimellä rag_pipeline.py, vie API-avaimesi ympäristömuuttujaan – älä koskaan kovakoodaa sitä tiedostoon, sillä se päätyy ennemmin tai myöhemmin versiohallintaan – ja suorita sitten skripti. Tuloste käy läpi kuusi vaihetta ja käsittelee sen jälkeen kolme kysymystä vastauksineen. Jos jokin vastaus vaikuttaa aiheen vierestä, vertaa sitä vaiheessa 5 näytettyihin lohkoihin ennen kuin syytät generointimallia.
export MISTRAL_API_KEY="your-api-key"
python rag_pipeline.py
Viisi suuntaa jatkokehitykseen
Tämä putki on perusta, ei valmis tuote, ja sen jokainen rajoitus osoittaa seuraavan askeleen. Ilmeisin parannus on pysyvyys: nykyisellään skripti koodaa koko korpuksen uudelleen joka ajokerralla, kun taas FAISS-indeksin ja lohkojen tallentaminen tekisi myöhemmistä suorituksista lähes välittömiä. Seuraava taso on uudelleenjärjestely (re-ranking), jossa FAISS-tulokset syötetään ristiinkooderiin (cross-encoder), joka arvioi relevanssia huomattavasti tarkemmin kuin pelkkä vektorietäisyys. Metatietosuodatus vastaa toiseen tarpeeseen: haun rajoittaminen päivämäärän, kategorian tai tekijän perusteella samankaltaisuuden lisäksi. Kaksi viimeistä parannusta keskittyvät käyttäjäkokemukseen: suoratoisto (streaming), joka näyttää vastauksen sen generoituessa useiden sekuntien hiljaisuuden sijaan, sekä keskusteluhistoria, jonka avulla käyttäjät voivat jatkaa kysymyksellä “entä versio 2?” ilman koko kysymyksen uudelleenmuotoilua.
# 1. Save the index to avoid recalculating
faiss.write_index(index, "my_rag.index")
np.save("my_chunks.npy", np.array(chunks, dtype=object))
# 2. Add re-ranking
# After FAISS retrieval, use a cross-encoder model
# to re-order results by fine-grained relevance
# 3. Metadata filtering
# Add filters (date, category, author) in addition
# to vector similarity
# 4. Response streaming
# Use client.chat.stream() to display the answer
# as it generates
# 5. Conversation history
# Add previous exchanges to the prompt
# for a contextual RAG chatbot
Keskeiset asiat
- Täydellinen RAG-putki jakautuu kuuteen vaiheeseen: lataa, paloittele, koodaa, indeksoi, hae, generoi
- Jokainen vaihe on itsenäinen funktio, jota on helppo testata ja vaihtaa
- Käytä arvoa
temperature=0.1faktuaalisia vastauksia varten - Tallenna FAISS-indeksi ja upotukset välttääksesi uudelleenlaskennan joka ajokerralla
- Tämä putki on vankka lähtökohta, jota voit rikastuttaa tarpeidesi mukaan