Подсказки с обогатяване чрез извличане
На тази страница
Урокът е актуализиран на 3 ноември 2026 г. въз основа на документацията на OpenAI: параметрите
temperatureиtop_pсе приемат само при усилие за разсъждениеnone, докато моделите GPT-5.6 разсъждават по подразбиране (medium). Следователно заявките, които задават тези параметри, трябва да уточняватreasoning={"effort": "none"}(Responses API) илиreasoning_effort="none"(Chat Completions). Източници: Използване на GPT-6 · GPT-5.6 Terra.
Подсказки с обогатяване чрез извличане
Подсказките с обогатяване чрез извличане (Retrieval-Augmented Prompting – RAP) комбинират търсенето на документи с формулирането на подсказки, за да предоставят на модела релевантен и актуален контекст. Това е естественото развитие на „заземяването“: вместо да въвеждате контекста ръчно, Вие автоматизирате търсенето на подходящи пасажи преди всяко извикване на голям езиков модел (LLM).
Разликата става очевидна при мащабиране. Ръчното копиране на три полезни абзаца от Вашата документация работи за демо, но щом базата с документи достигне няколкостотин страници и въпросите започнат да постъпват непрекъснато, никой вече не знае кои пасажи да копира. RAP делегира този избор на автоматичен компонент, който се изпълнява преди всяко генериране и чиято единствена роля е да открие какво да бъде поставено в подсказката.
Архитектура на RAP система
RAP конвейерът се разделя на три стъпки, които работят с различна скорост и цена. Индексирането трансформира Вашите документи във векторни вграждания (embeddings); това се случва веднъж, офлайн, превръщайки всеки документ в числов вектор, който кодира неговия смисъл, съхранен заедно с оригиналния текст. Извличането, напротив, се изпълнява при всеки въпрос: Вие трансформирате въпроса във вектор, използвайки същия модел за вграждане, и след това търсите най-близките вектори на документите. Накрая, обогатяването е просто стандартно формулиране на подсказка – Вие изграждате системна подсказка, съдържаща извлечените пасажи, и инструктирате модела да не излиза извън този обхват.
Запомнете това разделение: всичко скъпо се случва по време на индексирането, където можете да си позволите да бъдете взискателни, докато всичко, което се повтаря за всеки въпрос, трябва да остане бързо. Кодът по-долу реализира първите две стъпки, използвайки косинусова подобност като мярка за близост.
from openai import OpenAI
import numpy as np
client = OpenAI()
# Step 1: Generate document embeddings
def embed_texts(texts: list[str]) -> list[list[float]]:
"""Generates embeddings for a list of texts."""
response = client.embeddings.create(
model="text-embedding-3-large",
input=texts
)
return [item.embedding for item in response.data]
# Step 2: Search by cosine similarity
def cosine_similarity(a: list[float], b: list[float]) -> float:
"""Calculates cosine similarity between two vectors."""
a, b = np.array(a), np.array(b)
return float(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)))
def retrieve(query: str, documents: list[str],
doc_embeddings: list[list[float]],
top_k: int = 3) -> list[str]:
"""Returns the top_k most relevant documents."""
query_emb = embed_texts([query])[0]
scores = [
(i, cosine_similarity(query_emb, doc_emb))
for i, doc_emb in enumerate(doc_embeddings)
]
scores.sort(key=lambda x: x[1], reverse=True)
return [documents[i] for i, _ in scores[:top_k]]
Пълен конвейер
Сглобяването на тези строителни блокове води до клас, който се събира в около тридесет реда. Повечето решения се вземат в генерираната системна подсказка и си струва да я прочетете ред по ред. Моделът първо получава заповед да отговаря САМО въз основа на предоставените пасажи, което ограничава халюцинаторните отговори, когато документацията мълчи. След това получава инструкция да цитира номера на пасажа за всяко твърдение, и това е което прави проверката възможна: ревизорът може да проследи източника с един поглед. Стойност temperature от 0.1 завършва настройката – при отговор, базиран на документи, креативността е бъг.
class RAGPipeline:
"""Minimalist RAP pipeline."""
def __init__(self, documents: list[str]):
self.documents = documents
self.embeddings = embed_texts(documents)
def query(self, question: str, top_k: int = 3) -> str:
"""Answers a question based on the documents."""
# Retrieval
relevant_docs = retrieve(
question, self.documents,
self.embeddings, top_k
)
# Prompt augmentation
context = "\n\n---\n\n".join(
f"[Passage {i+1}]\n{doc}"
for i, doc in enumerate(relevant_docs)
)
system = f"""You are a technical assistant.
Answer ONLY based on the provided passages.
If the passages do not contain the answer, say so.
Cite the passage number for every claim.
RELEVANT PASSAGES:
{context}"""
# Generation
response = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature requires effort none
instructions=system,
input=question,
temperature=0.1
)
return response.output_text
Чънкинг: Разделяне на документи
Разделянето на документите на части (чънкове) е от решаващо значение за качеството на извличането. Ако частите са твърде големи, те удавят релевантната информация; ако са твърде малки, губят контекста. Ръководство за API, разделено на блокове от десет страници, винаги ще връща един и същи общ блок, независимо от зададения въпрос. Разделено на изолирани изречения, то ще върне изречение, започващо с „този метод“, без моделът да знае кой метод се има предвид. Припокриването специално смекчава този риск: всеки чънк повтаря края на предишния, така че информацията, пресичаща границата, остава четима поне от едната страна.
Когато Вашите документи имат структура на заглавия, чънкингът базиран на секции е почти винаги по-добър от чънкинга с фиксиран размер: секция „Автентикация“ остава непокътната, заедно с въведението и примерите си.
def chunk_document(text: str, chunk_size: int = 500,
overlap: int = 50) -> list[str]:
"""Splits text into chunks with overlap."""
words = text.split()
chunks = []
for i in range(0, len(words), chunk_size - overlap):
chunk = " ".join(words[i:i + chunk_size])
if chunk.strip():
chunks.append(chunk)
return chunks
def chunk_by_sections(text: str) -> list[str]:
"""Splits by sections (Markdown headings)."""
sections = []
current = []
for line in text.split("\n"):
if line.startswith("## ") and current:
sections.append("\n".join(current))
current = [line]
else:
current.append(line)
if current:
sections.append("\n".join(current))
return sections
Разширени стратегии за извличане
Преподреждане (Reranking)
След първоначалното извличане използвайте LLM, за да преподредите резултатите. Логиката е тази на фуния: векторното търсене е бързо, но приблизително, връщайки дузина правдоподобни кандидати; моделът, по-бавен, но по-нюансиран, препрочита тези кандидати, знаейки въпроса, и ги класира. След това запазвате само върха на списъка за генериране. Печалбата е най-видима при въпроси, където няколко пасажа говорят за една и съща тема, но само един всъщност отговаря на нея – три секции споменават думата „квота“, но само една обяснява как да я увеличите.
def rerank(question: str, passages: list[str]) -> list[str]:
"""Reorders passages by relevance using the LLM."""
prompt = f"""Question: {question}
Here are candidate passages. Rank them from most relevant
to least relevant for answering the question.
Return only the numbers in order (e.g., 3, 1, 2).
{chr(10).join(f"[{i+1}] {p[:200]}" for i, p in enumerate(passages))}"""
response = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature requires effort none
input=prompt,
temperature=0.0
)
# Parse returned order and reorganize
return response.output_text
Хипотетично вграждане на документи (HyDE)
Генерирайте идеален хипотетичен документ, след което търсете подобни документи. Проблемът, който тази техника решава, е несъответствието в речника: въпрос, зададен на ежедневен език, не прилича векторно на параграф от техническа документация. Като първо помолите модела да напише отговора, който си представя, Вие получавате текст, написан в регистъра на Вашите документи, и именно този текст използвате като заявка за търсене. Няма значение дали хипотетичният параграф съдържа приблизителности: той никога не служи като отговор, а само като сонда.
def hyde_retrieve(question: str, documents: list[str],
doc_embeddings: list[list[float]]) -> list[str]:
"""Retrieval via HyDE."""
# Generate a hypothetical passage
hypo_response = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature requires effort none
input=f"Write a short technical paragraph that would perfectly "
f"answer this question: {question}",
temperature=0.5
)
hypothetical_doc = hypo_response.output_text
# Search for documents similar to the hypothetical passage
return retrieve(hypothetical_doc, documents,
doc_embeddings, top_k=3)
Използване на собственото търсене на файлове на OpenAI
За бързо внедряване API предлага интегрирано извличане. Качвате файла, създавате векторно хранилище, прикачвате файла към него и декларирате инструмента file_search в извикването: чънкингът, вграждането и търсенето се обработват от страната на сървъра. Това е правилният избор, когато Вашите документи са стандартни и не Ви интересува къде живеят данните. Собственият конвейер запазва предимството си веднага щом трябва да овладеете чънкинга, да хоствате индекса сами или да включите специфично преподреждане.
# Upload file
file = client.files.create(
file=open("documentation.pdf", "rb"),
purpose="assistants"
)
# Create a vector store
vector_store = client.vector_stores.create(
name="Technical Documentation"
)
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file.id
)
# Query with File Search
response = client.responses.create(
model="gpt-5.6-terra",
instructions="Answer based on the provided documentation.",
input="How do I configure authentication?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id]
}]
)
Установете базова линия
Вземете пет до десет страници техническа документация и реализирайте пълния конвейер, от чънкинг до генериране. Напишете десет въпроса, чиито отговори се намират в документите, стартирайте конвейера за всеки от тях, след което повторете с активирано преподреждане: именно чрез наблюдение на това при кои въпроси класирането се променя, Вие разбирате какво пропуска самото векторно търсене. Завършете чрез измерване на процента правилно заземени отговори – тези, при които всяко твърдение ефективно се позовава на предоставен pasaj. Тази цифра е Вашата отправна точка; всички последващи оптимизации ще бъдат оценявани спрямо нея, а не спрямо впечатлението, оставено от два или три случайно прочетени отговора.
Ключови изводи
- RAP автоматизира въвеждането на релевантен контекст в подсказката
- Чънкингът е критичен: експериментирайте с различни размери
- Преподреждането с LLM значително подобрява релевантността
- HyDE е полезно, когато въпросът се различава значително от речника на документите
- OpenAI File Search опростява внедряването за стандартни случаи