Премини към основното съдържание
Български— Изберете език
Меню

Извличане: Разделяне на части и класиране

Урок 8 от 20 Програмист
На тази страница
  1. Извличане: Разделяне на части и класиране
  2. Конвейерът за извличане
  3. Конфигуриране на стратегията за разделяне на части
  4. Праг на релевантност и класиране
  5. Оптимизиране на качеството на извличане
  6. Измерване на качеството на извличане
  7. Разширени стратегии
  8. Ключови изводи

Извличане: Разделяне на части и класиране

Търсенето на файлове разчита на пълен конвейер за извличане: Вашите документи се разделят на части (chunks), векторизират се, индексират се и след това се класират по релевантност при постъпване на заявка. Разбирането на този конвейер Ви позволява да оптимизирате качеството на отговорите.

Конвейерът за извличане

Когато качите файл във векторно хранилище, OpenAI автоматично изпълнява следните стъпки:

  1. Парсиране: Извлича суровия текст от изходния формат.
  2. Разделяне на части (Chunking): Разделя текста на сегменти с контролиран размер.
  3. Вграждане (Embedding): Векторизира всяка част.
  4. Индексиране: Съхранява векторите във векторния индекс.

По време на заявка:

  1. Вграждане на заявката: Въпросът се векторизира.
  2. Векторно търсене: Идентифицира най-близките части.
  3. Класиране: Преподрежда резултатите според релевантността им.
  4. Инжектиране: Вкарва най-добрите части в контекста на модела.

Конфигуриране на стратегията за разделяне на части

Разделянето на части е настройката, която движи всичко останало, а компромисът е очевиден. Късите части осигуряват прецизни резултати от търсенето, но предоставят извадки, лишени от контекст – намирате правилното изречение, но губите информацията към какво се отнася то. Дългите части запазват контекста, но затрупват релевантната информация с нерелевантен текст, което отслабва оценката за сходство.

Няма универсална стойност: правилната настройка зависи от структурата на Вашия документ, точно както е обобщено в таблицата по-долу.

from openai import OpenAI

client = OpenAI()

# Default strategy: auto
vector_store = client.vector_stores.create(
    name="legal-base",
    chunking_strategy={"type": "auto"}
)

# Custom strategy: smaller chunks for higher precision
vector_store = client.vector_stores.create(
    name="support-faq",
    chunking_strategy={
        "type": "static",
        "static": {
            "max_chunk_size_tokens": 400,
            "chunk_overlap_tokens": 100
        }
    }
)

Избор на подходящ размер на частта

Тип съдържаниеmax_chunk_sizeoverlapЗащо
ЧЗВ, Въпроси и отговори200-40050Кратки, самостоятелни отговори
Техническа документация600-800200Параграфи с контекст
Договори, Правни текстове800-1200300Дълги, взаимосвързани клаузи
Изходен код400-600100Функции и класове

Влияние на припокриването (Overlap)

Припокриването решава конкретен проблем: информация, която преминава границата на дадена част, иначе би била разрязана наполовина, което означава, че нито една от половините няма да съвпадне със заявката. Чрез припокриване на частите гарантирате, че всяко изречение се появява непокътнато в поне един сегмент. Цената е излишък – припокриване от 300 токена при части от 800 токена съхранява почти 40% дублиран текст.

# Original text (simplified)
# "Clause 5.1 states the supplier must deliver within 30 days.
#  In case of delay, penalties of 1% per day apply.
#  Clause 5.2 specifies penalties are capped at 15%."

# Without overlap: Clause 5.1 and penalties might end up in different chunks
# With overlap: the link between clause and penalties is preserved

Праг на релевантност и класиране

Класирането определя кои части се запазват. Можете да конфигурирате филтър:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="What is the return policy?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [vector_store.id],
        "max_num_results": 10,
        "ranking_options": {
            "ranker": "auto",
            "score_threshold": 0.5
        }
    }]
)

Параметърът score_threshold филтрира резултатите под определен праг на релевантност. Стойност 0.0 връща всичко, докато 1.0 би била твърде ограничителна. На практика стойности между 0.3 и 0.6 дават добри резултати.

Оптимизиране на качеството на извличане

Подготовка на документите

Това е най-ефективният лост по отношение на разходите в целия този урок и единственият, който не струва нищо в настройките: един добре структуриран документ се индексира добре. Използвайте ясни заглавия, въвеждащо изречение за всеки раздел и избягвайте таблици, превърнати в текстова каша. Обратно, никаква настройка за разделяне на части няма да спаси PDF файл, чието извличане произвежда преплетени колони.

# Bad: Scanned PDF with approximate OCR
# -> Incoherent chunks, poor-quality embeddings

# Good: Structured document with headings and sections
# -> Chunks aligned with logical sections

# Pattern: Pre-process before upload
def prepare_document(raw_text: str) -> str:
    """Cleans and structures text before indexing."""
    # Remove repetitive headers/footers
    lines = raw_text.split("\n")
    lines = [l for l in lines if not is_header_footer(l)]

    # Normalize spaces
    text = "\n".join(lines)
    text = re.sub(r"\n{3,}", "\n\n", text)

    return text

Обогатяване с метаданни

Метаданните позволяват предварително филтриране преди векторното търсене, което подобрява прецизността:

# Upload with rich metadata
documents = [
    {"file": "hr-policy-2026.pdf", "department": "hr", "type": "policy", "year": 2026},
    {"file": "supplier-contract-a.pdf", "department": "procurement", "type": "contract", "year": 2026},
    {"file": "it-security-guide.pdf", "department": "it", "type": "guide", "year": 2025},
]

for doc in documents:
    with open(doc["file"], "rb") as f:
        file_obj = client.files.create(file=f, purpose="assistants")

    client.vector_stores.files.create(
        vector_store_id=vector_store.id,
        file_id=file_obj.id,
        attributes={
            "department": doc["department"],
            "document_type": doc["type"],
            "year": doc["year"]
        }
    )

Измерване на качеството на извличане

Без измерване всяка настройка за разделяне на части е просто интуиция. Набор от двадесет въпроса, за които знаете очаквания отговор и съдържащия ги документ, е достатъчен, за да обективизирате процеса: променете параметър, стартирайте отново тестовия набор и сравнете. Това е малко работа в сравнение с часове, прекарани в дебати за размера на частите без данни.

def evaluate_retrieval(test_questions: list[dict], vs_id: str) -> dict:
    """Evaluates retrieval quality on a test set.

    Each element in test_questions contains:
    - question: the question to ask
    - expected_answer: keywords or phrases expected in the response
    """
    results = {"total": 0, "relevant": 0, "irrelevant": 0}

    for test in test_questions:
        response = client.responses.create(
            model="gpt-5.6-terra",
            input=test["question"],
            tools=[{
                "type": "file_search",
                "vector_store_ids": [vs_id],
                "max_num_results": 5
            }]
        )

        answer = response.output_text.lower()
        found_keywords = sum(
            1 for word in test["expected_answer"]
            if word.lower() in answer
        )

        results["total"] += 1
        if found_keywords >= len(test["expected_answer"]) * 0.5:
            results["relevant"] += 1
        else:
            results["irrelevant"] += 1

    results["relevance_rate"] = results["relevant"] / results["total"]
    return results

Разширени стратегии

Множество векторни хранилища (Multi-Vector-Store)

Извършвайте заявки към множество бази документи паралелно:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Compare our HR policy with legal obligations",
    tools=[{
        "type": "file_search",
        "vector_store_ids": [
            vs_internal_policies,
            vs_legal_texts
        ],
        "max_num_results": 15
    }]
)

Декомпозирани заявки

Въпрос, съдържащ множество искания, произвежда среден вектор, който не прилича на нито един от тях, което води до лоши резултати от търсенето за всички. Разбиването му на отделни подвъпроси дава значително по-добри резултати – това е същият принцип като при уеб търсенето: прецизната заявка побеждава изчерпателната.

def decomposed_search(complex_question: str, vs_id: str) -> str:
    """Decomposes a complex question into sub-searches."""
    # Step 1: Decompose the question
    decomposition = client.responses.create(
        model="gpt-5.6-terra",
        input=f"Decompose this question into 2-3 simple sub-questions: {complex_question}",
    )

    # Step 2: Search for each sub-question
    sub_results = []
    for sub_q in decomposition.output_text.split("\n"):
        if sub_q.strip():
            r = client.responses.create(
                model="gpt-5.6-terra",
                input=sub_q.strip(),
                tools=[{"type": "file_search", "vector_store_ids": [vs_id]}]
            )
            sub_results.append(r.output_text)

    # Step 3: Synthesize
    synthesis = client.responses.create(
        model="gpt-5.6-terra",
        input=f"Original question: {complex_question}\n\n"
              f"Intermediate results:\n" + "\n---\n".join(sub_results) +
              "\n\nSynthesize a complete and coherent answer."
    )
    return synthesis.output_text

Ключови изводи

  • Статичното (static) разделяне на части с персонализиран размер и припокриване подобрява прецизността.
  • Малки части за ЧЗВ, големи части за правни документи.
  • score_threshold филтрира нерелевантните резултати.
  • Почиствайте и структурирайте документите си преди индексиране.
  • Оценявайте качеството на извличане с тестов набор.