Премини към основното съдържание
Български— Изберете език
Меню

Top P и семплиране на ядрото

Урок 10 от 16 Обновен 2 ноември 2026 г. Начинаещ
На тази страница
  1. Вторият лост за контрол на генерирането
  2. Как работи Top P
  3. Top P срещу температура: Каква е разликата?
  4. Използване на Top P с Mistral API
  5. Кога да коригирате Top P
  6. Практическото правило: Регулирайте един параметър по време
  7. Ключови изводи

Вторият лост за контрол на генерирането

Предходният урок Ви запозна с първия лост за контрол на генерирането: температурата. Top P, наричано още семплиране на ядрото (nucleus sampling), е неговото естествено допълнение. Докато температурата променя цялото разпределение на вероятностите, Top P действа като филтър, който ограничава броя на кандидат-токените. И двата параметъра влияят върху разнообразието на отговорите, но чрез съвсем различни механизми – и именно тази разлика Ви позволява да финализирате поведението на моделите на Mistral, вместо да въртите копчета наслуки.

Как работи Top P

Нека разгледаме отново процеса на генериране. На всяка стъпка моделът изчислява вероятност за всеки възможен токен. Top P влиза в действие на три етапа: първо, вероятностите се коригират от температурата; след това токените се сортират по низходяща вероятност и техните вероятности се сумират кумулативно; накрая, се запазват само онези токени, чиято кумулативна вероятност не надвишава прага на Top P. Окончателният избор се прави единствено сред тези оцелели кандидати.

Един пример ще изясни механизма. Представете си, че моделът трябва да избере следващата дума след „Котката е на“:

ТокенВероятностКумулативна
покрива0.350.35
леглото0.250.60
дивана0.150.75
пода0.100.85
перваза0.050.90
стената0.030.93
………

При Top P = 0.75 се запазват само „покрива“, „леглото“ и „дивана“, тъй като тяхната кумулативна сума достига точно 0.75: моделът ще избира единствено сред тези три опции. При Top P = 0.90 в играта влизат също „пода“ и „перваза“. Общото правило е ясно от таблицата: колкото по-висок е Top P, толкова повече кандидати се разглеждат.

Top P срещу температура: Каква е разликата?

Тъй като и двата параметъра контролират разнообразието, може да си помислите, че са взаимозаменяеми. Не са. Температурата променя формата на разпределението: висока стойност изравнява кривата и прави малко вероятните токени постепенно по-достъпни, без никога да изключва някой от тях. Top P, от друга страна, отрязва разпределението: токените под прага се игнорират изцяло, независимо от остатъчната им вероятност.

Запомнете тази представа: температурата е „мека“ настройка, която се регулира постепенно, докато Top P е „остра“ настройка, която включва или изключва. При креативен текст висока температура с умерен Top P позволява фантазия, като същевременно предотвратява отклонението към наистина невероятни токени – това често е най-удобната комбинация.

Използване на Top P с Mistral API

В кода параметърът просто се добавя към извикването, заедно с температурата:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a name for an AI startup."}
    ],
    temperature=0.7,
    top_p=0.9
)

Кога да коригирате Top P

Нисък Top P, между 0.1 и 0.5, концентрира модела върху най-вероятните опции – максимална прецизност. Това е правилният избор, когато очакваният отговор принадлежи към затворено множество, както при тази строга класификация:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "system", "content": "Respond only with: positive, neutral, or negative."},
        {"role": "user", "content": "Classify: The product arrived in good condition."}
    ],
    temperature=0.0,
    top_p=0.3
)

Среден Top P, между 0.5 и 0.8, подхожда за повечето професионални задачи: текстът остава свързан, без да става монотонен. Това е режимът за доклад, обобщение или въведение към документ:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
    ],
    temperature=0.5,
    top_p=0.7
)

Накрая, висок Top P, между 0.8 и 1.0, отваря полето за креативност и изследване на идеи – приемате по-малко вероятни кандидати, за да получите предложения извън рамките на стандартното:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Invent 5 innovative restaurant concepts."}
    ],
    temperature=0.9,
    top_p=0.95
)

Практическото правило: Регулирайте един параметър по време

Документацията на Mistral препоръчва методичен подход, който трябва да възприемете още от първите си тестове: задайте Top P на 1.0 (без филтриране) и коригирайте само температурата, или задайте температурата на 1.0 и коригирайте само Top P; едва след това финализирайте втория параметър, ако е необходимо. Причината е проста: ако промените и двете едновременно и поведението се измени, няма да знаете кой от тях е отговорен. Това е същият рефлекс като при дебъгването – променяте само една променлива наведнъж.

За да Ви дам конкретни отправни точки: извличане на данни или JSON изход обикновено се настройва на temperature=0.0, top_p=1.0; професионално писане на temperature=0.4, top_p=0.9; креативно генериране на temperature=0.8, top_p=0.95; а код или техническо съдържание на temperature=0.2, top_p=0.9. Тези стойности са само отправни точки – експериментирането остава от съществено значение за Вашия конкретен случай на употреба.

Ключови изводи

  • Top P филтрира кандидат-токените чрез праг на кумулативна вероятност
  • За разлика от температурата, която омекотява разпределението, Top P го отрязва
  • Регулирайте един параметър по време, за да разберете неговото въздействие
  • Нисък Top P = фокусирани отговори, Висок Top P = разнообразни отговори
  • Започнете само с температура, добавете Top P за прецизиране