Przejdź do głównej treści
Polski— Wybierz język
Menu

Top P i próbkowanie jądra

Lekcja 10 z 16 Zaktualizowano 2 listopada 2026 Początkujący
Na tej stronie
  1. Drugi mechanizm sterowania generowaniem
  2. Jak działa Top P
  3. Top P kontra temperatura: jaka jest różnica?
  4. Używanie Top P z API Mistral
  5. Kiedy dostosowywać Top P
  6. Zasada praktyczna: dostosowuj jeden parametr naraz
  7. Kluczowe wnioski

Drugi mechanizm sterowania generowaniem

Poprzednia lekcja przedstawiła Ci pierwszy mechanizm kontroli generowania: temperaturę. Top P, zwane również próbkowaniem jądra (nucleus sampling), jest jego naturalnym uzupełnieniem. Podczas gdy temperatura zmienia cały rozkład prawdopodobieństwa, Top P działa jak filtr ograniczający liczbę kandydujących tokenów. Oba parametry wpływają na różnorodność odpowiedzi, ale robią to za pomocą zupełnie innych mechanizmów – i to właśnie ta różnica pozwoli Ci precyzyjnie dostroić zachowanie modelu Mistral, zamiast losowo kręcić gałkami.

Jak działa Top P

Przeanalizujmy ponownie proces generowania. Na każdym etapie model oblicza prawdopodobieństwo dla każdego możliwego tokena. Top P wkracza do akcji w trzech fazach: najpierw prawdopodobieństwa są korygowane przez temperaturę; następnie tokeny są sortowane malejąco według prawdopodobieństwa, a ich wartości sumowane skumulowanie; w końcu zachowywane są tylko te tokeny, których skumulowane prawdopodobieństwo nie przekracza progu Top P. Ostateczny wybór następuje wyłącznie spośród tych „ocalałych“.

Przykład wyjaśni ten mechanizm. Wyobraź sobie, że model musi wybrać kolejne słowo po frazie „The cat is on the“:

TokenPrawdopodobieństwoSkumulowane
roof0.350.35
bed0.250.60
sofa0.150.75
floor0.100.85
ledge0.050.90
wall0.030.93
………

Przy Top P = 0.75 zachowane zostają tylko „roof“, „bed“ i „sofa“, ponieważ ich suma skumulowana osiąga dokładnie 0.75: model wybierze wyłącznie spośród tych trzech opcji. Przy Top P = 0.90 do gry wchodzą również „floor“ i „ledge“. Zasada ogólna wynika jasno z tabeli: im wyższe Top P, tym więcej kandydatów jest branych pod uwagę.

Top P kontra temperatura: jaka jest różnica?

Skoro oba parametry kontrolują różnorodność, możesz sądzić, że są wymienne. Nie są. Temperatura zmienia kształt rozkładu: wysoka wartość spłaszcza krzywą i stopniowo udostępnia tokeny mało prawdopodobne, nigdy jednak żadnego nie wykluczając. Top P z kolei obcina rozkład: tokeny poniżej progu są całkowicie ignorowane, niezależnie od ich pozostałego prawdopodobieństwa.

Zapamiętaj ten obraz: temperatura to ustawienie „miękkie“, działające stopniowo, podczas gdy Top P to ustawienie „ostre“, które włącza lub wyklucza. W tekstach kreatywnych wysoka temperatura połączona z umiarkowanym Top P pozwala na fantazję, zapobiegając jednocześnie ześlizgnięciu się w stronę tokenów całkowicie nieprawdopodobnych – jest to często najbardziej komfortowa kombinacja.

Używanie Top P z API Mistral

W kodzie parametr ten dodaje się po prostu do wywołania, obok temperatury:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a name for an AI startup."}
    ],
    temperature=0.7,
    top_p=0.9
)

Kiedy dostosowywać Top P

Niskie Top P, między 0.1 a 0.5, koncentruje model na najbardziej prawdopodobnych opcjach – zapewnia maksymalną precyzję. To właściwy wybór, gdy oczekiwana odpowiedź należy do zamkniętego zbioru, jak w przypadku tej ścisłej klasyfikacji:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "system", "content": "Respond only with: positive, neutral, or negative."},
        {"role": "user", "content": "Classify: The product arrived in good condition."}
    ],
    temperature=0.0,
    top_p=0.3
)

Średnie Top P, między 0.5 a 0.8, sprawdza się w większości zadań profesjonalnych: tekst pozostaje spójny, nie stając się monotonnym. To reżim odpowiedni dla raportu, podsumowania czy wstępu do dokumentu:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
    ],
    temperature=0.5,
    top_p=0.7
)

Wreszcie, wysokie Top P, między 0.8 a 1.0, otwiera pole dla kreatywności i eksploracji pomysłów – akceptujesz mniej prawdopodobnych kandydatów, aby uzyskać propozycje nieszablonowe:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Invent 5 innovative restaurant concepts."}
    ],
    temperature=0.9,
    top_p=0.95
)

Zasada praktyczna: dostosowuj jeden parametr naraz

Dokumentacja Mistral zaleca metodyczne podejście, które powinieneś przyjąć już przy pierwszych testach: ustaw Top P na 1.0 (brak filtrowania) i dostosowuj tylko temperaturę lub ustaw temperaturę na 1.0 i dostosowuj tylko Top P; dopiero potem, w razie potrzeby, dopracowujesz drugi parametr. Powód jest prosty: jeśli zmienisz oba jednocześnie i zachowanie ulegnie zmianie, nie będziesz wiedział, który z nich jest za to odpowiedzialny. To ten sam odruch co przy debugowaniu – zmieniasz tylko jedną zmienną naraz.

Aby dać Ci konkretne punkty startowe: ekstrakcja danych lub wyjście JSON są typowo ustawiane na temperature=0.0, top_p=1.0; pisanie profesjonalne na temperature=0.4, top_p=0.9; generowanie kreatywne na temperature=0.8, top_p=0.95; a kod lub treści techniczne na temperature=0.2, top_p=0.9. Wartości te są jedynie punktami wyjścia – eksperymentowanie pozostaje kluczowe dla Twojego konkretnego przypadku użycia.

Kluczowe wnioski

  • Top P filtruje kandydujące tokeny na podstawie progu skumulowanego prawdopodobieństwa
  • W przeciwieństwie do temperatury, która łagodzi rozkład, Top P go obcina
  • Dostosowuj jeden parametr naraz, aby zrozumieć jego wpływ
  • Niskie Top P = odpowiedzi skupione, Wysokie Top P = odpowiedzi zróżnicowane
  • Zacznij od samej temperatury, dodaj Top P, aby dopracować wynik