Top P u t-Tkampar tan-Nukleu
F'din il-paġna
Leva Oħra biex Tikkontrolla l-Ġenerazzjoni
Il-lezzjoni ta’ qabel tatlek l-ewwel leva biex tikkontrolla l-ġenerazzjoni: it-temperatura. Top P, imsejjaħ ukoll tkampar tan-nukleu (nucleus sampling), huwa l-kumplament naturali tiegħu. Filwaqt li t-temperatura tbiddel id-distribuzzjoni kollha tal-probabbiltà, Top P jaġixxi bħala filtru li jillimita n-numru ta’ tokens kandidati. Iż-żewġ parametri jinfluwenzaw id-diversità tar-rispons, iżda permezz ta’ mekkaniżmi differenti ħafna—u huwa preċiżament dan id-differenza li se jħallik taffina l-imġiba tal-mudell Mistral minflok ma ddur il-buttuni b’mod każwali.
Kif Jaħdem Top P
Ejja nimxu mill-ġdid mal-proċess tal-ġenerazzjoni. F’kull pass, il-mudell jikkalkula probabbiltà għal kull token possibbli. Top P jidħol f’ħin matul tliet stadji: l-ewwel, il-probabbiltajiet jiġu aġġustati mit-temperatura; imbagħad, it-tokens jiġu ordnati skont probabbiltà li tonqos u l-probabbiltajiet tagħhom jiġu miġbura b’mod kumulattiv; fl-aħħar, biss it-tokens li l-probabbiltà kumulattiva tagħhom ma taqbiżx il-limitu ta’ Top P jinżammu. L-għażla finali sseħħ biss fost dawn is-sopravissuti.
Eżempju jagħmel il-mekkaniżmu ċar. Ejja nassumu li l-mudell irid jagħżel il-kelma li jmiss wara “Il-qattus huwa fuq il-”:
| Token | Probabbiltà | Kumulattiv |
|---|---|---|
| saqaf | 0.35 | 0.35 |
| sodda | 0.25 | 0.60 |
| divan | 0.15 | 0.75 |
| art | 0.10 | 0.85 |
| tarf | 0.05 | 0.90 |
| ħajt | 0.03 | 0.93 |
| … | … | … |
B’Top P = 0.75, biss “saqaf”, “sodda”, u “divan” jinżammu, peress li s-somma kumulattiva tagħhom tilħaq eżattament 0.75: il-mudell jagħżel fost dawn it-tliet għażliet biss. B’Top P = 0.90, “art” u “tarf” jidħlu fil-logħba wkoll. Ir-regola ġenerali hija ċara mit-tabella: kemm jkun ogħla t-Top P, daqshekk ikunu aktar il-kandidati kkunsidrati.
Top P vs Temperatura: X’inhi d-Differenza?
Peress li ż-żewġ parametri jikkontrollaw id-diversità, tista’ taħseb li huma interchangeabbli. Mhumiex. It-temperatura tbiddel il-forma tad-distribuzzjoni: valur għoli jiċċattja l-kurva u jagħmel tokens improbabbli gradwalment aktar aċċessibbli, mingħajr qatt ma jeskludi xi ħadd. Top P, min-naħa l-oħra, jaqta’ d-distribuzzjoni: it-tokens taħt il-limitu jiġu injorati kompletament, irrispettivament mill-probabbiltà residwa tagħhom.
Żomm din l-immaġni f’moħħok: it-temperatura hija setting “artab”, li jaġġusta gradwalment, filwaqt li Top P huwa setting “qawwi”, li jinkludi jew jeskludi. F’test kreattiv, temperatura għolja b’Top P moderat jippermetti fantażija filwaqt li jipprevjeni d-devjazzjoni lejn tokens verament improbabbli—din spiss hija l-aktar kombinazzjoni komda.
L-Użu ta’ Top P mal-API ta’ Mistral
Fil-kodiċi, il-parametru sempliċiment jiżdied mas-sejħa, flimkien mat-temperatura:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a name for an AI startup."}
],
temperature=0.7,
top_p=0.9
)
Meta Taġġusta Top P
Top P baxx, bejn 0.1 u 0.5, jiffoka l-mudell fuq l-għażliet l-aktar probabbli—preċiżjoni massima. Din hija l-għażla t-tajba meta t-tweġiba mistennija tappartjeni għal sett magħluq, bħal f’din il-klassifikazzjoni stretta:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Respond only with: positive, neutral, or negative."},
{"role": "user", "content": "Classify: The product arrived in good condition."}
],
temperature=0.0,
top_p=0.3
)
Top P medju, bejn 0.5 u 0.8, jaqbel għall-biċċa l-kbira tal-kompiti professjonali: it-test jibqa’ koerenti mingħajr ma jsir monotonu. Dan huwa r-reġim għal rapport, sommarju, jew introduzzjoni ta’ dokument:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
],
temperature=0.5,
top_p=0.7
)
Fl-aħħar nett, Top P għoli, bejn 0.8 u 1.0, jiftaħ il-qasam għall-kreattività u l-esplorazzjoni tal-ideat—taċċetta kandidati inqas probabbli biex tikseb proposti li huma barra mill-kaxxa:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Invent 5 innovative restaurant concepts."}
],
temperature=0.9,
top_p=0.95
)
Ir-Regola Prattika: Aġġusta Parametru Wieħed kull Darba
Id-dokumentazzjoni ta’ Mistral tirrakkomanda approċċ metodu li għandek tadotta mill-ewwel testijiet tiegħek: issettja Top P għal 1.0 (ebda filtru) u aġġusta biss it-temperatura, jew issettja t-temperatura għal 1.0 u aġġusta biss Top P; biss imbagħad tirfina t-tieni parametru jekk ikun meħtieġ. Ir-raġuni hija sempliċi: jekk tbiddel it-tnejn fl-istess ħin u l-imġiba tinbidel, ma tkunx taf liema wieħed huwa responsabbli. Huwa l-istess rifless bħad-debugging—tbiddel varjabbli wieħed biss kull darba.
Biex nagħtuk punti tat-tluq konkreti: l-estrazzjoni tad-data jew output JSON tipikament jiġi ssettjat għal temperature=0.0, top_p=1.0; kitba professjonali għal temperature=0.4, top_p=0.9; ġenerazzjoni kreattiva għal temperature=0.8, top_p=0.95; u kodiċi jew kontenut tekniku għal temperature=0.2, top_p=0.9. Dawn il-valuri huma biss punti tat-tluq—l-esperimentazzjoni tibqa’ essenzjali għall-każ ta’ użu speċifiku tiegħek.
Punti Ewlenin
- Top P jiffiltra tokens kandidati b’limitu ta’ probabbiltà kumulattiva
- Kuntrarjament għat-temperatura li ttaffi d-distribuzzjoni, Top P jaqtagħha
- Aġġusta parametru wieħed kull darba biex tifhem l-impatt tiegħu
- Top P baxx = risposti ffukati, Top P għoli = risposti varjati
- Ibda bit-temperatura biss, żid Top P biex tirfina