Top P și eșantionarea nucleului
Pe această pagină
O a doua pârghie pentru controlul generării
Lecția anterioară v-a prezentat prima pârghie de control al generării: temperatura. Top P, cunoscut și sub numele de eșantionare a nucleului (nucleus sampling), este complementul său natural. În timp ce temperatura modifică întreaga distribuție de probabilitate, Top P acționează ca un filtru care limitează numărul de tokeni candidați. Ambii parametri influențează diversitatea răspunsurilor, dar prin mecanisme foarte diferite – iar tocmai această diferență vă va permite să reglați fin comportamentul modelului Mistral, în loc să modificați setările la întâmplare.
Cum funcționează Top P
Să parcurgem din nou procesul de generare. La fiecare pas, modelul calculează o probabilitate pentru fiecare token posibil. Top P intervine în trei etape: mai întâi, probabilitățile sunt ajustate de temperatură; apoi, tokenii sunt sortați în ordine descrescătoare a probabilității, iar probabilitățile lor sunt însumate cumulativ; în final, se păstrează doar tokenii a căror probabilitate cumulativă nu depășește pragul Top P. Extracția finală are loc doar dintre acești supraviețuitori.
Un exemplu clarifică mecanismul. Imaginați-vă că modelul trebuie să aleagă următorul cuvânt după „The cat is on the“:
| Token | Probabilitate | Cumulativ |
|---|---|---|
| roof | 0.35 | 0.35 |
| bed | 0.25 | 0.60 |
| sofa | 0.15 | 0.75 |
| floor | 0.10 | 0.85 |
| ledge | 0.05 | 0.90 |
| wall | 0.03 | 0.93 |
| … | … | … |
Cu Top P = 0.75, se păstrează doar „roof“, „bed“ și „sofa“, deoarece suma lor cumulativă atinge exact 0.75: modelul va alege doar dintre aceste trei opțiuni. Cu Top P = 0.90, intră în joc și „floor“ și „ledge“. Regula generală reiese clar din tabel: cu cât Top P este mai mare, cu atât sunt luați în considerare mai mulți candidați.
Top P vs. Temperatură: Care este diferența?
Deoarece ambii parametri controlează diversitatea, ați putea crede că sunt interschimbabili. Nu sunt. Temperatura modifică forma distribuției: o valoare mare aplatizează curba și face tokenii improbabili treptat mai accesibili, fără a exclude vreodată vreunul. Top P, pe de altă parte, taie distribuția: tokenii de sub prag sunt ignorați complet, indiferent de probabilitatea lor reziduală.
Păstrați această imagine în minte: temperatura este o setare „blândă“, care se ajustează gradual, în timp ce Top P este o setare „ascuțită“, care include sau exclude. În textele creative, o temperatură ridicată combinată cu un Top P moderat permite fantezia, prevenind în același timp derivarea către tokeni cu adevărat improbabili – aceasta este adesea combinația cea mai confortabilă.
Utilizarea Top P cu API-ul Mistral
În cod, parametrul se adaugă pur și simplu la apel, alături de temperatură:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a name for an AI startup."}
],
temperature=0.7,
top_p=0.9
)
Când să ajustați Top P
Un Top P scăzut, între 0.1 și 0.5, concentrează modelul asupra opțiunilor cele mai probabile – precizie maximă. Aceasta este alegerea corectă atunci când răspunsul așteptat aparține unui set închis, ca în această clasificare strictă:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Respond only with: positive, neutral, or negative."},
{"role": "user", "content": "Classify: The product arrived in good condition."}
],
temperature=0.0,
top_p=0.3
)
Un Top P mediu, între 0.5 și 0.8, se potrivește majorității sarcinilor profesionale: textul rămâne coerent fără a deveni monoton. Acesta este regimul potrivit pentru un raport, un rezumat sau o introducere de document:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
],
temperature=0.5,
top_p=0.7
)
În final, un Top P ridicat, între 0.8 și 1.0, deschide câmpul pentru creativitate și explorarea ideilor – acceptați candidați mai puțin probabili pentru a obține propuneri ieșite din tipare:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Invent 5 innovative restaurant concepts."}
],
temperature=0.9,
top_p=0.95
)
Regula practică: Ajustați un singur parametru pe rând
Documentația Mistral recomandă o abordare metodică pe care ar trebui să o adoptați încă de la primele teste: setați Top P la 1.0 (fără filtrare) și ajustați doar temperatura, sau setați temperatura la 1.0 și ajustați doar Top P; abia apoi rafinați al doilea parametru dacă este necesar. Motivul este simplu: dacă modificați ambele simultan și comportamentul se schimbă, nu veți ști care dintre ele este responsabil. Este același reflex ca în depanare – modificați o singură variabilă pe rând.
Pentru a vă oferi puncte de plecare concrete: extragerea datelor sau ieșirea JSON se setează tipic la temperature=0.0, top_p=1.0; scrierea profesională la temperature=0.4, top_p=0.9; generarea creativă la temperature=0.8, top_p=0.95; iar codul sau conținutul tehnic la temperature=0.2, top_p=0.9. Aceste valori sunt doar puncte de pornire – experimentarea rămâne esențială pentru cazul dumneavoastră specific de utilizare.
Puncte cheie
- Top P filtrează tokenii candidați printr-un prag de probabilitate cumulativă
- Spre deosebire de temperatură, care înmoaie distribuția, Top P o taie
- Ajustați un singur parametru pe rând pentru a-i înțelege impactul
- Top P scăzut = răspunsuri focalizate, Top P ridicat = răspunsuri variate
- Începeți doar cu temperatura, adăugați Top P pentru rafinare