Salt la conținutul principal
Română— Alege o limbă
Meniu

Top P și eșantionarea nucleului

Lecția 10 din 16 Actualizată 2 noiembrie 2026 Începător
Pe această pagină
  1. O a doua pârghie pentru controlul generării
  2. Cum funcționează Top P
  3. Top P vs. Temperatură: Care este diferența?
  4. Utilizarea Top P cu API-ul Mistral
  5. Când să ajustați Top P
  6. Regula practică: Ajustați un singur parametru pe rând
  7. Puncte cheie

O a doua pârghie pentru controlul generării

Lecția anterioară v-a prezentat prima pârghie de control al generării: temperatura. Top P, cunoscut și sub numele de eșantionare a nucleului (nucleus sampling), este complementul său natural. În timp ce temperatura modifică întreaga distribuție de probabilitate, Top P acționează ca un filtru care limitează numărul de tokeni candidați. Ambii parametri influențează diversitatea răspunsurilor, dar prin mecanisme foarte diferite – iar tocmai această diferență vă va permite să reglați fin comportamentul modelului Mistral, în loc să modificați setările la întâmplare.

Cum funcționează Top P

Să parcurgem din nou procesul de generare. La fiecare pas, modelul calculează o probabilitate pentru fiecare token posibil. Top P intervine în trei etape: mai întâi, probabilitățile sunt ajustate de temperatură; apoi, tokenii sunt sortați în ordine descrescătoare a probabilității, iar probabilitățile lor sunt însumate cumulativ; în final, se păstrează doar tokenii a căror probabilitate cumulativă nu depășește pragul Top P. Extracția finală are loc doar dintre acești supraviețuitori.

Un exemplu clarifică mecanismul. Imaginați-vă că modelul trebuie să aleagă următorul cuvânt după „The cat is on the“:

TokenProbabilitateCumulativ
roof0.350.35
bed0.250.60
sofa0.150.75
floor0.100.85
ledge0.050.90
wall0.030.93
………

Cu Top P = 0.75, se păstrează doar „roof“, „bed“ și „sofa“, deoarece suma lor cumulativă atinge exact 0.75: modelul va alege doar dintre aceste trei opțiuni. Cu Top P = 0.90, intră în joc și „floor“ și „ledge“. Regula generală reiese clar din tabel: cu cât Top P este mai mare, cu atât sunt luați în considerare mai mulți candidați.

Top P vs. Temperatură: Care este diferența?

Deoarece ambii parametri controlează diversitatea, ați putea crede că sunt interschimbabili. Nu sunt. Temperatura modifică forma distribuției: o valoare mare aplatizează curba și face tokenii improbabili treptat mai accesibili, fără a exclude vreodată vreunul. Top P, pe de altă parte, taie distribuția: tokenii de sub prag sunt ignorați complet, indiferent de probabilitatea lor reziduală.

Păstrați această imagine în minte: temperatura este o setare „blândă“, care se ajustează gradual, în timp ce Top P este o setare „ascuțită“, care include sau exclude. În textele creative, o temperatură ridicată combinată cu un Top P moderat permite fantezia, prevenind în același timp derivarea către tokeni cu adevărat improbabili – aceasta este adesea combinația cea mai confortabilă.

Utilizarea Top P cu API-ul Mistral

În cod, parametrul se adaugă pur și simplu la apel, alături de temperatură:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a name for an AI startup."}
    ],
    temperature=0.7,
    top_p=0.9
)

Când să ajustați Top P

Un Top P scăzut, între 0.1 și 0.5, concentrează modelul asupra opțiunilor cele mai probabile – precizie maximă. Aceasta este alegerea corectă atunci când răspunsul așteptat aparține unui set închis, ca în această clasificare strictă:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "system", "content": "Respond only with: positive, neutral, or negative."},
        {"role": "user", "content": "Classify: The product arrived in good condition."}
    ],
    temperature=0.0,
    top_p=0.3
)

Un Top P mediu, între 0.5 și 0.8, se potrivește majorității sarcinilor profesionale: textul rămâne coerent fără a deveni monoton. Acesta este regimul potrivit pentru un raport, un rezumat sau o introducere de document:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
    ],
    temperature=0.5,
    top_p=0.7
)

În final, un Top P ridicat, între 0.8 și 1.0, deschide câmpul pentru creativitate și explorarea ideilor – acceptați candidați mai puțin probabili pentru a obține propuneri ieșite din tipare:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Invent 5 innovative restaurant concepts."}
    ],
    temperature=0.9,
    top_p=0.95
)

Regula practică: Ajustați un singur parametru pe rând

Documentația Mistral recomandă o abordare metodică pe care ar trebui să o adoptați încă de la primele teste: setați Top P la 1.0 (fără filtrare) și ajustați doar temperatura, sau setați temperatura la 1.0 și ajustați doar Top P; abia apoi rafinați al doilea parametru dacă este necesar. Motivul este simplu: dacă modificați ambele simultan și comportamentul se schimbă, nu veți ști care dintre ele este responsabil. Este același reflex ca în depanare – modificați o singură variabilă pe rând.

Pentru a vă oferi puncte de plecare concrete: extragerea datelor sau ieșirea JSON se setează tipic la temperature=0.0, top_p=1.0; scrierea profesională la temperature=0.4, top_p=0.9; generarea creativă la temperature=0.8, top_p=0.95; iar codul sau conținutul tehnic la temperature=0.2, top_p=0.9. Aceste valori sunt doar puncte de pornire – experimentarea rămâne esențială pentru cazul dumneavoastră specific de utilizare.

Puncte cheie

  • Top P filtrează tokenii candidați printr-un prag de probabilitate cumulativă
  • Spre deosebire de temperatură, care înmoaie distribuția, Top P o taie
  • Ajustați un singur parametru pe rând pentru a-i înțelege impactul
  • Top P scăzut = răspunsuri focalizate, Top P ridicat = răspunsuri variate
  • Începeți doar cu temperatura, adăugați Top P pentru rafinare