Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Top P un kodola izlase

Nodarbība 10 no 16 Atjaunota 2026. gada 2. novembris Iesācējs
Šajā lapā
  1. Otrs svira ģenerēšanas vadībai
  2. Kā darbojas Top P
  3. Top P pret temperatūru: kāda ir atšķirība?
  4. Top P lietošana ar Mistral API
  5. Kad pielāgot Top P
  6. Praktisks noteikums: pielāgo vienu parametru vienlaikus
  7. Galvenās atziņas

Otrs svira ģenerēšanas vadībai

Iepriekšējā nodarbībā tu apguvi pirmo sviru ģenerēšanas kontrolei: temperatūru. Top P, ko dēvē arī par kodola izlasi (nucleus sampling), ir tās dabiskais papildinājums. Kamēr temperatūra maina visu varbūtību sadalījumu, Top P darbojas kā filtrs, kas ierobežo kandidātu tokenus. Abi parametri ietekmē atbilžu daudzveidību, taču izmanto ļoti atšķirīgus mehānismus – tieši šī atšķirība ļaus tev precīzi noregulēt Mistral modeļa uzvedību, nevis nejauši grozīt slēdžus.

Kā darbojas Top P

Iziesim cauri ģenerēšanas procesam vēlreiz. Katrā solī modelis aprēķina varbūtību katram iespējamam tokenam. Top P iesaistās trīs posmos: vispirms temperatūra koriģē varbūtības; tad tokeni tiek sakārtoti dilstošā secībā pēc varbūtības, un to varbūtības tiek summētas kumulatīvi; visbeidzot, tiek paturēti tikai tie tokeni, kuru kumulatīvā varbūtība nepārsniedz Top P slieksni. Galīgā izvēle notiek tikai starp šiem “izdzīvojušajiem”.

Piemērs skaidri parāda mehānismu. Iedomājies, ka modelim jāizvēlas nākamais vārds pēc frāzes “The cat is on the”:

TokensVarbūtībaKumulatīvā
roof0.350.35
bed0.250.60
sofa0.150.75
floor0.100.85
ledge0.050.90
wall0.030.93
………

Ar Top P = 0.75 tiek paturēti tikai “roof”, “bed” un “sofa”, jo to kumulatīvā summa sasniedz tieši 0.75: modelis izvēlēsies tikai starp šīm trim opcijām. Ar Top P = 0.90 spēlē lomu arī “floor” un “ledge”. No tabulas izriet skaidrs vispārīgs likums: jo augstāks Top P, jo vairāk kandidātu tiek ņemti vērā.

Top P pret temperatūru: kāda ir atšķirība?

Tā kā abi parametri kontrolē daudzveidību, vari domāt, ka tie ir savstarpēji aizvietojami. Tā nav. Temperatūra maina sadalījuma formu: augsta vērtība izlīdzina līkni un pakāpeniski padara mazticamus tokenus pieejamākus, neizslēdzot nevienu. Top P, savukārt, nogriež sadalījumu: tokeni zem sliekšņa tiek pilnībā ignorēti, neatkarīgi no to atlikušās varbūtības.

Patur prātā šo tēlu: temperatūra ir “maigs” iestatījums, kas pielāgojas pakāpeniski, bet Top P ir “ass” iestatījums, kas vai nu iekļauj, vai izslēdz. Radošos tekstos augsta temperatūra kombinācijā ar mērenu Top P ļauj izpausties fantāzijai, vienlaikus novēršot novirzīšanos uz patiesi neticamiem tokeniem – tā bieži vien ir visērtākā kombinācija.

Top P lietošana ar Mistral API

Kodā parametrs tiek vienkārši pievienots izsaukumam līdzās temperatūrai:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a name for an AI startup."}
    ],
    temperature=0.7,
    top_p=0.9
)

Kad pielāgot Top P

Zems Top P, robežās no 0.1 līdz 0.5, fokusē modeli uz visvarbūtīgākajām opcijām – maksimāla precizitāte. Šī ir pareizā izvēle, kad sagaidāmā atbilde pieder slēgtai kopai, piemēram, šādā stingrā klasifikācijā:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "system", "content": "Respond only with: positive, neutral, or negative."},
        {"role": "user", "content": "Classify: The product arrived in good condition."}
    ],
    temperature=0.0,
    top_p=0.3
)

Vidējs Top P, robežās no 0.5 līdz 0.8, ir piemērots lielākajai daļai profesionālu uzdevumu: teksts saglabā sakarīgumu, nekļūstot monotonam. Šis ir režīms ziņojumam, kopsavilkumam vai dokumenta ievadam:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
    ],
    temperature=0.5,
    top_p=0.7
)

Visbeidzot, augsts Top P, robežās no 0.8 līdz 1.0, atver lauku radošumam un ideju izpētei – tu pieņem mazāk varbūtīgus kandidātus, lai iegūtu nestandarta priekšlikumus:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Invent 5 innovative restaurant concepts."}
    ],
    temperature=0.9,
    top_p=0.95
)

Praktisks noteikums: pielāgo vienu parametru vienlaikus

Mistral dokumentācija iesaka metodisku pieeju, kas tev jāpiekopj jau no pirmajiem testiem: iestati Top P uz 1.0 (bez filtrēšanas) un regulē tikai temperatūru, vai arī iestati temperatūru uz 1.0 un regulē tikai Top P; tikai tad, ja nepieciešams, precizē otro parametru. Iemesls ir vienkāršs: ja maini abus vienlaikus un uzvedība mainās, tu nezināsi, kurš no tiem ir vaininieks. Tas ir tas pats reflekss kā atkļūdojot – maini tikai vienu mainīgo vienlaikus.

Lai dotu tev konkrētus sākumpunktus: datu ekstrakcijai vai JSON izvadei parasti izmanto temperature=0.0, top_p=1.0; profesionālai rakstīšanai – temperature=0.4, top_p=0.9; radošai ģenerēšanai – temperature=0.8, top_p=0.95; bet kodam vai tehniskam saturam – temperature=0.2, top_p=0.9. Šīs vērtības ir tikai sākumpunkti – eksperimentēšana joprojām ir būtiska tvojam konkrētajam lietojumam.

Galvenās atziņas

  • Top P filtrē kandidātu tokenus, izmantojot kumulatīvās varbūtības slieksni
  • Atšķirībā no temperatūras, kas mīkstina sadalījumu, Top P to nogriež
  • Pielāgo vienu parametru vienlaikus, lai saprastu tā ietekmi
  • Zems Top P = fokusētas atbildes, augsts Top P = daudzveidīgas atbildes
  • Sāc tikai ar temperatūru, pievieno Top P precizēšanai