Top P un kodola izlase
Šajā lapā
Otrs svira ģenerēšanas vadībai
Iepriekšējā nodarbībā tu apguvi pirmo sviru ģenerēšanas kontrolei: temperatūru. Top P, ko dēvē arī par kodola izlasi (nucleus sampling), ir tās dabiskais papildinājums. Kamēr temperatūra maina visu varbūtību sadalījumu, Top P darbojas kā filtrs, kas ierobežo kandidātu tokenus. Abi parametri ietekmē atbilžu daudzveidību, taču izmanto ļoti atšķirīgus mehānismus – tieši šī atšķirība ļaus tev precīzi noregulēt Mistral modeļa uzvedību, nevis nejauši grozīt slēdžus.
Kā darbojas Top P
Iziesim cauri ģenerēšanas procesam vēlreiz. Katrā solī modelis aprēķina varbūtību katram iespējamam tokenam. Top P iesaistās trīs posmos: vispirms temperatūra koriģē varbūtības; tad tokeni tiek sakārtoti dilstošā secībā pēc varbūtības, un to varbūtības tiek summētas kumulatīvi; visbeidzot, tiek paturēti tikai tie tokeni, kuru kumulatīvā varbūtība nepārsniedz Top P slieksni. Galīgā izvēle notiek tikai starp šiem “izdzīvojušajiem”.
Piemērs skaidri parāda mehānismu. Iedomājies, ka modelim jāizvēlas nākamais vārds pēc frāzes “The cat is on the”:
| Tokens | Varbūtība | Kumulatīvā |
|---|---|---|
| roof | 0.35 | 0.35 |
| bed | 0.25 | 0.60 |
| sofa | 0.15 | 0.75 |
| floor | 0.10 | 0.85 |
| ledge | 0.05 | 0.90 |
| wall | 0.03 | 0.93 |
| … | … | … |
Ar Top P = 0.75 tiek paturēti tikai “roof”, “bed” un “sofa”, jo to kumulatīvā summa sasniedz tieši 0.75: modelis izvēlēsies tikai starp šīm trim opcijām. Ar Top P = 0.90 spēlē lomu arī “floor” un “ledge”. No tabulas izriet skaidrs vispārīgs likums: jo augstāks Top P, jo vairāk kandidātu tiek ņemti vērā.
Top P pret temperatūru: kāda ir atšķirība?
Tā kā abi parametri kontrolē daudzveidību, vari domāt, ka tie ir savstarpēji aizvietojami. Tā nav. Temperatūra maina sadalījuma formu: augsta vērtība izlīdzina līkni un pakāpeniski padara mazticamus tokenus pieejamākus, neizslēdzot nevienu. Top P, savukārt, nogriež sadalījumu: tokeni zem sliekšņa tiek pilnībā ignorēti, neatkarīgi no to atlikušās varbūtības.
Patur prātā šo tēlu: temperatūra ir “maigs” iestatījums, kas pielāgojas pakāpeniski, bet Top P ir “ass” iestatījums, kas vai nu iekļauj, vai izslēdz. Radošos tekstos augsta temperatūra kombinācijā ar mērenu Top P ļauj izpausties fantāzijai, vienlaikus novēršot novirzīšanos uz patiesi neticamiem tokeniem – tā bieži vien ir visērtākā kombinācija.
Top P lietošana ar Mistral API
Kodā parametrs tiek vienkārši pievienots izsaukumam līdzās temperatūrai:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a name for an AI startup."}
],
temperature=0.7,
top_p=0.9
)
Kad pielāgot Top P
Zems Top P, robežās no 0.1 līdz 0.5, fokusē modeli uz visvarbūtīgākajām opcijām – maksimāla precizitāte. Šī ir pareizā izvēle, kad sagaidāmā atbilde pieder slēgtai kopai, piemēram, šādā stingrā klasifikācijā:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Respond only with: positive, neutral, or negative."},
{"role": "user", "content": "Classify: The product arrived in good condition."}
],
temperature=0.0,
top_p=0.3
)
Vidējs Top P, robežās no 0.5 līdz 0.8, ir piemērots lielākajai daļai profesionālu uzdevumu: teksts saglabā sakarīgumu, nekļūstot monotonam. Šis ir režīms ziņojumam, kopsavilkumam vai dokumenta ievadam:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
],
temperature=0.5,
top_p=0.7
)
Visbeidzot, augsts Top P, robežās no 0.8 līdz 1.0, atver lauku radošumam un ideju izpētei – tu pieņem mazāk varbūtīgus kandidātus, lai iegūtu nestandarta priekšlikumus:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Invent 5 innovative restaurant concepts."}
],
temperature=0.9,
top_p=0.95
)
Praktisks noteikums: pielāgo vienu parametru vienlaikus
Mistral dokumentācija iesaka metodisku pieeju, kas tev jāpiekopj jau no pirmajiem testiem: iestati Top P uz 1.0 (bez filtrēšanas) un regulē tikai temperatūru, vai arī iestati temperatūru uz 1.0 un regulē tikai Top P; tikai tad, ja nepieciešams, precizē otro parametru. Iemesls ir vienkāršs: ja maini abus vienlaikus un uzvedība mainās, tu nezināsi, kurš no tiem ir vaininieks. Tas ir tas pats reflekss kā atkļūdojot – maini tikai vienu mainīgo vienlaikus.
Lai dotu tev konkrētus sākumpunktus: datu ekstrakcijai vai JSON izvadei parasti izmanto temperature=0.0, top_p=1.0; profesionālai rakstīšanai – temperature=0.4, top_p=0.9; radošai ģenerēšanai – temperature=0.8, top_p=0.95; bet kodam vai tehniskam saturam – temperature=0.2, top_p=0.9. Šīs vērtības ir tikai sākumpunkti – eksperimentēšana joprojām ir būtiska tvojam konkrētajam lietojumam.
Galvenās atziņas
- Top P filtrē kandidātu tokenus, izmantojot kumulatīvās varbūtības slieksni
- Atšķirībā no temperatūras, kas mīkstina sadalījumu, Top P to nogriež
- Pielāgo vienu parametru vienlaikus, lai saprastu tā ietekmi
- Zems Top P = fokusētas atbildes, augsts Top P = daudzveidīgas atbildes
- Sāc tikai ar temperatūru, pievieno Top P precizēšanai