Kad palielināt spriešanas jaudu (un kad to izlaist)
Šajā lapā
Zini, kad domāt un kad nē
Spriešanas jaudas maksimāla izmantošana katram pieprasījumam ir līdzvērtīga urbjmašīnas lietošanai, lai iedzītu naglu. Šajā nodarbībā tu iemācīsies atpazīt situācijas, kurās spriešana sniedz reālu vērtību, un daudzus gadījumus — biežāk, nekā vari domāt —, kad tā tikai palēnina darbu un palielina izmaksas.
OpenAI ieteikumi pa līmeņiem
API dokumentācija apraksta, kā lietot katru piepūles līmeni. Tie paši norādījumi attiecas arī uz ChatGPT slīdni, ar nelielām atšķirībām.
| Līmenis | Kam to lietot (pēc OpenAI) | Ekvivalents Chat slīdnī |
|---|---|---|
none | Uzdevumi, kuriem kritiska ir latentce: balss, ātra informācijas meklēšana, klasifikācija | Tūlītējs |
low | Efektīva spriešana: datu analīze, rakstīšana, izpildāms kods, klientu atbalsts | Tūlītējs vai Vidējs |
medium | Kvalitāte un uzticamība, plānošana un spriedumi; vislīdzsvarotākais noklusējuma iestatījums | Vidējs |
high | Sarežģīta spriešana, dziļa atkļūdošana, padziļināta plānošana | Augsts |
xhigh | Dziļi pētījumi un ilgstoši uzdevumi, tikai ja testi liecina par ieguvumu | Ļoti augsts |
max | Vis sarežģītākie uzdevumi, kas jāsalīdzina ar xhigh | Pro vai Max darbā |
Pievērs īpašu uzmanību rindai medium: tas ir ieteicamais sākumpunkts lielākajai daļai lietojumu gadījumu. Samazini līmeni, ja ātrums ir svarīgāks par dziļumu, un palielini to, ja uzdevums to prasa.
Kad palielināt jaudu
Pirmā pazīme ir soļu ķēde. Ja pareizā atbilde prasa atrisināt A, lai saprastu B, un pēc tam apvienot A un B, lai iegūtu C, palielini līmeni. Piemēram, „Analizē šos trīs komerciālos piedāvājumus, salīdzini tos pēc pieciem svērtiem kritērijiem un ieteic labāko ar pamatojumu” precīzi iekļaujas šajā kategorijā.
Otrā pazīme ir matemātiska vai loģiska rakstura: aprēķini, secinājumi, kombinatorika. Piemēram, salīdzini abus līmeņus uzdevumā: „Aprēķini degressīvi lineāro nolietojumu 120 000 € vērtam aktīvam 5 gadu periodā ar koeficientu 1,75.” Trešais aspekts ir precizitāte: ja kļūda ir dārga (finanšu aprēķini, juridiskā analīze, algoritmi), augstāks līmenis dod modelim laiku pārbaudīt savu darbu. Ceturtais ir stratēģija: projekta plānošana, scenāriju novērtēšana vai lēmumu koka veidošana.
Kad palikt zemā līmenī
Turpretī lielākā daļa formulēšanas uzdevumu negūst nekādu labumu no papildu spriešanas. E-pasta vai ieraksta melnraksta sagatavošana, tulkošana, pārfrazēšana, kopsavilkuma veidošana satura saspiestai, vienkārša faktiska jautājuma atbildēšana vai ideju ģenerēšana: pietiek ar ātru līmeni, un OpenAI patiešām min rakstīšanu kā low lietojuma gadījumu. Kopsavilkumu kategorija mainās tikai tad, ja mērķis nav satura saspiestība, bet gan teksta kritiska analīze.
Lēmumu koks
Pirms pieprasījuma konfigurēšanas pietiek ar trim jautājumiem:
- Vai uzdevums prasa vairākus spriešanas soļus? Ja jā, vismaz Vidējs (
medium). - Vai precizitāte ir kritiska? Ja jā, Augsts (
high) vai augstāks, plus pārbaude ar rīku. - Vai ātrums ir svarīgāks par dziļumu? Ja jā, Tūlītējs (
nonevailow).
Izmaksas un laiks: praktiski faktori
Katrs līmenis izmaksā tokenus un sekundes. Spriešanas tokeni tiek tarifēti kā izvades tokeni, un to skaits var svārstīties no dažiem simtiem līdz desmitiem tūkstošu sarežģītām problēmām; jo augstāks līmenis, jo ilgāks gaidīšanas laiks. ChatGPT augstāki līmeņi izmanto kvotas, kas specifiskas tavam plānam; sasniedzot limitu, ChatGPT var turpināt darbu ar citu pieejamo modeli. Kompromiss ir simetrisks: maksimāla līmeņa izšķiešana vienkāršam uzdevumam nozīmē maksāšanu un gaidīšanu veltīgi; sarežģītas problēmas risināšana ar minimālo līmeni rada viduvēju rezultātu, par kuru vēlāk maksāsi ar labojumiem.
Tava kārta
Apmāci savu ausi. Klasificē šos sešus uzdevumus, pirms skaties uz pareizo kolonnu, pēc tam atkārto vingrinājumu ar saviem šīs nedēļas pieprasījumiem.
| Uzdevums | Paredzētais iestatījums |
|---|---|
| „Sagatavo sekojoša e-pasta melnrakstu klientam” | Ātrs |
| „Optimizē šo budžetu, ievērojot šos četrus ierobežojumus” | Augsts |
| „Iztulko šo rindkopu vāciski” | Ātrs |
| „Atrodi loģisko kļūdu šajā trīs punktu argumentācijā” | Vidējs līdz Augsts |
| „Ģenerē desmit nosaukuma idejas manam startapam” | Ātrs |
| „Aprēķini desmit gadu investīcijas iekšējo atdevi (IRR)“ | Augsts, ar pārbaudi |
Tevis gaida divas simetriskas kļūdas: spriešanas pārmērīga izmantošana (lēnas atbildes, augošas izmaksas) un nepietiekama izmantošana (palikšana pie ātra režīma sarežģītām problēmām). Trešā kļūda ir viltīgāka: iestatījuma nemainīšana darba plūsmas laikā. Vienas sarunas ietvaros samazini līmeni pārfrazēšanai un palielini to analīzei.
Oficiālie avoti: Spriešanas modeļi (OpenAI API: ieteicamie lietojumi pēc piepūles līmeņa, spriešanas tokenu tarifikācija) · GPT-6 un citi modeļi ChatGPT (Chat līmeņi, limiti un pāreja uz citu modeli)
Galvenās atziņas
mediumir ieteicamais sākumpunkts; samazini ātrumam, palielini grūtībām- Palielini jaudu daudzu soļu problēmām, aprēķiniem, kritiskai precizitātei un stratēģijai
- Paliec ātrs rakstīšanai, tulkošanai, pārfrazēšanai, vienkāršiem jautājumiem un ideju ģenerēšanai
- Pietiek ar trim jautājumiem: vairāki soļi? kritiska precizitāte? ātruma prioritāte?
- Pielāgo līmeni katram pieprasījumam atsevišķi: tas ir slīdnis, nevis pastāvīga izvēle