Few-Shot Prompting
Na tej strani
Učenje s primeri
Few-shot prompting (spodbujanje z nekaj primeri) vključuje posredovanje enega ali več primerov naloge modelu, preden mu zastaviš dejansko zahtevo. Namesto da bi abstraktno razlagal, kaj pričakuješ, mu to konkretno pokažeš – prav tako kot trener, ki namesto dvajsetminutnega opisovanja dobrega zapisnika s sestanka udeležencem razdeli dva dobro napisana vzorca in jim prepusti, da jih усvojijo. Ta tehnika je ena najučinkovitejših za doseganje natančnih in doslednih rezultatov z modeli Mistral.
Načelo je preprosto: model se zanaša na podane primere, da razume pričakovano obliko, ton, raven podrobnosti in logiko, nato pa ta vzorec reproducira za tvojo zahtevo. Dobro izbran primer pogosto nadomesti cel odstavek razlage – in to stori bolje.
Zero-shot, one-shot, few-shot: tri ravni usmerjanja
Slovar tega področja razlikuje tri različice glede na število primerov. Pri zero-shot (brez primera) podaš navodilo brez kakršnih koli primerov in model se zanaša izključno na svoje znanje:
Classify the sentiment of this text as positive, neutral, or negative:
"Customer service was responsive but delivery was late."
Zero-shot deluje za preproste, pogoste naloge, s katerimi se je model med usposabljanjem srečal na tisoče krat. Za naloge, specifične za tvoje podjetje, je to pogosto nezadostno: model bo klasificiral, vendar ne nujno po tvojih merilih.
Pri one-shot (en primer) včasih zadošča že en sam primer, da usmeriš model. Primer prikazuje tako izhodno obliko kot način utemeljitve odgovora:
Classify the sentiment and justify in one sentence.
Example:
Text: "Excellent product, highly recommended!"
Sentiment: positive
Justification: Expression of enthusiasm and explicit recommendation.
To classify:
Text: "Customer service was responsive but delivery was late."
Sentiment:
Justification:
S few-shot (nekaj primerov) več primerov zmanjša dvoumnost in okrepi doslednost. To je še posebej uporabno, ko je mejnih primerov veliko – kot pri tej mešani oceni, ki združuje pozitivno in negativno točko:
Classify the sentiment and justify in one sentence.
Example 1:
Text: "Excellent product, highly recommended!"
Sentiment: positive
Justification: Expression of enthusiasm and explicit recommendation.
Example 2:
Text: "The price is fair for what it is."
Sentiment: neutral
Justification: Factual evaluation without strong emotion.
Example 3:
Text: "Three weeks of waiting for a defective product."
Sentiment: negative
Justification: Delay issue combined with a quality defect.
To classify:
Text: "Customer service was responsive but delivery was late."
Sentiment:
Justification:
S tremi primeri, ki pokrivajo tri kategorije, je model videl, kako izgleda vsak primer, in bo svoj odziv ustrezno prilagodil.
Izvajanje few-shot z API-jem Mistral
V besedilnem pozivu se primeri kopičijo, kot je prikazano zgoraj. Toda z API-jem obstaja čistejša metoda: uporabi vlogi user in assistant za ustvarjanje umetnih izmenjav, ki služijo kot primeri. Ustvariš zgodovino pogovora od začetka, kjer je model „že” odgovoril popolnoma:
messages = [
{
"role": "system",
"content": "You classify customer reviews. Respond only with the indicated format."
},
# Example 1
{
"role": "user",
"content": "Classify: \"Excellent product, highly recommended!\""
},
{
"role": "assistant",
"content": "Sentiment: positive\nJustification: Expression of enthusiasm and explicit recommendation."
},
# Example 2
{
"role": "user",
"content": "Classify: \"Three weeks of waiting for a defective product.\""
},
{
"role": "assistant",
"content": "Sentiment: negative\nJustification: Delay issue combined with a quality defect."
},
# Actual request
{
"role": "user",
"content": "Classify: \"Customer service was responsive but delivery was late.\""
}
]
S posredovanjem primerov kot sporočil user/assistant model te obravnava kot uspešno zgodovino pogovora, ki jo mora nadaljevati v isti smeri. To je vzorec, ki ga moraš dati prednost, takoj ko preideš na proizvodno okolje: primeri ostanejo ločeni od podatkov, kar olajša njihovo vzdrževanje in bogatenje.
Kdaj uporabiti few-shot
Few-shot odlično deluje v štirih vrstah situacij. Prvič, prilagojena klasifikacija: ko tvoje kategorije niso standardne – na primer specifične vrste internih zahtevkov v tvojem podjetju – noben opis ne premaga nekaj že klasificiranih zahtevkov. Drugič, ekstrakcija podatkov, ko je izhodna oblika specifična za tvojo organizacijo. Tretjič, pisanje s specifičnim tonom: če želiš, da model prevzame tvoj uredniški slog, mu pokaži dva ali tri svoja besedila, namesto da bi svoj slog poskušal opisati s pridevniki. Nazadnje, na splošno dvoumne naloge: takoj ko besedilni opis ne zadošča za razrešitev dvomov, jih primer razjasni.
Koliko primerov podati
Optimalno število je odvisno od zahtevnosti naloge. Za preprosto nalogo z jasno obliko – binarna klasifikacija, ekstrakcija enega polja – zadoščata en ali dva primera. Za nalogo z več kategorijami ali zapleteno obliko računaj na tri do pet primerov, v idealnem primeru enega na kategorijo. Več kot pet primerov pomeni, da si na področju zelo specifičnih nalog ali tistih, bogatih z mejnimi primeri, ki jih je treba eksplicitno pokriti.
Vendar imej v mislih stroške: vsak primer porabi vhodne žetone (input tokens), pri modelih Mistral pa so vhodni žetoni zaračunani. Poziv za klasifikacijo, ki se pokliče deset tisočkrat na dan z osmimi odvečnimi primeri, stane bistveno več kot isti poziv s tremi dobro izbranimi primeri, pogosto brez kakršnega koli dobička v kakovosti. Najdi pravo ravnovesje med natančnostjo in učinkovitostjo.
Izgradnja dobrih primerov
Za zaključek nekaj najboljših praks. Raznovrsti svoje primere, da pokriješ različne možne primere, vključno z mejnimi: trije zgolj pozitivni primeri te ne naučijo ničesar o obravnavi negativnih ocen. Ohrani strogo identično obliko od enega primera do drugega – najmanjša variacija v strukturi bo razumljena kot pomembna in reproducirana. Uporabi realistične primere, blizu tvojim dejanskim podatkom: model, usposobljen na tvojih resničnih ocenah strank, bo tvoje resnične ocene strank klasificiral bolje, kot če bi videl le učbeniške fraze. In vedno postavi dejansko zahtevo nazadnje: model posveča večjo pozornost začetku in koncu poziva.
Ključne ugotovitve
- Few-shot prompting modelu s primeri pokaže, kaj pričakuješ
- Uporabi vlogi user/assistant za ustvarjanje primerov v API-ju Mistral
- V večini primerov zadošča 1 do 5 primerov
- Raznovrsti primere za pokrivanje različnih scenarijev, povsod ohrani identično obliko
- Few-shot je idealen za klasifikacijo, ekstrakcijo in pisanje s specifično obliko