Few-Shot Prompting
Na ovoj stranici
Uči kroz primjere
Few-shot prompting podrazumijeva da modelu pružiš jedan ili više primjera zadatka koji treba obaviti prije nego što mu pošalješ stvarni zahtjev. Umjesto da apstraktno objašnjavaš što očekuješ, pokazuješ mu to konkretno – baš kao trener koji, umjesto da dvadeset minuta opisuje kako izgleda dobro izvješće sa sastanka, podijeli dva dobro napisana uzorka i prepusti sudionicima da ih usvoje. Ova je tehnika jedna od najučinkovitijih za postizanje preciznih i dosljednih rezultata s Mistral modelima.
Princip je jednostavan: model se oslanja na pružene primjere kako bi razumio očekivani format, ton, razinu detalja i logiku, a zatim reproducira taj obrazac za tvoj zahtjev. Dobro odabran primjer često zamjenjuje cijeli odlomak objašnjenja – i to čini bolje.
Zero-shot, one-shot, few-shot: tri razine vođenja
Rječnik ovog područja razlikuje tri varijante temeljene na broju primjera. Kod zero-shot pristupa daješ uputu bez ikakvih primjera, pa se model oslanja isključivo na svoje znanje:
Classify the sentiment of this text as positive, neutral, or negative:
"Customer service was responsive but delivery was late."
Zero-shot funkcionira za jednostavne, uobičajene zadatke s kojima se model susreo tisućama puta tijekom obuke. Za zadatke specifične za tvoje poslovanje često je nedovoljan: model će klasificirati, ali ne nužno prema tvojim kriterijima.
Kod one-shot pristupa, jedan primjer ponekad je dovoljan da usmjeri model. Primjer pokazuje i format izlaza i način obrazlaganja odgovora:
Classify the sentiment and justify in one sentence.
Example:
Text: "Excellent product, highly recommended!"
Sentiment: positive
Justification: Expression of enthusiasm and explicit recommendation.
To classify:
Text: "Customer service was responsive but delivery was late."
Sentiment:
Justification:
S few-shot pristupom, više primjera smanjuje dvosmislenost i pojačava dosljednost. To je posebno korisno kada ima mnogo rubnih slučajeva – poput ove mješovite recenzije koja spaja pozitivnu i negativnu točku:
Classify the sentiment and justify in one sentence.
Example 1:
Text: "Excellent product, highly recommended!"
Sentiment: positive
Justification: Expression of enthusiasm and explicit recommendation.
Example 2:
Text: "The price is fair for what it is."
Sentiment: neutral
Justification: Factual evaluation without strong emotion.
Example 3:
Text: "Three weeks of waiting for a defective product."
Sentiment: negative
Justification: Delay issue combined with a quality defect.
To classify:
Text: "Customer service was responsive but delivery was late."
Sentiment:
Justification:
S tri primjera koja pokrivaju tri kategorije, model je vidio kako svaki slučaj izgleda i sukladno tome će kalibrirati svoj odgovor.
Implementacija few-shot pristupa s Mistral API-jem
U tekstualnom promptu primjeri se slažu kao gore. No s API-jem postoji čistija metoda: koristi uloge user i assistant za stvaranje umjetnih razmjena koje služe kao primjeri. Stvaraš povijest razgovora od nule u kojoj je model „već“ savršeno odgovorio:
messages = [
{
"role": "system",
"content": "You classify customer reviews. Respond only with the indicated format."
},
# Example 1
{
"role": "user",
"content": "Classify: \"Excellent product, highly recommended!\""
},
{
"role": "assistant",
"content": "Sentiment: positive\nJustification: Expression of enthusiasm and explicit recommendation."
},
# Example 2
{
"role": "user",
"content": "Classify: \"Three weeks of waiting for a defective product.\""
},
{
"role": "assistant",
"content": "Sentiment: negative\nJustification: Delay issue combined with a quality defect."
},
# Actual request
{
"role": "user",
"content": "Classify: \"Customer service was responsive but delivery was late.\""
}
]
Prosljeđivanjem primjera kao poruka uloga user/assistant, model ih tretira kao uspješnu povijest razgovora koju mora nastaviti u istom smjeru. To je obrazac kojemu trebaš dati prednost čim prijeđeš na proizvodnu razinu: primjeri ostaju odvojeni od podataka, što ih čini lakšima za održavanje i obogaćivanje.
Kada koristiti few-shot
Few-shot excels u četiri vrste situacija. Prvo, prilagođena klasifikacija: kada tvoje kategorije nisu standardne – na primjer, interne vrste tiketa specifične za tvoju tvrtku – nijedan opis ne može nadmašiti nekoliko već klasificiranih tiketa. Zatim, ekstrakcija podataka, kada je format izlaza specifičan za tvoju organizaciju. Također, pisanje određenim tonom: ako želiš da model usvoji tvoj urednički stil, pokaži mu dva ili tri svoja teksta umjesto da pokušavaš opisati svoj stil pridjevima. Konačno, općenito dvosmisleni zadaci: čim tekstualni opis nije dovoljan za razrješavanje nedoumica, primjer to rješava.
Koliko primjera pružiti
Optimalan broj ovisi o složenosti zadatka. Za jednostavan zadatak s jasnim formatom – binarna klasifikacija, ekstrakcija jednog polja – dovoljna su jedan ili dva primjera. Za zadatak s više kategorija ili složenim formatom, računaj na tri do pet primjera, idealno jedan po kategoriji. Iznad pet primjera ulaziš u područje vrlo specifičnih zadataka ili onih bogatih rubnim slučajevima koje treba eksplicitno pokriti.
Ipak, imaj na umu trošak: svaki primjer troši ulazne tokene, a kod Mistral modela ulazni tokeni se naplaćuju. Prompt za klasifikaciju koji se pozove deset tisuća puta dnevno s osam suvišnih primjera košta znatno više od istog s tri dobro odabrana primjera, često bez ikakvog dobitka u kvaliteti. Pronađi pravu ravnotežu između preciznosti i učinkovitosti.
Izradi dobre primjere
Evo nekoliko najboljih praksi za kraj. Varijiraj svoje primjere kako bi pokrio različite moguće slučajeve, uključujući rubne slučajeve: tri isključivo pozitivna primjera ne uče ništa o rukovanju negativnim recenzijama. Zadrži strogo identičan format od jednog do drugog primjera – najmanja varijacija u strukturi bit će protumačena kao značajna i reproducirana. Koristi realistične primjere, bliske tvojim stvarnim podacima: model obučen na tvojim stvarnim recenzijama kupaca bolje će klasificirati tvoje stvarne recenzije kupaca nego da je vidio samo školske fraze. I uvijek stavi stvarni zahtjev na kraj: model više pažnje posvećuje početku i kraju prompta.
Ključne točke
- Few-shot prompting pokazuje modelu što očekuješ kroz primjere
- Koristi uloge user/assistant za stvaranje primjera u Mistral API-ju
- U većini slučajeva dovoljno je 1 do 5 primjera
- Varijiraj primjere kako bi pokrio različite scenarije, uz dosljedan format posvuda
- Few-shot je idealan za klasifikaciju, ekstrakciju i pisanje u specifičnom formatu