Подсказки с малко примери (Few-Shot Prompting)
На тази страница
Учене чрез примери
Подсказките с малко примери (Few-shot prompting) включват предоставянето на модела на един или повече примера за задачата, която трябва да изпълни, преди да подадете действителната заявка. Вместо абстрактно да обяснявате какво очаквате, Вие му показвате конкретно – точно както треньор, който вместо да описва в продължение на двадесет минути как изглежда един добър отчет от срещата, раздава два добре написани образеца и оставя участниците да ги усвоят. Тази техника е една от най-ефективните за получаване на точни и последователни резултати с моделите на Mistral.
Принципът е прост: моделът разчита на предоставените примери, за да разбере очаквания формат, тон, ниво на детайлност и логика, след което възпроизвежда този шаблон за Вашата заявка. Един добре подбран пример често замества цял параграф с обяснения – и го прави по-добре.
Zero-shot, one-shot, few-shot: три нива на насочване
Терминологията в областта разграничава три варианта въз основа на броя на примерите. При zero-shot (нулеви примери) Вие давате инструкция без никакви примери и моделът разчита единствено на своите знания:
Classify the sentiment of this text as positive, neutral, or negative:
"Customer service was responsive but delivery was late."
Zero-shot работи за прости, често срещани задачи, които моделът е срещал хиляди пъти по време на обучението си. За задачи, специфични за Вашия бизнес, това често е недостатъчно: моделът ще извърши класификация, но не непременно според Вашите критерии.
При one-shot (един пример) понякога е достатъчен само един пример, за да се насочи моделът. Примерът показва както изходния формат, така и начина на обосновка на отговора:
Classify the sentiment and justify in one sentence.
Example:
Text: "Excellent product, highly recommended!"
Sentiment: positive
Justification: Expression of enthusiasm and explicit recommendation.
To classify:
Text: "Customer service was responsive but delivery was late."
Sentiment:
Justification:
При few-shot (малко примери) множество примери намаляват двусмислието и засилват последователността. Това е особено полезно, когато има много гранични случаи – като този смесен отзив, който съчетава положителен и отрицателен момент:
Classify the sentiment and justify in one sentence.
Example 1:
Text: "Excellent product, highly recommended!"
Sentiment: positive
Justification: Expression of enthusiasm and explicit recommendation.
Example 2:
Text: "The price is fair for what it is."
Sentiment: neutral
Justification: Factual evaluation without strong emotion.
Example 3:
Text: "Three weeks of waiting for a defective product."
Sentiment: negative
Justification: Delay issue combined with a quality defect.
To classify:
Text: "Customer service was responsive but delivery was late."
Sentiment:
Justification:
С три примера, обхващащи трите категории, моделът е видял как изглежда всеки случай и ще калибрира отговора си съответно.
Използване на few-shot с Mistral API
В текстовата подсказка примерите се натрупват както по-горе. Но при работа с API има по-чист метод: използвайте ролите user и assistant, за да създадете изкуствени размени, които служат като примери. Вие създавате история на разговора от нулата, в която моделът вече е отговорил перфектно:
messages = [
{
"role": "system",
"content": "You classify customer reviews. Respond only with the indicated format."
},
# Example 1
{
"role": "user",
"content": "Classify: \"Excellent product, highly recommended!\""
},
{
"role": "assistant",
"content": "Sentiment: positive\nJustification: Expression of enthusiasm and explicit recommendation."
},
# Example 2
{
"role": "user",
"content": "Classify: \"Three weeks of waiting for a defective product.\""
},
{
"role": "assistant",
"content": "Sentiment: negative\nJustification: Delay issue combined with a quality defect."
},
# Actual request
{
"role": "user",
"content": "Classify: \"Customer service was responsive but delivery was late.\""
}
]
Като предавате примерите като съобщения от типа user/assistant, моделът ги третира като успешна история на разговор, която трябва да продължи в същия дух. Това е шаблонът, който трябва да приоритизирате, щом мащабирате към продукционна среда: примерите остават отделени от данните, лесни за поддръжка и обогатяване.
Кога да използвате few-shot
Few-shot блести в четири типа ситуации. Първо, персонализирана класификация: когато Вашите категории не са стандартни – например специфични типове вътрешни билети за Вашата компания – никакво описание не може да замени няколко вече класифицирани билета. Второ, извличане на данни, когато изходният формат е специфичен за Вашата организация. Трето, писане със специфичен тон: ако искате моделът да възприеме Вашия редакционен стил, покажете му два или три от Вашите собствени текстове, вместо да се опитвате да опишете стила си с прилагателни. И накрая, общо казано, двусмислени задачи: щом текстовото описание не е достатъчно, за да разсее съмненията, един пример решава въпроса.
Колко примера да предоставите
Оптималният брой зависи от сложността на задачата. За проста задача с ясен формат – двоична класификация, извличане на едно поле – един или два примера са достатъчни. За задача с множество категории или сложен формат, разчитайте на три до пет примера, в идеалния случай по един за категория. Над пет примера навлизате в територията на много специфични задачи или такива, богати на гранични случаи, които трябва да бъдат покрити изрично.
Имайте предвид обаче разходите: всеки пример консумира входни токени, а при моделите на Mistral входните токени се таксуват. Подсказка за класификация, извиквана десет хиляди пъти на ден с осем излишни примера, струва значително повече от същата с три добре подбрани примера, често без никакво повишаване на качеството. Намерете правилния баланс между прецизност и ефективност.
Изграждане на добри примери
Няколко най-добри практики за финал. Варирайте примерите си, за да покриете различни възможни случаи, включително гранични: три изцяло положителни примера не Ви учат нищо за обработката на отрицателни отзиви. Запазете стриктно идентичен формат от един пример до следващия – най-малката вариация в структурата ще бъде тълкувана като значима и ще бъде възпроизведена. Използвайте реалистични примери, близки до Вашите реални данни: модел, обучен на Вашите реални отзиви от клиенти, ще класифицира Вашите реални отзиви по-добре, отколкото ако е виждал само учебни фрази. И винаги поставяйте действителната заявка накрая: моделът обръща повече внимание на началото и края на подсказката.
Ключови изводи
- Few-shot prompting показва на модела какво очаквате чрез примери
- Използвайте ролите user/assistant, за да създадете примери в Mistral API
- От 1 до 5 примера са достатъчни в повечето случаи
- Варирайте примерите, за да покриете различни сценарии, като запазите идентичен формат навсякъде
- Few-shot е идеален за класификация, извличане и писане със специфичен формат