Few-shot чрез API
На тази страница
Обучение чрез примери
Few-shot prompting означава да предоставите на модела няколко примера за вход и изход, преди да изпратите реалната си заявка. При Chat Completions API тези примери нямат специален слот: Вие ги инжектирате в историята на разговора като фалшиви двойки съобщения user/assistant, сякаш обменът наистина се е случил. Моделът не може да различи истински ход от такъв, който сте изфабрикували, и точно това прави техниката толкова ефективна. Без фина настройка (fine-tuning), това е най-надеждният начин да получите прецизен формат на изхода.
Трикът е в обръщането: вместо да описвате очаквания формат подробно в системното подканване, Вие го показвате. За задача за класификация на настроенията три примера са достатъчни, за да разбере моделът, че трябва да отговори с етикет с главни букви и нищо друго.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You classify the sentiment of customer reviews."
},
# Example 1
{"role": "user", "content": "Review: Fast delivery, product as described. Very satisfied!"},
{"role": "assistant", "content": "POSITIVE"},
# Example 2
{"role": "user", "content": "Review: Package arrived damaged, customer service unreachable."},
{"role": "assistant", "content": "NEGATIVE"},
# Example 3
{"role": "user", "content": "Review: The product is fine but a bit pricey for what it is."},
{"role": "assistant", "content": "MIXED"},
# Actual request
{"role": "user", "content": "Review: Excellent quality, I highly recommend this store."}
],
temperature=0.0
)
print(response.choices[0].message.content)
# POSITIVE
Моделът е извлякъл модела – отзив като вход, етикет с главни букви като изход – и го е приложил към новия вход. Няма изрично написана инструкция за форматиране: трите двойки бяха достатъчни.
Колко примера да предоставите
Броят на примерите зависи от трудността на задачата и Вие бързо достигате до намаляваща възвръщаемост.
| Брой | Кога да го използвате |
|---|---|
| 0 (zero-shot) | Прости задачи, които моделът обработва естествено |
| 1–2 | Стандартен формат на изхода (JSON, етикет) |
| 3–5 | Класификация с множество категории |
| 5–10 | Сложни задачи или много специфични формати |
Над десет примера Вие изгаряте много входни токени без пропорционална полза: всяка заявка влачи един и същи блок от примери, който се таксува при всяко извикване. В този момент фина настройката става икономически смисленият вариант.
Две употреби, които променят изхода
Извличането на именувани entities показва какво добавят примерите отвъд схема, описана изцяло. Те заключват не само JSON ключовете, но и начина на обработка на празните категории – вторият пример изрично показва празни списъци вместо липсващо поле, което предпазва Вашия парсър от неочаквана структура.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Extract named entities in JSON format."
},
# Example 1
{
"role": "user",
"content": "Pierre Martin joined Google France in Paris in January 2025."
},
{
"role": "assistant",
"content": '{"personnes": ["Pierre Martin"], "organisations": ["Google France"], "lieux": ["Paris"], "dates": ["janvier 2025"]}'
},
# Example 2
{
"role": "user",
"content": "The VivaTech conference organized by Publicis will take place in June."
},
{
"role": "assistant",
"content": '{"personnes": [], "organisations": ["Publicis"], "lieux": [], "dates": ["juin"]}'
},
# Actual request
{
"role": "user",
"content": "Sophie Leclerc, director at Mistral AI, announced a partnership with Microsoft at the AI Paris show on March 15, 2026."
}
],
temperature=0.0
)
import json
result = json.loads(response.choices[0].message.content)
print(json.dumps(result, indent=2, ensure_ascii=False))
Трансформацията на текст следва различна логика: Вие не предавате схема, а регистър на езика. Един единствен пример за опростяване – превеждане на архитектурата на трансформатор в достъпно изречение – обучава модела на желаното ниво на абстракция, нещо, което никоя инструкция като „бъдете педагогични“ не би постигнала с тази прецизност.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Transform technical text into a layperson summary."
},
# Example
{
"role": "user",
"content": "The model uses a transformer encoder-decoder architecture with multi-head attention and pre-layer RMS normalization."
},
{
"role": "assistant",
"content": "This AI system uses advanced technology that lets it understand and generate text by analyzing relationships between words in parallel and efficiently."
},
# Actual request
{
"role": "user",
"content": "The API uses nucleus sampling with top_p to truncate the probability distribution of candidate tokens during autoregressive generation."
}
]
)
print(response.choices[0].message.content)
Динамичен few-shot
В производствена среда фиксиран набор от примери в крайна сметка вреди на половината Ви заявки: техническите примери ненужно раздуват заявка за фактуриране. Решението е да изградите база от примери по категории и след това да инжектирате само тези, които съвпадат с контекста, открит предварително. Функцията по-долу сглобява системното подканване, примерите за категорията и реалния въпрос в правилния ред.
# Example base
EXAMPLES = {
"technical": [
{"user": "How do I configure a VPN?", "assistant": "Here are the steps..."},
{"user": "My server is returning a 502 error.", "assistant": "Error 502..."},
],
"sales": [
{"user": "What are your rates?", "assistant": "Our plans start at..."},
{"user": "Is there a trial period?", "assistant": "Yes, 14 days..."},
],
"billing": [
{"user": "I haven't received my invoice.", "assistant": "Check your..."},
{"user": "How do I change plans?", "assistant": "Go to..."},
]
}
def build_messages(category: str, user_question: str) -> list:
"""Build messages with dynamic few-shot."""
messages = [
{"role": "system", "content": "Technical support assistant."}
]
# Add examples for the category
for ex in EXAMPLES.get(category, []):
messages.append({"role": "user", "content": ex["user"]})
messages.append({"role": "assistant", "content": ex["assistant"]})
# Add the actual question
messages.append({"role": "user", "content": user_question})
return messages
# Usage
messages = build_messages("technical", "My Docker deployment is failing.")
response = client.chat.complete(
model="mistral-large-latest",
messages=messages
)
Какво прави един добър набор от примери
Few-shot най-често се проваля поради липса на разнообразие: три изцяло положителни отзива и моделът ще класифицира всичко като POSITIVE. Покрийте нормалните случаи и граничните случаи, включително пример за това какво моделът НЕ трябва да прави – показването на отказ често е по-ефективно от забраната му с правило. Съгласуваността във формата е също толкова важна: ако един пример връща POSITIVE, а друг Positive, току-що сте научили модела, че регистърът на буквите е свободен.
Два навика допълват упражнението. Бройте токените, тъй като всеки пример се таксува като вход при всяко извикване – набор от осем двойки бързо се превръща в основен двигател на разходите за API за класификация с голям обем. И тествайте първо без примери: съвременните модели справят със задачи в zero-shot режим, които преди две години изискваха пет примера, и ще спестите това, което не е било нужно да пишете.
Ключови изводи
- Few-shot инжектира фалшиви двойки user/assistant преди реалната заявка
- 3–5 примера са достатъчни за повечето задачи за класификация и извличане
- Използвайте
temperature=0с few-shot, за да максимизирате съгласуваността - Динамичният few-shot избира релевантни примери въз основа на контекста
- Над 10 примера, обмислете фина настройка вместо few-shot