Few-shot via API
Pe această pagină
Predați prin exemple
Prompting-ul few-shot constă în furnizarea modelului a câtorva exemple de intrare-ieșire înainte de a trimite cererea reală. Cu API-ul Chat Completions, aceste exemple nu beneficiază de un slot special: le injectați în istoricul conversației sub formă de perechi false de mesaje user/assistant, ca și cum schimbul ar fi avut loc cu adevărat. Modelul nu poate face diferența între un tur autentic și unul fabricat de dumneavoastră, iar aceasta este exact ceea ce face tehnica atât de eficientă. Fără fine-tuning, aceasta este cea mai fiabilă metodă de a obține un format de ieșire precis.
Trucul constă într-o inversare: în loc să descrieți pe larg formatul așteptat în promptul de sistem, îl arătați. Pentru o sarcină de clasificare a sentimentelor, trei exemple sunt suficiente pentru ca modelul să înțeleagă că trebuie să răspundă cu o etichetă cu majuscule și nimic altceva.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You classify the sentiment of customer reviews."
},
# Example 1
{"role": "user", "content": "Review: Fast delivery, product as described. Very satisfied!"},
{"role": "assistant", "content": "POSITIVE"},
# Example 2
{"role": "user", "content": "Review: Package arrived damaged, customer service unreachable."},
{"role": "assistant", "content": "NEGATIVE"},
# Example 3
{"role": "user", "content": "Review: The product is fine but a bit pricey for what it is."},
{"role": "assistant", "content": "MIXED"},
# Actual request
{"role": "user", "content": "Review: Excellent quality, I highly recommend this store."}
],
temperature=0.0
)
print(response.choices[0].message.content)
# POSITIVE
Modelul a extras tiparul – recenzia ca intrare, eticheta cu majuscule ca ieșire – și l-a aplicat noii intrări. Nicio instrucțiune de formatare nu a fost scrisă explicit: cele trei perechi au fost suficiente.
Câte exemple să furnizați
Numărul de exemple depinde de dificultatea sarcinii, iar randamentele descrescătoare sunt abrupte.
| Număr | Când să îl utilizați |
|---|---|
| 0 (zero-shot) | Sarcini simple, gestionate natural de model |
| 1–2 | Format de ieșire standard (JSON, etichetă) |
| 3–5 | Clasificare cu multiple categorii |
| 5–10 | Sarcini complexe sau formate foarte specifice |
Dincolo de zece exemple, consumați mulți tokeni de intrare fără un câștig proporțional: fiecare cerere antrenează același bloc de exemple, facturat la fiecare apel. În acel moment, fine-tuning-ul devine opțiunea economică sensată.
Două utilizări care modifică ieșirea
Extracția entităților numite arată ce adaugă exemplele dincolo de o schemă descrisă în detaliu. Acestea blochează nu doar cheile JSON, ci și modul de gestionare a categoriilor goale – al doilea exemplu arată explicit liste goale în loc de un câmp lipsă, ceea ce împiedică parserul dumneavoastră să întâlnească o structură neașteptată.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Extract named entities in JSON format."
},
# Example 1
{
"role": "user",
"content": "Pierre Martin joined Google France in Paris in January 2025."
},
{
"role": "assistant",
"content": '{"personnes": ["Pierre Martin"], "organisations": ["Google France"], "lieux": ["Paris"], "dates": ["janvier 2025"]}'
},
# Example 2
{
"role": "user",
"content": "The VivaTech conference organized by Publicis will take place in June."
},
{
"role": "assistant",
"content": '{"personnes": [], "organisations": ["Publicis"], "lieux": [], "dates": ["juin"]}'
},
# Actual request
{
"role": "user",
"content": "Sophie Leclerc, director at Mistral AI, announced a partnership with Microsoft at the AI Paris show on March 15, 2026."
}
],
temperature=0.0
)
import json
result = json.loads(response.choices[0].message.content)
print(json.dumps(result, indent=2, ensure_ascii=False))
Transformarea textului urmează o logică diferită: nu transmiteți o schemă, ci un registru de limbaj. Un singur exemplu de simplificare – traducerea arhitecturii transformer într-o propoziție accesibilă – învață modelul nivelul dorit de abstractizare, ceva pe care nicio instrucțiune de genul „fiți pedagogic“ nu l-ar realiza cu această precizie.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Transform technical text into a layperson summary."
},
# Example
{
"role": "user",
"content": "The model uses a transformer encoder-decoder architecture with multi-head attention and pre-layer RMS normalization."
},
{
"role": "assistant",
"content": "This AI system uses advanced technology that lets it understand and generate text by analyzing relationships between words in parallel and efficiently."
},
# Actual request
{
"role": "user",
"content": "The API uses nucleus sampling with top_p to truncate the probability distribution of candidate tokens during autoregressive generation."
}
]
)
print(response.choices[0].message.content)
Few-shot dinamic
În producție, un set fix de exemple ajunge să dăuneze jumătății cererilor dumneavoastră: exemplele tehnice umflă inutil o întrebare de facturare. Soluția este construirea unei baze de exemple pe categorii, injectând apoi doar pe cele care corespund contextului detectat în amonte. Funcția de mai jos asamblează promptul de sistem, exemplele pentru categorie și întrebarea reală în ordinea corectă.
# Example base
EXAMPLES = {
"technical": [
{"user": "How do I configure a VPN?", "assistant": "Here are the steps..."},
{"user": "My server is returning a 502 error.", "assistant": "Error 502..."},
],
"sales": [
{"user": "What are your rates?", "assistant": "Our plans start at..."},
{"user": "Is there a trial period?", "assistant": "Yes, 14 days..."},
],
"billing": [
{"user": "I haven't received my invoice.", "assistant": "Check your..."},
{"user": "How do I change plans?", "assistant": "Go to..."},
]
}
def build_messages(category: str, user_question: str) -> list:
"""Build messages with dynamic few-shot."""
messages = [
{"role": "system", "content": "Technical support assistant."}
]
# Add examples for the category
for ex in EXAMPLES.get(category, []):
messages.append({"role": "user", "content": ex["user"]})
messages.append({"role": "assistant", "content": ex["assistant"]})
# Add the actual question
messages.append({"role": "user", "content": user_question})
return messages
# Usage
messages = build_messages("technical", "My Docker deployment is failing.")
response = client.chat.complete(
model="mistral-large-latest",
messages=messages
)
Ce face un set de exemple bun
Few-shot eșuează cel mai adesea din cauza lipsei de diversitate: trei recenzii categoric pozitive și modelul va clasifica totul ca POSITIVE. Acoperiți cazurile normale și cazurile limită, incluzând un exemplu despre ceea ce modelul NU trebuie să facă – arătarea unui refuz este adesea mai eficientă decât interzicerea acestuia printr-o regulă. Consistența formei contează la fel de mult: dacă un exemplu returnează POSITIVE și altul Positive, tocmai ați învățat modelul că majusculele sunt opționale.
Două obiceiuri completează exercițiul. Numărați tokenii, deoarece fiecare exemplu este facturat ca intrare la fiecare apel – un set de opt perechi devine rapid principalul factor de cost pentru un API de clasificare cu volum mare. Și testați mai întâi fără exemple: modelele recente gestionează în zero-shot sarcini care necesitau cinci exemple acum doi ani, iar dumneavoastră veți economisi ceea ce nu a fost nevoie să scrieți.
Puncte cheie
- Few-shot injectează perechi false user/assistant înainte de cererea reală
- 3–5 exemple sunt suficiente pentru majoritatea sarcinilor de clasificare și extracție
- Utilizați
temperature=0cu few-shot pentru a maximiza consistența - Few-shot dinamic selectează exemple relevante pe baza contextului
- Dincolo de 10 exemple, luați în considerare fine-tuning-ul în loc de few-shot