Few-shot via the API
Sellel lehel
Õpeta näite varal
Few-shot prompting tähendab, et annad mudelile enne tegeliku päringu saatmist mõned sisendi-väljundi näited. Chat Completions API puhul pole nende näidete jaoks spetsiaalset kohta: sisestad need vestlusajalukku võltsitud user/assistant sõnumipaaridena, justkui oleks vahetus tegelikult toimunud. Mudel ei tee vahet ehtsal pöördel ja sinu konstrueeritud pöördel ning just see teeb tehnika nii tõhusaks. Ilma peenhäälestuseta on see kõige usaldusväärsem viis täpse väljundiformaadi saavutamiseks.
Nipp seisneb pööramises: selle asemel, et kirjeldada oodatavat formaati süsteemses vihjes pikalt, sa lihtsalt näitad seda. Sentimendi klassifitseerimise ülesande puhul piisab kolmest näitest, et mudel mõistaks, et ta peab vastama ainult suurtähtedes sildiga ja mitte millegi muuga.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You classify the sentiment of customer reviews."
},
# Example 1
{"role": "user", "content": "Review: Fast delivery, product as described. Very satisfied!"},
{"role": "assistant", "content": "POSITIVE"},
# Example 2
{"role": "user", "content": "Review: Package arrived damaged, customer service unreachable."},
{"role": "assistant", "content": "NEGATIVE"},
# Example 3
{"role": "user", "content": "Review: The product is fine but a bit pricey for what it is."},
{"role": "assistant", "content": "MIXED"},
# Actual request
{"role": "user", "content": "Review: Excellent quality, I highly recommend this store."}
],
temperature=0.0
)
print(response.choices[0].message.content)
# POSITIVE
Mudel eristas mustrit – arvustus sisendina, suurtähtedes silt väljundina – ja rakendas seda uuele sisendile. Ühtegi formaadijuhendit ei kirjutatud sõnaselgelt välja: kolm paari oli piisav.
Mitu näidet esitada
Näidete arv sõltub ülesande keerukusest ja kasu kahaneb järsult.
| Arv | Millal kasutada |
|---|---|
| 0 (zero-shot) | Lihtsad ülesanded, millega mudel loomupäraselt hakkama saab |
| 1–2 | Standardne väljundiformaat (JSON, silt) |
| 3–5 | Klassifitseerimine mitme kategooriaga |
| 5–10 | Komplekssed ülesanded või väga spetsiifilised formaadid |
Üle kümne näite põletad palju sisendsõnumeid ilma proportsionaalse kasuta: iga päring lohistab endaga kaasa sama näidete ploki, mida arveldatakse iga kutse pealt. Sel hetkel muutub peenhäälestus majanduslikult mõistlikumaks valikuks.
Kaks kasutusviisi, mis muudavad väljundit
Nimega entiteetide ekstraheerimine näitab, mida lisavad näited võrreldes täielikult kirjeldatud skeemiga. Need lukustavad mitte ainult JSON-võtmed, vaid ka viisi, kuidas käsitleda tühje kategooriaid – teine näide näitab sõnaselgelt tühje loendeid mitte puuduva väljana, mis hoiab ära parseri kokkupõrke ootamatu struktuuriga.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Extract named entities in JSON format."
},
# Example 1
{
"role": "user",
"content": "Pierre Martin joined Google France in Paris in January 2025."
},
{
"role": "assistant",
"content": '{"personnes": ["Pierre Martin"], "organisations": ["Google France"], "lieux": ["Paris"], "dates": ["janvier 2025"]}'
},
# Example 2
{
"role": "user",
"content": "The VivaTech conference organized by Publicis will take place in June."
},
{
"role": "assistant",
"content": '{"personnes": [], "organisations": ["Publicis"], "lieux": [], "dates": ["juin"]}'
},
# Actual request
{
"role": "user",
"content": "Sophie Leclerc, director at Mistral AI, announced a partnership with Microsoft at the AI Paris show on March 15, 2026."
}
],
temperature=0.0
)
import json
result = json.loads(response.choices[0].message.content)
print(json.dumps(result, indent=2, ensure_ascii=False))
Teksti teisendamine järgib teistsugust loogikat: sa ei edasta skeemi, vaid keele registrit. Üksainus lihtsustamise näide – transformaatori arhitektuuri tõlkimine arusaadavaks lauseks – õpetab mudelile soovitud abstraktsioonitaset, mida ükski juhend nagu „ole pedagoogiline“ sellise täpsusega ei saavutaks.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Transform technical text into a layperson summary."
},
# Example
{
"role": "user",
"content": "The model uses a transformer encoder-decoder architecture with multi-head attention and pre-layer RMS normalization."
},
{
"role": "assistant",
"content": "This AI system uses advanced technology that lets it understand and generate text by analyzing relationships between words in parallel and efficiently."
},
# Actual request
{
"role": "user",
"content": "The API uses nucleus sampling with top_p to truncate the probability distribution of candidate tokens during autoregressive generation."
}
]
)
print(response.choices[0].message.content)
Dünaamiline few-shot
Tootmiskeskkonnas kahjustab fikseeritud näidete komplekt lõpuks pooli sinu päringuid: tehnilised näited paisutavad asjatult arvepäringut. Lahenduseks on luua näidete baas kategooriate kaupa ja sisestada ainult need, mis vastavad ülemises osas tuvastatud kontekstile. Allpool olev funktsioon koostab süsteemse vihje, kategooriale vastavad näited ja tegeliku küsimuse õiges järjekorras.
# Example base
EXAMPLES = {
"technical": [
{"user": "How do I configure a VPN?", "assistant": "Here are the steps..."},
{"user": "My server is returning a 502 error.", "assistant": "Error 502..."},
],
"sales": [
{"user": "What are your rates?", "assistant": "Our plans start at..."},
{"user": "Is there a trial period?", "assistant": "Yes, 14 days..."},
],
"billing": [
{"user": "I haven't received my invoice.", "assistant": "Check your..."},
{"user": "How do I change plans?", "assistant": "Go to..."},
]
}
def build_messages(category: str, user_question: str) -> list:
"""Build messages with dynamic few-shot."""
messages = [
{"role": "system", "content": "Technical support assistant."}
]
# Add examples for the category
for ex in EXAMPLES.get(category, []):
messages.append({"role": "user", "content": ex["user"]})
messages.append({"role": "assistant", "content": ex["assistant"]})
# Add the actual question
messages.append({"role": "user", "content": user_question})
return messages
# Usage
messages = build_messages("technical", "My Docker deployment is failing.")
response = client.chat.complete(
model="mistral-large-latest",
messages=messages
)
Mis teeb näidete komplekti heaks
Few-shot ebaõnnestub kõige sagedamini mitmekesisuse puudumise tõttu: kolm läbinisti positiivset arvustust ja mudel klassifitseerib kõik kui POSITIVE. Kata nii normaalsed juhtumid kui ka äärmuslikud juhtumid, kaasates näide sellest, mida mudel EI tohi teha – keeldumise näitamine on sageli tõhusam kui selle reegliga keelamine. Vormi järjepidevus on sama oluline: kui üks näide tagastab POSITIVE ja teine Positive, oled just õpetanud mudelile, et tähesuurus on vaba.
Kaks harjumust viivad harjutuse lõpule. Loenda sõnumeid, kuna iga näidet arveldatakse sisendina iga kutse pealt – kaheksast paarist koosnev komplekt muutub kiiresti suure mahuga klassifitseerimis-API peamiseks kuludriveriks. Ja testi esmalt ilma näideteta: uusimad mudelid saavad zero-shot ülesannetega hakkama, mille jaoks oli kahe aasta eest vaja viit näidet, ning sa säästad seda, mida polnud vaja kirjutada.
Peamised punktid
- Few-shot sisestab võltsitud user/assistant paarid enne tegelikku päringut
- Enamiku klassifitseerimis- ja ekstraheerimisülesannete jaoks piisab 3–5 näitest
- Kasuta few-shot’i puhul
temperature=0, et maksimeerida järjepidevust - Dünaamiline few-shot valib konteksti põhjal asjakohased näited
- Üle 10 näite puhul kaalu few-shot’i asemel peenhäälestust