Few-shot via API'en
På denne side
Undervis ved hjælp af eksempler
Few-shot prompting betyder, at du giver modellen nogle få input-output-eksempler, før du sender din egentlige anmodning. Med Chat Completions API får disse eksempler ikke en særlig plads: du injicerer dem i samtalehistorikken som falske user/assistant-beskedpar, som om udvekslingen faktisk havde fundet sted. Modellen kan ikke se forskel på et ægte svar og et, du har fabrikeret, og det er netop det, der gør teknikken så effektiv. Uden fine-tuning er dette den mest pålidelige måde at opnå et præcist outputformat på.
Tricket er en omvending: I stedet for at beskrive det forventede format udførligt i system-prompten, viser du det. Til en opgave med sentimentklassificering er tre eksempler nok til at få modellen til at forstå, at den skal svare med et mærkat i store bogstaver og intet andet.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You classify the sentiment of customer reviews."
},
# Example 1
{"role": "user", "content": "Review: Fast delivery, product as described. Very satisfied!"},
{"role": "assistant", "content": "POSITIVE"},
# Example 2
{"role": "user", "content": "Review: Package arrived damaged, customer service unreachable."},
{"role": "assistant", "content": "NEGATIVE"},
# Example 3
{"role": "user", "content": "Review: The product is fine but a bit pricey for what it is."},
{"role": "assistant", "content": "MIXED"},
# Actual request
{"role": "user", "content": "Review: Excellent quality, I highly recommend this store."}
],
temperature=0.0
)
print(response.choices[0].message.content)
# POSITIVE
Modellen har udtrukket mønsteret – anmeldelse som input, mærkat i store bogstaver som output – og anvendt det på det nye input. Ingen formateringsinstruks blev skrevet eksplicit: de tre par var nok.
Hvor mange eksempler skal du give?
Antallet af eksempler afhænger af opgavens sværhedsgrad, og du støder hurtigt på kraftigt aftagende afkast.
| Antal | Hvornår skal det bruges? |
|---|---|
| 0 (zero-shot) | Enkle opgaver, som modellen håndterer naturligt |
| 1–2 | Standard outputformat (JSON, mærkat) |
| 3–5 | Klassificering med flere kategorier |
| 5–10 | Komplekse opgaver eller meget specifikke formater |
Ud over ti eksempler bruger du mange input-tokens uden tilsvarende gevinst: hver anmodning trækker den samme blok af eksempler med, som faktureres ved hvert kald. På det tidspunkt bliver fine-tuning det økonomisk fornuftige valg.
To anvendelser, der ændrer outputtet
Udtrækning af navngivne enheder (Named Entity Extraction) viser, hvad eksempler tilføjer ud over et skema beskrevet i detaljer. De låser ikke kun JSON-nøglerne fast, men også hvordan tomme kategorier skal håndteres – det andet eksempel viser eksplicit tomme lister i stedet for et manglende felt, hvilket forhindrer din parser i at støde på en uventet struktur.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Extract named entities in JSON format."
},
# Example 1
{
"role": "user",
"content": "Pierre Martin joined Google France in Paris in January 2025."
},
{
"role": "assistant",
"content": '{"personnes": ["Pierre Martin"], "organisations": ["Google France"], "lieux": ["Paris"], "dates": ["janvier 2025"]}'
},
# Example 2
{
"role": "user",
"content": "The VivaTech conference organized by Publicis will take place in June."
},
{
"role": "assistant",
"content": '{"personnes": [], "organisations": ["Publicis"], "lieux": [], "dates": ["juin"]}'
},
# Actual request
{
"role": "user",
"content": "Sophie Leclerc, director at Mistral AI, announced a partnership with Microsoft at the AI Paris show on March 15, 2026."
}
],
temperature=0.0
)
import json
result = json.loads(response.choices[0].message.content)
print(json.dumps(result, indent=2, ensure_ascii=False))
Teksttransformation følger en anden logik: Du overfører ikke et skema, men et sprogligt register. Et enkelt eksempel på forenkling – oversættelse af transformer-arkitektur til en letforståelig sætning – lærer modellen det ønskede abstraktionsniveau, noget ingen instruktion som „vær pædagogisk” ville opnå med denne præcision.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Transform technical text into a layperson summary."
},
# Example
{
"role": "user",
"content": "The model uses a transformer encoder-decoder architecture with multi-head attention and pre-layer RMS normalization."
},
{
"role": "assistant",
"content": "This AI system uses advanced technology that lets it understand and generate text by analyzing relationships between words in parallel and efficiently."
},
# Actual request
{
"role": "user",
"content": "The API uses nucleus sampling with top_p to truncate the probability distribution of candidate tokens during autoregressive generation."
}
]
)
print(response.choices[0].message.content)
Dynamisk few-shot
I produktion ender et fast sæt eksempler ofte med at skade halvdelen af dine anmodninger: tekniske eksempler oppuster unødigt en faktureringsforespørgsel. Løsningen er at opbygge en eksempelsamling efter kategori og derefter kun injicere dem, der matcher den kontekst, der er registreret upstream. Funktionen nedenfor samler system-prompten, eksemplerne for kategorien og det faktiske spørgsmål i den rigtige rækkefølge.
# Example base
EXAMPLES = {
"technical": [
{"user": "How do I configure a VPN?", "assistant": "Here are the steps..."},
{"user": "My server is returning a 502 error.", "assistant": "Error 502..."},
],
"sales": [
{"user": "What are your rates?", "assistant": "Our plans start at..."},
{"user": "Is there a trial period?", "assistant": "Yes, 14 days..."},
],
"billing": [
{"user": "I haven't received my invoice.", "assistant": "Check your..."},
{"user": "How do I change plans?", "assistant": "Go to..."},
]
}
def build_messages(category: str, user_question: str) -> list:
"""Build messages with dynamic few-shot."""
messages = [
{"role": "system", "content": "Technical support assistant."}
]
# Add examples for the category
for ex in EXAMPLES.get(category, []):
messages.append({"role": "user", "content": ex["user"]})
messages.append({"role": "assistant", "content": ex["assistant"]})
# Add the actual question
messages.append({"role": "user", "content": user_question})
return messages
# Usage
messages = build_messages("technical", "My Docker deployment is failing.")
response = client.chat.complete(
model="mistral-large-latest",
messages=messages
)
Hvad der gør et godt eksempelsæt
Few-shot fejler oftest på grund af manglende diversitet: tre udelukkende positive anmeldelser, og modellen vil klassificere alt som POSITIVE. Dæk normale tilfælde og kanttilfælde, herunder et eksempel på, hvad modellen ikke må gøre – at vise en afvisning er ofte mere effektivt end at forbyde det med en regel. Konsistens i formen er lige så vigtig: Hvis ét eksempel returnerer POSITIVE og et andet Positive, har du lige lært modellen, at store/små bogstaver er ligegyldige.
To vaner fuldender øvelsen. Tæl tokens, da hvert eksempel faktureres som input ved hvert kald – et sæt på otte par bliver hurtigt den primære omkostningsdriver for en klassificerings-API med højt volumen. Og test uden eksempler først: Nyere modeller håndterer zero-shot-opgaver, der krævede fem eksempler for to år siden, og du sparer det, du ikke behøvede at skrive.
Vigtige pointer
- Few-shot injicerer falske user/assistant-par før den egentlige anmodning
- 3–5 eksempler er nok til de fleste klassificerings- og udtrækningsopgaver
- Brug
temperature=0med few-shot for at maksimere konsistensen - Dynamisk few-shot vælger relevante eksempler baseret på kontekst
- Ved mere end 10 eksempler bør du overveje fine-tuning i stedet for few-shot