Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

Few-shot via de API

Les 10 van 16 Bijgewerkt op 2 november 2026 Ontwikkelaar
Op deze pagina
  1. Leren door voorbeelden
  2. Hoeveel voorbeelden moet u geven?
  3. Twee toepassingen die de output veranderen
  4. Dynamisch few-shot
  5. Wat maakt een goede voorbeeldset?
  6. Belangrijkste punten

Leren door voorbeelden

Few-shot prompting betekent dat u het model een paar input-outputvoorbeelden geeft voordat u uw eigenlijke verzoek verzendt. Bij de Chat Completions API krijgen deze voorbeelden geen speciale plek: u injecteert ze in de conversatiegeschiedenis als nep user/assistant-berichtparen, alsof de uitwisseling echt heeft plaatsgevonden. Het model kan geen onderscheid maken tussen een echte beurt en een door u gefabriceerde beurt, en dat is precies wat deze techniek zo effectief maakt. Zonder fine-tuning is dit de meest betrouwbare manier om een nauwkeurige outputindeling te verkrijgen.

De truc is een omkering: in plaats van de verwachte indeling uitgebreid te beschrijven in de systeemprompt, toont u deze. Voor een taak voor sentimentclassificatie volstaan drie voorbeelden om het model te laten begrijpen dat het moet antwoorden met een label in hoofdletters en niets anders.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You classify the sentiment of customer reviews."
        },
        # Example 1
        {"role": "user", "content": "Review: Fast delivery, product as described. Very satisfied!"},
        {"role": "assistant", "content": "POSITIVE"},
        # Example 2
        {"role": "user", "content": "Review: Package arrived damaged, customer service unreachable."},
        {"role": "assistant", "content": "NEGATIVE"},
        # Example 3
        {"role": "user", "content": "Review: The product is fine but a bit pricey for what it is."},
        {"role": "assistant", "content": "MIXED"},
        # Actual request
        {"role": "user", "content": "Review: Excellent quality, I highly recommend this store."}
    ],
    temperature=0.0
)

print(response.choices[0].message.content)
# POSITIVE

Het model heeft het patroon geëxtraheerd—recensie als input, label in hoofdletters als output—en dit toegepast op de nieuwe input. Er was geen enkele expliciete formatteerinstructie geschreven: de drie paren waren voldoende.

Hoeveel voorbeelden moet u geven?

Het aantal voorbeelden hangt af van de moeilijkheidsgraad van de taak, en u stuit al snel op afnemende meeropbrengsten.

AantalWanneer te gebruiken
0 (zero-shot)Eenvoudige taken die het model van nature aankan
1–2Standaard outputindeling (JSON, label)
3–5Classificatie met meerdere categorieën
5–10Complexe taken of zeer specifieke indelingen

Boven de tien voorbeelden verbruikt u veel inputtokens zonder evenredig voordeel: elk verzoek sleept hetzelfde blok voorbeelden mee, dat bij elke oproep in rekening wordt gebracht. Op dat punt wordt fine-tuning de economisch verstandige optie.

Twee toepassingen die de output veranderen

Extractie van benoemde entiteiten laat zien wat voorbeelden toevoegen bovenop een volledig beschreven schema. Ze leggen niet alleen de JSON-sleutels vast, maar ook hoe lege categorieën moeten worden behandeld—het tweede voorbeeld toont expliciet lege lijsten in plaats van een ontbrekend veld, waardoor uw parser niet vastloopt op een onverwachte structuur.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Extract named entities in JSON format."
        },
        # Example 1
        {
            "role": "user",
            "content": "Pierre Martin joined Google France in Paris in January 2025."
        },
        {
            "role": "assistant",
            "content": '{"personnes": ["Pierre Martin"], "organisations": ["Google France"], "lieux": ["Paris"], "dates": ["janvier 2025"]}'
        },
        # Example 2
        {
            "role": "user",
            "content": "The VivaTech conference organized by Publicis will take place in June."
        },
        {
            "role": "assistant",
            "content": '{"personnes": [], "organisations": ["Publicis"], "lieux": [], "dates": ["juin"]}'
        },
        # Actual request
        {
            "role": "user",
            "content": "Sophie Leclerc, director at Mistral AI, announced a partnership with Microsoft at the AI Paris show on March 15, 2026."
        }
    ],
    temperature=0.0
)

import json
result = json.loads(response.choices[0].message.content)
print(json.dumps(result, indent=2, ensure_ascii=False))

Teksttransformatie volgt een andere logica: u zendt geen schema uit, maar een taalregister. Een enkel voorbeeld van vereenvoudiging—het vertalen van transformer-architectuur naar een toegankelijke zin—leert het model het gewenste abstractieniveau, iets wat geen enkele instructie zoals “wees pedagogisch” met deze precisie zou bereiken.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Transform technical text into a layperson summary."
        },
        # Example
        {
            "role": "user",
            "content": "The model uses a transformer encoder-decoder architecture with multi-head attention and pre-layer RMS normalization."
        },
        {
            "role": "assistant",
            "content": "This AI system uses advanced technology that lets it understand and generate text by analyzing relationships between words in parallel and efficiently."
        },
        # Actual request
        {
            "role": "user",
            "content": "The API uses nucleus sampling with top_p to truncate the probability distribution of candidate tokens during autoregressive generation."
        }
    ]
)

print(response.choices[0].message.content)

Dynamisch few-shot

In productieomgevingen doet een vaste set voorbeelden uiteindelijk de helft van uw verzoeken kwaad: technische voorbeelden blazen een factureringsvraag onnodig op. De oplossing is het opbouwen van een voorbeeldbasis per categorie en vervolgens alleen die voorbeelden injecteren die overeenkomen met de upstream gedetecteerde context. De onderstaande functie stelt de systeemprompt, de voorbeelden voor de categorie en de eigenlijke vraag samen in de juiste volgorde.

# Example base
EXAMPLES = {
    "technical": [
        {"user": "How do I configure a VPN?", "assistant": "Here are the steps..."},
        {"user": "My server is returning a 502 error.", "assistant": "Error 502..."},
    ],
    "sales": [
        {"user": "What are your rates?", "assistant": "Our plans start at..."},
        {"user": "Is there a trial period?", "assistant": "Yes, 14 days..."},
    ],
    "billing": [
        {"user": "I haven't received my invoice.", "assistant": "Check your..."},
        {"user": "How do I change plans?", "assistant": "Go to..."},
    ]
}

def build_messages(category: str, user_question: str) -> list:
    """Build messages with dynamic few-shot."""
    messages = [
        {"role": "system", "content": "Technical support assistant."}
    ]

    # Add examples for the category
    for ex in EXAMPLES.get(category, []):
        messages.append({"role": "user", "content": ex["user"]})
        messages.append({"role": "assistant", "content": ex["assistant"]})

    # Add the actual question
    messages.append({"role": "user", "content": user_question})
    return messages

# Usage
messages = build_messages("technical", "My Docker deployment is failing.")
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages
)

Wat maakt een goede voorbeeldset?

Few-shot faalt meestal door gebrek aan diversiteit: drie louter positieve recensies en het model classificeert alles als POSITIVE. Dek normale gevallen en randgevallen, inclusief een voorbeeld van wat het model NIET moet doen—het tonen van een weigering is vaak effectiever dan het verbieden ervan met een regel. Consistentie in vorm is net zo belangrijk: als het ene voorbeeld POSITIVE retourneert en het andere Positive, heeft u het model zojuist geleerd dat hoofdlettergebruik vrijblijvend is.

Twee gewoonten maken de oefening compleet. Tel tokens, aangezien elk voorbeeld bij elke oproep als input wordt gefactureerd—een set van acht paren wordt al snel de belangrijkste kostenpost voor een classificatie-API met een hoog volume. En test eerst zonder voorbeelden: recente modellen kunnen zero-shot taken aan die twee jaar geleden nog vijf voorbeelden vereisten, en u bespaart wat u niet had hoeven schrijven.

Belangrijkste punten

  • Few-shot injecteert nep user/assistant-paren vóór het eigenlijke verzoek
  • 3–5 voorbeelden volstaan voor de meeste classificatie- en extractietaken
  • Gebruik temperature=0 met few-shot om de consistentie te maximaliseren
  • Dynamisch few-shot selecteert relevante voorbeelden op basis van context
  • Bij meer dan 10 voorbeelden is fine-tuning een beter alternatief dan few-shot