Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Few-shot via the API

Oppitunti 10 / 16 Päivitetty 2. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Opeta esimerkein
  2. Kuinka monta esimerkkiä tarvitaan
  3. Kaksi käyttötapaa, jotka muuttavat tulosta
  4. Dynaaminen few-shot
  5. Mikä tekee hyvästä esimerkkijoukosta
  6. Keskeiset asiat

Opeta esimerkein

Few-shot prompting tarkoittaa sitä, että annat mallille muutaman syöte-tuotos-esimerkin ennen varsinaisen pyynnön lähettämistä. Chat Completions API:ssa näille esimerkeille ei ole varattu erityistä paikkaa: syötät ne keskusteluhistoriaan valeparina user/assistant-viestejä, ikään kuin vaihto olisi todella tapahtunut. Malli ei pysty erottamaan aitua vuoroa keksitystä, ja juuri siinä piilee tekniikan tehokkuus. Ilman hienosäätöä tämä on luotettavin tapa saada tarkka tulostemuoto.

Temppu on käänteinen: sen sijaan että kuvaisit odotetun muodon pitkällisesti järjestelmäkehotteessa, näytät sen. Sentimenttianalyysitehtävässä kolme esimerkkiä riittää saamaan mallin ymmärtämään, että sen tulee vastata isolla kirjoitetulla tunnisteella eikä millään muulla.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You classify the sentiment of customer reviews."
        },
        # Example 1
        {"role": "user", "content": "Review: Fast delivery, product as described. Very satisfied!"},
        {"role": "assistant", "content": "POSITIVE"},
        # Example 2
        {"role": "user", "content": "Review: Package arrived damaged, customer service unreachable."},
        {"role": "assistant", "content": "NEGATIVE"},
        # Example 3
        {"role": "user", "content": "Review: The product is fine but a bit pricey for what it is."},
        {"role": "assistant", "content": "MIXED"},
        # Actual request
        {"role": "user", "content": "Review: Excellent quality, I highly recommend this store."}
    ],
    temperature=0.0
)

print(response.choices[0].message.content)
# POSITIVE

Malli poimi kaavan – arvostelu syötteenä, isoin kirjaimin kirjoitettu tunnistetuotos – ja sovelsi sitä uuteen syötteeseen. Muotoiluohjetta ei kirjoitettu auki: kolme paria riitti.

Kuinka monta esimerkkiä tarvitaan

Esimerkkien määrä riippuu tehtävän vaativuudesta, ja hyöty laskee jyrkästi määrän kasvaessa.

MääräMilloin käyttää
0 (zero-shot)Yksinkertaiset tehtävät, jotka malli hoitaa luontevasti
1–2Vakiotulostemuoto (JSON, tunnistetieto)
3–5Luokittelu useilla kategorioilla
5–10Monimutkaiset tehtävät tai hyvin erityiset muodot

Yli kymmenen esimerkin jälkeen kulutat paljon syötetokeneita ilman suhteellista hyötyä: jokainen pyyntö raahaa mukanaan saman esimerkkilohkon, josta laskutetaan joka kutsulla. Tässä vaiheessa hienosäätö muuttuu taloudellisesti järkeväksi vaihtoehdoksi.

Kaksi käyttötapaa, jotka muuttavat tulosta

Nimettyjen entiteettien poiminta osoittaa, mitä esimerkit tuovat lisää täysin kuvattuun skeemaan verrattuna. Ne lukitsevat paitsi JSON-avaimet, myös tavan käsitellä tyhjiä kategorioita – toinen esimerkki näyttää nimenomaisesti tyhjät listat puuttuvan kentän sijaan, mikä estää jäsentimesi törmäämästä odottamattomaan rakenteeseen.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Extract named entities in JSON format."
        },
        # Example 1
        {
            "role": "user",
            "content": "Pierre Martin joined Google France in Paris in January 2025."
        },
        {
            "role": "assistant",
            "content": '{"personnes": ["Pierre Martin"], "organisations": ["Google France"], "lieux": ["Paris"], "dates": ["janvier 2025"]}'
        },
        # Example 2
        {
            "role": "user",
            "content": "The VivaTech conference organized by Publicis will take place in June."
        },
        {
            "role": "assistant",
            "content": '{"personnes": [], "organisations": ["Publicis"], "lieux": [], "dates": ["juin"]}'
        },
        # Actual request
        {
            "role": "user",
            "content": "Sophie Leclerc, director at Mistral AI, announced a partnership with Microsoft at the AI Paris show on March 15, 2026."
        }
    ],
    temperature=0.0
)

import json
result = json.loads(response.choices[0].message.content)
print(json.dumps(result, indent=2, ensure_ascii=False))

Tekstin muunnos noudattaa eri logiikkaa: et välitä skeemaa, vaan kielirekisteriä. Yksi esimerkki yksinkertaistamisesta – transformer-arkkitehtuurin kääntäminen ymmärrettävään lauseeseen – opettaa mallille halutun abstraktiotason, mihin mikään “ole pedagoginen” -tyylinen ohje ei yltäisi tällä tarkkuudella.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Transform technical text into a layperson summary."
        },
        # Example
        {
            "role": "user",
            "content": "The model uses a transformer encoder-decoder architecture with multi-head attention and pre-layer RMS normalization."
        },
        {
            "role": "assistant",
            "content": "This AI system uses advanced technology that lets it understand and generate text by analyzing relationships between words in parallel and efficiently."
        },
        # Actual request
        {
            "role": "user",
            "content": "The API uses nucleus sampling with top_p to truncate the probability distribution of candidate tokens during autoregressive generation."
        }
    ]
)

print(response.choices[0].message.content)

Dynaaminen few-shot

Tuotannossa kiinteä esimerkkijoukko haittaa puolta pyynnöistäsi: tekniset esimerkit turpoavat tarpeettomasti laskutuskysymyksessä. Ratkaisu on rakentaa esimerkkipankki kategorioittain ja syöttää vain ne, jotka vastaavat ylävirrassa havaittua kontekstia. Alla oleva funktio kokoaa järjestelmäkehotteen, kategorian esimerkit ja varsinaisen kysymyksen oikeaan järjestykseen.

# Example base
EXAMPLES = {
    "technical": [
        {"user": "How do I configure a VPN?", "assistant": "Here are the steps..."},
        {"user": "My server is returning a 502 error.", "assistant": "Error 502..."},
    ],
    "sales": [
        {"user": "What are your rates?", "assistant": "Our plans start at..."},
        {"user": "Is there a trial period?", "assistant": "Yes, 14 days..."},
    ],
    "billing": [
        {"user": "I haven't received my invoice.", "assistant": "Check your..."},
        {"user": "How do I change plans?", "assistant": "Go to..."},
    ]
}

def build_messages(category: str, user_question: str) -> list:
    """Build messages with dynamic few-shot."""
    messages = [
        {"role": "system", "content": "Technical support assistant."}
    ]

    # Add examples for the category
    for ex in EXAMPLES.get(category, []):
        messages.append({"role": "user", "content": ex["user"]})
        messages.append({"role": "assistant", "content": ex["assistant"]})

    # Add the actual question
    messages.append({"role": "user", "content": user_question})
    return messages

# Usage
messages = build_messages("technical", "My Docker deployment is failing.")
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages
)

Mikä tekee hyvästä esimerkkijoukosta

Few-shot epäonnistuu useimmiten monimuotoisuuden puutteeseen: kolme lähes poikkeuksetta myönteistä arvostelua, ja malli luokittelee kaiken POSITIVE-kategoriaksi. Kata normaalit tapaukset ja reunatapaukset, mukaan lukien esimerkki siitä, mitä mallin ei tule tehdä – kieltäytyminen on usein tehokkaampaa näyttää kuin kieltää säännöllä. Muodon johdonmukaisuus on yhtä tärkeää: jos yksi esimerkki palauttaa POSITIVE ja toinen Positive, olet juuri opettanut mallille, että kirjainkoko on vapaa.

Kaksi tapaa viimeistelevät harjoituksen. Laske tokenit, sillä jokainen esimerkki laskutetaan syötteenä jokaisessa kutsussa – kahdeksan parin setti muodostuu nopeasti suurvolymisen luokittelurajapinnan pääkustannustekijäksi. Ja testaa ensin ilman esimerkkejä: uusimmat mallit hoitavat zero-shot-tehtäviä, jotka vaativat kaksi vuotta sitten viisi esimerkkiä, ja säästät sen, mitä sinun ei tarvinnut kirjoittaa.

Keskeiset asiat

  • Few-shot syöttää vale-user/assistant-pareja ennen varsinaista pyyntöä
  • 3–5 esimerkkiä riittää useimpiin luokittelu- ja poimintatehtäviin
  • Käytä temperature=0 few-shotin kanssa maksimoidaksesi johdonmukaisuuden
  • Dynaaminen few-shot valitsee asiaankuuluvat esimerkit kontekstin perusteella
  • Yli 10 esimerkin kohdalla harkitse hienosäätöä few-shotin sijaan