Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Few-shot prek API-ja

Lekcija 10 od 16 Posodobljeno 2. november 2026 Razvijalec
Na tej strani
  1. Uči s primeri
  2. Koliko primerov navesti
  3. Dve uporabi, ki spremenita izhod
  4. Dinamični few-shot
  5. Kaj naredi dober nabor primerov
  6. Ključne ugotovitve

Uči s primeri

Usmerjanje z nekaj primeri (few-shot prompting) pomeni, da modelu pred dejansko zahtevo posreduješ nekaj vhodno-izhodnih primerov. Pri API-ju za dopolnjevanje klepetov ti primeri nimajo posebnega mesta: vstaviš jih v zgodovino pogovora kot lažne pare sporočil user/assistant, kot da bi se izmenjava res zgodila. Model ne more razlikovati med pristnim obratom in tistim, ki si ga izmislil, in prav to naredi tehniko tako učinkovito. Brez fino uglaševanja je to najbolj zanesljiv način za pridobitev natančne oblike izhoda.

Trik je v obratu: namesto da v sistemskem pozivu dolgo opisuješ pričakovano obliko, jo pokažeš. Pri nalogi razvrščanja čustev zadostujejo trije primeri, da model razume, da mora odgovoriti z oznako z velikimi črkami in ničemer drugim.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You classify the sentiment of customer reviews."
        },
        # Example 1
        {"role": "user", "content": "Review: Fast delivery, product as described. Very satisfied!"},
        {"role": "assistant", "content": "POSITIVE"},
        # Example 2
        {"role": "user", "content": "Review: Package arrived damaged, customer service unreachable."},
        {"role": "assistant", "content": "NEGATIVE"},
        # Example 3
        {"role": "user", "content": "Review: The product is fine but a bit pricey for what it is."},
        {"role": "assistant", "content": "MIXED"},
        # Actual request
        {"role": "user", "content": "Review: Excellent quality, I highly recommend this store."}
    ],
    temperature=0.0
)

print(response.choices[0].message.content)
# POSITIVE

Model je izvlekel vzorec – ocena kot vhod, oznaka z velikimi črkami kot izhod – in ga uporabil za nov vhod. Nobeno navodilo za oblikovanje ni bilo izrecno zapisano: zadostovala so trije pari.

Koliko primerov navesti

Število primerov je odvisno od težavnosti naloge, pri čemer hitro naletiš na padajoče donose.

ŠteviloKdaj uporabiti
0 (brez primera)Preproste naloge, ki jih model naravno obvlada
1–2Standardna oblika izhoda (JSON, oznaka)
3–5Razvrščanje z več kategorijami
5–10Kompleksne naloge ali zelo specifične oblike

Čez deset primerov porabiš veliko vhodnih žetonov brez sorazmernega dobička: vsaka zahteva vleče isti blok primerov, ki se zaračuna ob vsakem klicu. Na tej točki postane fino uglaševanje ekonomsko smiselna možnost.

Dve uporabi, ki spremenita izhod

Ekstrakcija poimenovanih entitet kaže, kaj primeri dodajo poleg sheme, opisane v celoti. Zaklenejo ne le ključe JSON, ampak tudi način obravnave praznih kategorij – drugi primer izrecno prikazuje prazne sezname namesto manjkajočega polja, kar prepreči, da bi tvoj razčlenjevalec naletel na nepričakovano strukturo.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Extract named entities in JSON format."
        },
        # Example 1
        {
            "role": "user",
            "content": "Pierre Martin joined Google France in Paris in January 2025."
        },
        {
            "role": "assistant",
            "content": '{"personnes": ["Pierre Martin"], "organisations": ["Google France"], "lieux": ["Paris"], "dates": ["janvier 2025"]}'
        },
        # Example 2
        {
            "role": "user",
            "content": "The VivaTech conference organized by Publicis will take place in June."
        },
        {
            "role": "assistant",
            "content": '{"personnes": [], "organisations": ["Publicis"], "lieux": [], "dates": ["juin"]}'
        },
        # Actual request
        {
            "role": "user",
            "content": "Sophie Leclerc, director at Mistral AI, announced a partnership with Microsoft at the AI Paris show on March 15, 2026."
        }
    ],
    temperature=0.0
)

import json
result = json.loads(response.choices[0].message.content)
print(json.dumps(result, indent=2, ensure_ascii=False))

Preoblikovanje besedila sledi drugačni logiki: ne prenašaš sheme, ampak jezikovni register. En sam primer poenostavitve – prevod arhitekture transformerjev v dostopen stavek – nauči model želeno raven abstrakcije, česar nobeno navodilo, kot je „bodi pedagoški”, ne bi doseglo s takšno natančnostjo.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Transform technical text into a layperson summary."
        },
        # Example
        {
            "role": "user",
            "content": "The model uses a transformer encoder-decoder architecture with multi-head attention and pre-layer RMS normalization."
        },
        {
            "role": "assistant",
            "content": "This AI system uses advanced technology that lets it understand and generate text by analyzing relationships between words in parallel and efficiently."
        },
        # Actual request
        {
            "role": "user",
            "content": "The API uses nucleus sampling with top_p to truncate the probability distribution of candidate tokens during autoregressive generation."
        }
    ]
)

print(response.choices[0].message.content)

Dinamični few-shot

V proizvodnem okolju fiksni nabor primerov sčasoma škodi polovici tvojih zahtev: tehnični primeri nepotrebno napihnejo vprašanje o zaračunavanju. Rešitev je gradnja zbirke primerov po kategorijah, nato pa vstaviš le tiste, ki ustrezajo kontekstu, zaznanemu vnaprej. Spodnja funkcija sestavi sistemski poziv, primere za kategorijo in dejansko vprašanje v pravilnem vrstnem redu.

# Example base
EXAMPLES = {
    "technical": [
        {"user": "How do I configure a VPN?", "assistant": "Here are the steps..."},
        {"user": "My server is returning a 502 error.", "assistant": "Error 502..."},
    ],
    "sales": [
        {"user": "What are your rates?", "assistant": "Our plans start at..."},
        {"user": "Is there a trial period?", "assistant": "Yes, 14 days..."},
    ],
    "billing": [
        {"user": "I haven't received my invoice.", "assistant": "Check your..."},
        {"user": "How do I change plans?", "assistant": "Go to..."},
    ]
}

def build_messages(category: str, user_question: str) -> list:
    """Build messages with dynamic few-shot."""
    messages = [
        {"role": "system", "content": "Technical support assistant."}
    ]

    # Add examples for the category
    for ex in EXAMPLES.get(category, []):
        messages.append({"role": "user", "content": ex["user"]})
        messages.append({"role": "assistant", "content": ex["assistant"]})

    # Add the actual question
    messages.append({"role": "user", "content": user_question})
    return messages

# Usage
messages = build_messages("technical", "My Docker deployment is failing.")
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages
)

Kaj naredi dober nabor primerov

Few-shot najpogosteje odpove zaradi pomanjkanja raznolikosti: trije izključno pozitivni pregledi in model bo vse razvrstil kot POZITIVNO. Pokrij normalne primere in robne primere, vključno s primerom tega, česar model NE SME storiti – prikaz zavrnitve je pogosto učinkovitejši od prepovedi s pravilom. Doslednost v obliki je prav tako pomembna: če en primer vrne POSITIVE, drug pa Positive, si pravkar naučil model, da je velikost črk poljubna.

Dve navadi zaključita vajo. Štej žetone, saj se vsak primer zaračuna kot vhod ob vsakem klicu – nabor z osmimi pari hitro postane glavni gonilnik stroškov za API za razvrščanje z velikim obsegom. In najprej testiraj brez primerov: nedavni modeli obvladajo naloge brez primerov (zero-shot), ki so pred dvema letoma zahtevale pet primerov, in prihranil boš tisto, kar nisi moral zapisati.

Ključne ugotovitve

  • Few-shot vstavi lažne pare user/assistant pred dejansko zahtevo
  • Za večino nalog razvrščanja in ekstrakcije zadostuje 3–5 primerov
  • Pri few-shot uporabi temperature=0 za največjo doslednost
  • Dinamični few-shot izbira ustrezne primere glede na kontekst
  • Pri več kot 10 primerih razmisli o finem uglaševanju namesto few-shot