Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Few-shot putem API-ja

Lekcija 10 od 16 Ažurirano 2. studenoga 2026. Programer
Na ovoj stranici
  1. Poučavanje primjerima
  2. Koliko primjera pružiti
  3. Dvije uporabe koje mijenjaju izlaz
  4. Dinamički few-shot
  5. Što čini dobar skup primjera
  6. Ključne točke

Poučavanje primjerima

Few-shot prompting znači da modelu daješ nekoliko primjera ulaz-izlaz prije slanja stvarnog zahtjeva. Kod Chat Completions API-ja, ti primjeri nemaju posebno mjesto: ubacuješ ih u povijest razgovora kao lažne parove poruka user/assistant, kao da se razmjena stvarno dogodila. Model ne može razlikovati stvarni odgovor od onoga koji si izmislio, i upravo to čini tehniku toliko učinkovitom. Bez fino podešavanja (fine-tuning), ovo je najpouzdaniji način za dobivanje preciznog formata izlaza.

Trik je u obrnutom pristupu: umjesto da u sistemskom promptu opširno opisuješ očekivani format, ti ga pokazuješ. Za zadatak klasifikacije sentimenta, tri primjera dovoljna su da model shvati kako mora odgovoriti velikim slovima i ničim drugim.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You classify the sentiment of customer reviews."
        },
        # Example 1
        {"role": "user", "content": "Review: Fast delivery, product as described. Very satisfied!"},
        {"role": "assistant", "content": "POSITIVE"},
        # Example 2
        {"role": "user", "content": "Review: Package arrived damaged, customer service unreachable."},
        {"role": "assistant", "content": "NEGATIVE"},
        # Example 3
        {"role": "user", "content": "Review: The product is fine but a bit pricey for what it is."},
        {"role": "assistant", "content": "MIXED"},
        # Actual request
        {"role": "user", "content": "Review: Excellent quality, I highly recommend this store."}
    ],
    temperature=0.0
)

print(response.choices[0].message.content)
# POSITIVE

Model je izvukao uzorak – recenzija kao ulaz, oznaka velikim slovima kao izlaz – i primijenio ga na novi ulaz. Nijedna uputa za formatiranje nije bila eksplicitno napisana: tri para bila su dovoljna.

Koliko primjera pružiti

Broj primjera ovisi o težini zadatka, a brzo nailaziš na zakon opadajućih prinosa.

BrojKada ga koristiti
0 (zero-shot)Jednostavni zadaci koje model prirodno obrađuje
1–2Standardni format izlaza (JSON, oznaka)
3–5Klasifikacija s više kategorija
5–10Složeni zadaci ili vrlo specifični formati

Preko deset primjera trošiš mnogo ulaznih tokena bez proporcionalne dobiti: svaki zahtjev vuče isti blok primjera, koji se naplaćuje pri svakom pozivu. U tom trenutku, fino podešavanje (fine-tuning) postaje ekonomski smislena opcija.

Dvije uporabe koje mijenjaju izlaz

Ekstrakcija imenovanih entiteta pokazuje što primjeri dodaju uz shemu u potpunosti opisanu u tekstu. Oni zaključavaju ne samo JSON ključeve, već i način rukovanja praznim kategorijama – drugi primjer eksplicitno prikazuje prazne liste umjesto nedostajućeg polja, što sprječava tvoj parser da naiđe na neočekivanu strukturu.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Extract named entities in JSON format."
        },
        # Example 1
        {
            "role": "user",
            "content": "Pierre Martin joined Google France in Paris in January 2025."
        },
        {
            "role": "assistant",
            "content": '{"personnes": ["Pierre Martin"], "organisations": ["Google France"], "lieux": ["Paris"], "dates": ["janvier 2025"]}'
        },
        # Example 2
        {
            "role": "user",
            "content": "The VivaTech conference organized by Publicis will take place in June."
        },
        {
            "role": "assistant",
            "content": '{"personnes": [], "organisations": ["Publicis"], "lieux": [], "dates": ["juin"]}'
        },
        # Actual request
        {
            "role": "user",
            "content": "Sophie Leclerc, director at Mistral AI, announced a partnership with Microsoft at the AI Paris show on March 15, 2026."
        }
    ],
    temperature=0.0
)

import json
result = json.loads(response.choices[0].message.content)
print(json.dumps(result, indent=2, ensure_ascii=False))

Transformacija teksta slijedi drugačiju logiku: ne prenosiš shemu, već registar jezika. Jedan primjer pojednostavljenja – prijevod arhitekture transformatora u pristupačnu rečenicu – uči model željenoj razini apstrakcije, što nijedna uputa poput „budi pedagoški“ ne bi postigla s ovom preciznošću.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Transform technical text into a layperson summary."
        },
        # Example
        {
            "role": "user",
            "content": "The model uses a transformer encoder-decoder architecture with multi-head attention and pre-layer RMS normalization."
        },
        {
            "role": "assistant",
            "content": "This AI system uses advanced technology that lets it understand and generate text by analyzing relationships between words in parallel and efficiently."
        },
        # Actual request
        {
            "role": "user",
            "content": "The API uses nucleus sampling with top_p to truncate the probability distribution of candidate tokens during autoregressive generation."
        }
    ]
)

print(response.choices[0].message.content)

Dinamički few-shot

U proizvodnji, fiksni skup primjera na kraju šteti polovici tvojih zahtjeva: tehnički primjeri nepotrebno napuhuju upit o naplati. Rješenje je izgraditi bazu primjera po kategorijama, a zatim ubaciti samo one koji odgovaraju kontekstu otkrivenom unaprijed. Donja funkcija sastavlja sistemski prompt, primjere za kategoriju i stvarno pitanje ispravnim redoslijedom.

# Example base
EXAMPLES = {
    "technical": [
        {"user": "How do I configure a VPN?", "assistant": "Here are the steps..."},
        {"user": "My server is returning a 502 error.", "assistant": "Error 502..."},
    ],
    "sales": [
        {"user": "What are your rates?", "assistant": "Our plans start at..."},
        {"user": "Is there a trial period?", "assistant": "Yes, 14 days..."},
    ],
    "billing": [
        {"user": "I haven't received my invoice.", "assistant": "Check your..."},
        {"user": "How do I change plans?", "assistant": "Go to..."},
    ]
}

def build_messages(category: str, user_question: str) -> list:
    """Build messages with dynamic few-shot."""
    messages = [
        {"role": "system", "content": "Technical support assistant."}
    ]

    # Add examples for the category
    for ex in EXAMPLES.get(category, []):
        messages.append({"role": "user", "content": ex["user"]})
        messages.append({"role": "assistant", "content": ex["assistant"]})

    # Add the actual question
    messages.append({"role": "user", "content": user_question})
    return messages

# Usage
messages = build_messages("technical", "My Docker deployment is failing.")
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages
)

Što čini dobar skup primjera

Few-shot najčešće ne uspijeva zbog nedostatka raznolikosti: tri izričito pozitivne recenzije i model će sve klasificirati kao POSITIVE. Pokrij normalne slučajeve i rubne slučajeve, uključujući primjer onoga što model NE SMIJE učiniti – pokazivanje odbijanja često je učinkovitije od zabrane pravilom. Dosljednost u obliku jednako je važna: ako jedan primjer vraća POSITIVE, a drugi Positive, upravo si naučio model da veličina slova nije bitna.

Dvije navike zaokružuju vježbu. Broji tokene, jer se svaki primjer naplaćuje kao ulaz pri svakom pozivu – skup od osam parova brzo postaje glavni pokretač troškova za API za klasifikaciju velikog obujma. I testiraj prvo bez primjera: noviji modeli u zero-shot načinu rješavaju zadatke za koje su prije dvije godine bila potrebna četiri primjera, pa ćeš uštedjeti ono što nisi trebao ni pisati.

Ključne točke

  • Few-shot ubacuje lažne parove user/assistant prije stvarnog zahtjeva
  • 3–5 primjera dovoljno je za većinu zadataka klasifikacije i ekstrakcije
  • Koristi temperature=0 s few-shotom za maksimalnu dosljednost
  • Dinamički few-shot odabire relevantne primjere na temelju konteksta
  • Preko 10 primjera, razmisli o finom podešavanju umjesto few-shota