Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Few-shot prostredníctvom API

Lekcia 10 z 16 Aktualizované 2. novembra 2026 Vývojár
Na tejto strane
  1. Učenie príkladmi
  2. Koľko príkladov poskytnúť
  3. Dva prípady použitia, ktoré menia výstup
  4. Dynamický few-shot
  5. Čo robí dobrú sadu príkladov
  6. Kľúčové poznatky

Učenie príkladmi

Few-shot prompting znamená, že modelu pred odoslaním skutočnej požiadavky poskytneš niekoľko príkladov vstupov a výstupov. Pri API Chat Completions tieto príklady nemajú vyhradené špeciálne miesto: vkladáš ich do histórie konverzácie ako fiktívne páry správ user/assistant, akoby sa táto výmena skutočne odohrala. Model nerozozná rozdiel medzi skutočným kolom konverzácie a tým, ktoré si vyrobil ty, a práve to robí túto techniku tak účinnou. Bez jemného doladenia (fine-tuning) je toto najspoľahlivejší spôsob, ako získať presný formát výstupu.

Trik spočíva v obrátení logiky: namiesto toho, aby si v systémovom prompte zdĺhavo opisoval očakávaný formát, jednoducho ho ukážeš. Pri úlohe klasifikácie sentimentu stačia tri príklady na to, aby model pochopil, že má odpovedať veľkými písmenami a ničím iným.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You classify the sentiment of customer reviews."
        },
        # Example 1
        {"role": "user", "content": "Review: Fast delivery, product as described. Very satisfied!"},
        {"role": "assistant", "content": "POSITIVE"},
        # Example 2
        {"role": "user", "content": "Review: Package arrived damaged, customer service unreachable."},
        {"role": "assistant", "content": "NEGATIVE"},
        # Example 3
        {"role": "user", "content": "Review: The product is fine but a bit pricey for what it is."},
        {"role": "assistant", "content": "MIXED"},
        # Actual request
        {"role": "user", "content": "Review: Excellent quality, I highly recommend this store."}
    ],
    temperature=0.0
)

print(response.choices[0].message.content)
# POSITIVE

Model extrahoval vzor – recenzia ako vstup, štítok veľkými písmenami ako výstup – a aplikoval ho na nový vstup. Žiadna inštrukcia týkajúca sa formátovania nebola explicitne napísaná: stačili tri páry.

Koľko príkladov poskytnúť

Počet príkladov závisí od náročnosti úlohy a rýchlo narazíš na klesajúci výnos.

PočetKedy použiť
0 (zero-shot)Jednoduché úlohy, ktoré model zvláda prirodzene
1–2Štandardný formát výstupu (JSON, štítok)
3–5Klasifikácia s viacerými kategóriami
5–10Zložité úlohy alebo veľmi špecifické formáty

Pri viac ako desiatich príkladoch plytváš veľkým množstvom vstupných tokenov bez úmerného zisku: každá požiadavka so sebou ťahá rovnaký blok príkladov, za ktorý sa platí pri každom volaní. V tomto bode sa ekonomicky výhodnejšou možnosťou stáva jemné doladenie (fine-tuning).

Dva prípady použitia, ktoré menia výstup

Extrakcia pomenovaných entít ukazuje, čo pridávajú príklady navyše oproti schéme opísanej do detailov. Uzamknú nielen kľúče JSON, ale aj spôsob spracovania prázdnych kategórií – druhý príklad explicitne zobrazuje prázdne zoznamy namiesto chýbajúceho poľa, čo bráni tvojmu parseru naraziť na neočakávanú štruktúru.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Extract named entities in JSON format."
        },
        # Example 1
        {
            "role": "user",
            "content": "Pierre Martin joined Google France in Paris in January 2025."
        },
        {
            "role": "assistant",
            "content": '{"personnes": ["Pierre Martin"], "organisations": ["Google France"], "lieux": ["Paris"], "dates": ["janvier 2025"]}'
        },
        # Example 2
        {
            "role": "user",
            "content": "The VivaTech conference organized by Publicis will take place in June."
        },
        {
            "role": "assistant",
            "content": '{"personnes": [], "organisations": ["Publicis"], "lieux": [], "dates": ["juin"]}'
        },
        # Actual request
        {
            "role": "user",
            "content": "Sophie Leclerc, director at Mistral AI, announced a partnership with Microsoft at the AI Paris show on March 15, 2026."
        }
    ],
    temperature=0.0
)

import json
result = json.loads(response.choices[0].message.content)
print(json.dumps(result, indent=2, ensure_ascii=False))

Transformácia textu sa riadi inou logikou: neprenášaš schému, ale register jazyka. Jediný príklad zjednodušenia – preklad architektúry transformera do zrozumiteľnej vety – naučí model požadovanú úroveň abstrakcie. Toho by si inštrukciou typu „buď pedagogický“ s takouto presnosťou nedosiahol.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Transform technical text into a layperson summary."
        },
        # Example
        {
            "role": "user",
            "content": "The model uses a transformer encoder-decoder architecture with multi-head attention and pre-layer RMS normalization."
        },
        {
            "role": "assistant",
            "content": "This AI system uses advanced technology that lets it understand and generate text by analyzing relationships between words in parallel and efficiently."
        },
        # Actual request
        {
            "role": "user",
            "content": "The API uses nucleus sampling with top_p to truncate the probability distribution of candidate tokens during autoregressive generation."
        }
    ]
)

print(response.choices[0].message.content)

Dynamický few-shot

V produkčnom prostredí ti pevná sada príkladov nakoniec u polovice požiadaviek uškodí: technické príklady zbytočne nafúknu billingovú otázku. Riešením je vytvoriť základňu príkladov podľa kategórií a vložiť iba tie, ktoré zodpovedajú kontextu zistenému v predchádzajúcom kroku. Nižšie uvedená funkcia zostaví systémový prompt, príklady pre danú kategóriu a skutočnú otázku v správnom poradí.

# Example base
EXAMPLES = {
    "technical": [
        {"user": "How do I configure a VPN?", "assistant": "Here are the steps..."},
        {"user": "My server is returning a 502 error.", "assistant": "Error 502..."},
    ],
    "sales": [
        {"user": "What are your rates?", "assistant": "Our plans start at..."},
        {"user": "Is there a trial period?", "assistant": "Yes, 14 days..."},
    ],
    "billing": [
        {"user": "I haven't received my invoice.", "assistant": "Check your..."},
        {"user": "How do I change plans?", "assistant": "Go to..."},
    ]
}

def build_messages(category: str, user_question: str) -> list:
    """Build messages with dynamic few-shot."""
    messages = [
        {"role": "system", "content": "Technical support assistant."}
    ]

    # Add examples for the category
    for ex in EXAMPLES.get(category, []):
        messages.append({"role": "user", "content": ex["user"]})
        messages.append({"role": "assistant", "content": ex["assistant"]})

    # Add the actual question
    messages.append({"role": "user", "content": user_question})
    return messages

# Usage
messages = build_messages("technical", "My Docker deployment is failing.")
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages
)

Čo robí dobrú sadu príkladov

Few-shot najčastejšie zlyháva kvôli nedostatku rozmanitosti: ak dáš modelu tri čisto pozitívne recenzie, bude všetko klasifikovať ako POSITIVE. Pokry bežné prípady aj hraničné situácie a zahrň príklad toho, čo model robiť nemá – ukázanie odmietnutia je často účinnejšie než zákaz formulovaný ako pravidlo. Rovnako dôležitá je konzistentnosť formy: ak jeden príklad vráti POSITIVE a druhý Positive, práve si model naučil, že na veľkosti písmen nezáleží.

Dva návyky ti dokončia prácu. Počítaj tokeny, keďže každý príklad sa fakturuje ako vstup pri každom volaní – sada ôsmich párov sa rýchlo stane hlavným faktorom nákladov pre klasifikačné API s vysokým objemom. A najprv testuj bez príkladov: najnovšie modely zvládajú v režime zero-shot úlohy, ktoré pred dvoma rokmi vyžadovali päť príkladov, a ušetríš si prácu s tým, čo si nemusel písať.

Kľúčové poznatky

  • Few-shot vkladá fiktívne páry user/assistant pred skutočnú požiadavku
  • Na väčšinu úloh klasifikácie a extrakcie stačí 3–5 príkladov
  • Pri few-shot používaj temperature=0 pre maximálnu konzistentnosť
  • Dynamický few-shot vyberá relevantné príklady na základe kontextu
  • Pri viac ako 10 príkladoch zváž jemné doladenie (fine-tuning) namiesto few-shot