Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Few-shot permezz tal-API

Lezzjoni 10 / 16 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Għallem permezz tal-eżempji
  2. Kemm-il eżempju għandek tipprovdi
  3. Żewġ użi li jbiddlu l-output
  4. Few-shot dinamiku
  5. X’jagħmel sett tajjeb ta’ eżempji
  6. Punti Ewlenin

Għallem permezz tal-eżempji

Il-few-shot prompting ifisser li tagħti lill-mudell ftit eżempji ta’ input–output qabel ma tibgħat it-talba attwali tiegħek. Mal-API tal-Chat Completions, dawn l-eżempji ma jkollhomx slot speċjali: inti tinjettahom fl-istorja tal-konversazzjoni bħala pari ta’ messagi ffabbrikati bejn user u assistant, daqslikieku l-iskambju seħħ verament. Il-mudell ma jistax jagħmel distinzjoni bejn dawra ġenwina u waħda li ffabbrikajt int, u dan huwa preċiżament dak li jagħmel din it-teknika daqshekk effettiva. Mingħajr fine-tuning, din hija l-aktar mod affidabbli biex tikseb format ta’ output preċiż.

Il-qerq huwa inverżjoni: minflok tiddeskrivi l-format mistenni fit-tul fil-prompt tas-sistema, inti twrih. Għal kompitu ta’ klassifikazzjoni tas-sentiment, tliet eżempji huma biżżejjed biex il-mudell jifhem li għandu jwieġeb b’tikketta b’ittri kbar u xejn aktar.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You classify the sentiment of customer reviews."
        },
        # Example 1
        {"role": "user", "content": "Review: Fast delivery, product as described. Very satisfied!"},
        {"role": "assistant", "content": "POSITIVE"},
        # Example 2
        {"role": "user", "content": "Review: Package arrived damaged, customer service unreachable."},
        {"role": "assistant", "content": "NEGATIVE"},
        # Example 3
        {"role": "user", "content": "Review: The product is fine but a bit pricey for what it is."},
        {"role": "assistant", "content": "MIXED"},
        # Actual request
        {"role": "user", "content": "Review: Excellent quality, I highly recommend this store."}
    ],
    temperature=0.0
)

print(response.choices[0].message.content)
# POSITIVE

Il-mudell estratta l-mudell—review bħala input, tikketta b’ittri kbar bħala output—u applikah għall-input il-ġdid. L-ebda istruzzjoni ta’ ffurmar ma nkitbet b’mod espliċitu: it-tliet pari kienu biżżejjed.

Kemm-il eżempju għandek tipprovdi

In-numru ta’ eżempji jiddependi fuq id-diffikultà tal-kompitu, u tiltaqa’ ma’ ritorni dejjem jonqsu b’mod qawwi.

NumruMeta tużah
0 (zero-shot)Kompiti sempliċi, immaniġġjati naturalment mill-mudell
1–2Format standard tal-output (JSON, tikketta)
3–5Klassifikazzjoni b’diversi kategoriji
5–10Kompiti kumplessi jew formati speċifiċi ħafna

Wara għaxar eżempji, taħraq ħafna tokens tal-input mingħajr qligħ proporzjonali: kull talba tiġbed l-istess blokk ta’ eżempji, fatturati fuq kull sejħa. F’dak il-punt, il-fine-tuning isir l-għażla ekonomikament sensata.

Żewġ użi li jbiddlu l-output

L-estrazzjoni ta’ entitajiet imsemmija turi x’jżidu l-eżempji lil hinn minn skema deskritta bis-sħiħ. Dawn jissakkaw mhux biss iċ-ċwievet JSON, iżda wkoll kif jiġu ttrattati l-kategoriji vojta—it-tieni eżempju juri b’mod espliċitu listi vojta minflok qasam nieqes, li jżomm il-parser tiegħek milli jiltaqa’ ma’ struttura mhux mistennija.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Extract named entities in JSON format."
        },
        # Example 1
        {
            "role": "user",
            "content": "Pierre Martin joined Google France in Paris in January 2025."
        },
        {
            "role": "assistant",
            "content": '{"personnes": ["Pierre Martin"], "organisations": ["Google France"], "lieux": ["Paris"], "dates": ["janvier 2025"]}'
        },
        # Example 2
        {
            "role": "user",
            "content": "The VivaTech conference organized by Publicis will take place in June."
        },
        {
            "role": "assistant",
            "content": '{"personnes": [], "organisations": ["Publicis"], "lieux": [], "dates": ["juin"]}'
        },
        # Actual request
        {
            "role": "user",
            "content": "Sophie Leclerc, director at Mistral AI, announced a partnership with Microsoft at the AI Paris show on March 15, 2026."
        }
    ],
    temperature=0.0
)

import json
result = json.loads(response.choices[0].message.content)
print(json.dumps(result, indent=2, ensure_ascii=False))

It-trasformazzjoni tat-test issegwi loġika differenti: m’intix qed tittrażmetti skema, iżda reġistru ta’ lingwa. Eżempju wieħed ta’ simplifikazzjoni—li tittraduċi l-arkitettura tat-transformer f’sentenza aċċessibbli—jgħallem lill-mudell il-livell mixtieq ta’ astrazzjoni, xi ħaġa li l-ebda istruzzjoni bħal “kun pedagoġiku” ma tikseb b’din il-preċiżjoni.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Transform technical text into a layperson summary."
        },
        # Example
        {
            "role": "user",
            "content": "The model uses a transformer encoder-decoder architecture with multi-head attention and pre-layer RMS normalization."
        },
        {
            "role": "assistant",
            "content": "This AI system uses advanced technology that lets it understand and generate text by analyzing relationships between words in parallel and efficiently."
        },
        # Actual request
        {
            "role": "user",
            "content": "The API uses nucleus sampling with top_p to truncate the probability distribution of candidate tokens during autoregressive generation."
        }
    ]
)

print(response.choices[0].message.content)

Few-shot dinamiku

Fil-produzzjoni, sett fiss ta’ eżempji jispiċċa jagħmel ħsara lin-nofs tat-talbiet tiegħek: eżempji tekniċi jneffħu bla bżonn mistoqsija dwar il-fatturar. Is-soluzzjoni hija li tibni bażi ta’ eżempji skont il-kategorija, imbagħad tinjetta biss dawk li jaqblu mal-kuntest skopert minn qabel. Il-funzjoni hawn taħt tikkumbina l-prompt tas-sistema, l-eżempji għall-kategorija, u l-mistoqsija attwali fl-ordni t-tajba.

# Example base
EXAMPLES = {
    "technical": [
        {"user": "How do I configure a VPN?", "assistant": "Here are the steps..."},
        {"user": "My server is returning a 502 error.", "assistant": "Error 502..."},
    ],
    "sales": [
        {"user": "What are your rates?", "assistant": "Our plans start at..."},
        {"user": "Is there a trial period?", "assistant": "Yes, 14 days..."},
    ],
    "billing": [
        {"user": "I haven't received my invoice.", "assistant": "Check your..."},
        {"user": "How do I change plans?", "assistant": "Go to..."},
    ]
}

def build_messages(category: str, user_question: str) -> list:
    """Build messages with dynamic few-shot."""
    messages = [
        {"role": "system", "content": "Technical support assistant."}
    ]

    # Add examples for the category
    for ex in EXAMPLES.get(category, []):
        messages.append({"role": "user", "content": ex["user"]})
        messages.append({"role": "assistant", "content": ex["assistant"]})

    # Add the actual question
    messages.append({"role": "user", "content": user_question})
    return messages

# Usage
messages = build_messages("technical", "My Docker deployment is failing.")
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages
)

X’jagħmel sett tajjeb ta’ eżempji

Il-few-shot ifalli l-aktar spiss minħabba nuqqas ta’ diversità: tliet reviews pożittivi ċari u l-mudell se jikklassifika kollox bħala POSITIVE. Kopri każijiet normali u każijiet limitu, inkluż eżempju ta’ dak li l-mudell M’GĦANDUX jagħmel—li turi rifjut spiss ikun aktar effettiv milli tipprojbixxih b’regola. Il-konsistenza fil-forma hija importanti daqqs ieħor: jekk eżempju wieħed jirritorna POSITIVE u ieħor Positive, għadek kemm għallimt lill-mudell li l-kaxxa tal-ittri hija ħielsa.

Żewġ drawwiet jikkompletaw l-eżerċizzju. Għodd it-tokens, peress li kull eżempju huwa fatturat bħala input fuq kull sejħa—sett ta’ tmien pari malajr isir l-aktar sewwieq tal-ispejjeż għal API ta’ klassifikazzjoni b’volum għoli. U ttestja mingħajr eżempji l-ewwel: mudelli reċenti jittrattaw kompiti zero-shot li kienu jeħtieġu ħames eżempji sentejn ilu, u tiffranka dak li ma kellekx bżonn tikteb.

Punti Ewlenin

  • Il-few-shot jinjetta pari ffabbrikati ta’ user/assistant qabel it-talba attwali
  • 3–5 eżempji huma biżżejjed għall-biċċa l-kbira tal-kompiti ta’ klassifikazzjoni u estrazzjoni
  • Uża temperature=0 mal-few-shot biex timmassimizza l-konsistenza
  • Il-few-shot dinamiku jagħżel eżempji rilevanti bbażati fuq il-kuntest
  • Wara 10 eżempji, ikkunsidra l-fine-tuning minflok il-few-shot