Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

L-Aħjar Prattiki u l-Produzzjoni

Lezzjoni 14 / 14 Aġġornat 29 ta’ Lulju 2026 Zviluppatur
F'din il-paġna
  1. Mill-Prova ta’ Kunċett għall-Produzzjoni
  2. Lista ta’ Verifiki għad-Dispiegament
  3. Kif Tikteb Deskrizzjonijiet li Jħaddmu l-Mudell
  4. L-Għażla tal-Mudell It-Tajjeb
  5. L-Istrutturar tal-Messaġġ tas-Sistema
  6. Il-Ġestjoni tal-Kostijiet fil-Produzzjoni
  7. L-Ipprovar tas-Sejħa tal-Funzjonijiet
  8. Il-Monitoraġġ fil-Produzzjoni
  9. Il-Passi Li Jmiss
  10. Punti Ewlenin
  11. Ittestja l-Għarfien Tiegħek

Mill-Prova ta’ Kunċett għall-Produzzjoni

Issa għandek il-blokki tal-bini kollha biex tibni sistemi ta’ sejħa ta’ funzjonijiet ma’ Mistral. Dak li jissepara l-prototip tiegħek minn servizz lest għall-produzzjoni mhux karatteristiċi nieqsa, iżda serje ta’ verifiki u passi ta’ aġġustament li tipikament tiskopri waqt inċident. Din il-lezzjoni finali tiġbor flimkien l-aħjar prattiki, l-iżbalji komuni, u lista ta’ verifiki biex tmur għall-produzzjoni b’kunfidenza.

Lista ta’ Verifiki għad-Dispiegament

Dan huwa l-uniku post f’dan il-kors fejn il-format ta’ lista huwa obbligatorju: qabel ma tmur live, tiċċekkja l-kaxxi. Erba’ oqsma jridu jiġu koperti, kull wieħed iwieġeb mistoqsija differenti.

L-Arkitettura tiżgura li l-mekkaniżmi jiflu. Ir-ritorn ta’ strings JSON fil-katina u d-dizzjunarju ta’ dispatch sħiħ huma ż-żewġ kawżi l-aktar frekwenti ta’ ħsarat fl-ewwel sejħa reali.

  • Il-funzjonijiet kollha jirritornaw strings JSON (qatt mhu oġġetti Python raw)
  • Id-dizzjunarju ta’ dispatch huwa sħiħ u aġġornat
  • Il-funzjonijiet jimmaniġġjaw każijiet ta’ żball u jirritornaw messaġġi użabbli
  • Il-messaġġ tas-sistema huwa ċar, preċiż u ttestjat
  • Iċ-ċiklu tal-konversazzjoni jimmaniġġja sejħiet sekwenzjali u paralleli

Is-Sigurtà tassumi li l-argumenti ġejjin minn utent, qatt mill-applikazzjoni tiegħek.

  • L-argumenti jiġu vvalidati qabel l-eżekuzzjoni (format, tip, valuri)
  • Il-mistoqsijiet SQL jużaw parametri (l-ebda konkatenażzjoni)
  • Lista bajda tillimita l-funzjonijiet disponibbli
  • Azzjonijiet distruttivi jeħtieġu konferma
  • Il-limitazzjoni tar-rata (rate limiting) hija fis-seħħ għal kull funzjoni u għal kull utent
  • Ir-riżultati huma sanifikati (l-ebda data sensittiva ma tiġi rritornata lill-mudell)

L-Affidabbiltà timmaniġġja dak li jfalli mingħajr ma ħadd ikun ħati.

  • L-iżbalji jiġu rritornati lill-mudell f’format strutturat
  • Il-prova mill-ġdid b’backoff (retry with backoff) hija implimentata għal żbalji tranżitorji
  • Il-limiti ta’ żmien (timeouts) huma kkonfigurati għal kull funzjoni esterna
  • Id-daqs tal-istorja huwa limitat biex jiġu evitati eċċessi ta’ tokens

Il-Monitoraġġ, fl-aħħar nett, huwa dak li jħallik tiddijanjożtika mingħajr ma tissuspetta.

  • Kull sejħa ta’ funzjoni hija rreġistrata (isem, argumenti, riżultat, tul ta’ żmien)
  • L-iżbalji jattivaw allerti (Slack, PagerDuty, eċċ.)
  • Il-metriċi jinġabru (rata ta’ suċċess, latenza, kost tal-API)

Kif Tikteb Deskrizzjonijiet li Jħaddmu l-Mudell

Il-kwalità tad-deskrizzjoni għandha impatt dirett fuq il-preċiżjoni, u spiss hija l-aktar leva rħisa biex tiġbed. Tliet mudelli jerġgħu jidhru fost it-timijiet b’rati għoljin ta’ sejħiet korretti. L-ewwel wieħed iwaħħal id-deskrizzjoni fil-kuntest tan-negozju: minflok ma tparafrasa l-isem tal-funzjoni, elenka valuri possibbli ta’ ritorn u ddikjara b’mod espliċitu meta għandek issejħilha. It-tieni wieħed idaħħal eżempji ta’ format fid-deskrizzjoni tal-parametru, li jiffissa l-biċċa l-kbira tal-iżbalji fl-estrazzjoni tal-ID. It-tielet wieħed jissostitwixxi istruzzjoni f’lingwa naturali b’enum, l-uniku mod biex tipprojbixxi verament valur barra mil-lista.

# Mudell 1: Deskrizzjoni b'kuntest tan-negozju
{
    "description": "Retrieves payment status. "
                   "Possible statuses: paid, pending, failed, refunded. "
                   "Use this function when the user asks "
                   "about a payment's status or whether it was received."
}

# Mudell 2: Parametri b'eżempji
{
    "transaction_id": {
        "type": "string",
        "description": "Unique ID in format T followed by 4 digits (e.g., T1001, T2345)"
    }
}

# Mudell 3: Enum għal valuri limitati
{
    "status": {
        "type": "string",
        "enum": ["paid", "pending", "failed", "refunded"],
        "description": "Filter by payment status"
    }
}

L-Għażla tal-Mudell It-Tajjeb

L-għażla tal-mudell tqabbel il-preċiżjoni mal-kost, u m’hemm l-ebda tweġiba universali: tiddependi fuq in-numru ta’ funzjonijiet esposti u l-kumplessità tal-iskemi tagħhom. Każ kumpless b’ħafna funzjonijiet u parametri mbejjta jiġġustifika Mistral Large 3, li huwa aktar affidabbli fl-għażla tal-funzjoni iżda aktar għali. Każ standard b’ftit funzjonijiet sempliċi f’produzzjoni b’volum għoli jaħdem tajjeb ħafna fuq Mistral Small 4, li huwa mgħaġġel u ekonomiku. Għall-prototipar u t-testijiet, Mistral Medium 3.5 joffri kompromess tajjeb.

# Każijiet kumplessi: ħafna funzjonijiet, parametri mbejjta
# -> Mistral Large 3 (aktar affidabbli, aktar għali)
model = "mistral-large-latest"

# Każijiet standard: ftit funzjonijiet sempliċi, produzzjoni b'volum għoli
# -> Mistral Small 4 (mgħaġġel, ekonomiku)
model = "mistral-small-latest"

# Każijiet ta' żvilupp: prototipar, testijiet
# -> Mistral Medium 3.5 (kompromess tajjeb)
model = "mistral-medium-latest"

Il-metodu jimpurta daqs ir-riżultat: fil-produzzjoni, ibda bl-aktar mudell kapaċi, kejjel ir-rata ta’ sejħiet korretti tiegħek, imbagħad niżzel gradwalment biex issib l-aħjar proporzjon kost/prestazzjoni. Ir-reċiproku—li tibda bl-aktar mudell irħis—iċaħħdek mil-linja bażi meħtieġa biex tkun taf jekk id-degradazzjoni ġejx mill-mudell jew mid-deskrizzjonijiet tiegħek.

L-Istrutturar tal-Messaġġ tas-Sistema

Messaġġ tas-sistema tajjeb jagħmel id-differenza bejn assistent medjokru u wieħed eċċellenti. Dan juri struttura ppruvata: dikjarazzjoni tar-rwol, blokk ta’ regoli imperattivi, imbagħad tfakkira tal-għodod disponibbli. Iż-żewġ regoli l-aktar effikaċi f’termini ta’ kost hawnhekk huma “Jekk l-utent ma jipprovdix ID meħtieġ, staqsi b’mod polite” u “Qatt ma tgħaffer ID ta’ tranżazzjoni”—flimkien, dawn jeliminaw l-aktar imġiba ta’ ħsara, jiġifieri s-sejħa ta’ funzjoni b’ID inventat.

system_message = {
    "role": "system",
    "content": """You are a payment management assistant for Acme Corporation.

Rules:
- Always respond in English
- Format amounts in euros with the symbol and 2 decimal places
- If the user doesn't provide a required ID, ask politely
- Never guess a transaction ID
- When a transaction fails, offer to check the details

Available tools:
- retrieve_payment_status: to check a payment's status
- retrieve_payment_date: to check a payment's date
- retrieve_payment_details: to get all details of a transaction
- list_customer_transactions: to view all transactions for a customer"""
}

Il-Ġestjoni tal-Kostijiet fil-Produzzjoni

Kull sejħa ta’ sejħa ta’ funzjoni tikkonsma tokens, u l-kont jitla’ permezz ta’ żewġ kanali sottovalutati: id-definizzjonijiet tal-għodod jintbagħtu ma’ kull talba, u l-istorja tikber ma’ kull dawra. Il-filtrar tal-funzjonijiet skont il-kuntest isolvi l-ewwel punt—m’hemmx bżonn tibgħat it-tlettax-il għodda kollha meta l-mistoqsija hija ċarament dwar il-ħlasijiet. It-tronkament tal-istorja lil hinn minn limitu jsolvi t-tieni. U meta d-data kollha meħtieġa diġà tkun fil-kuntest, tool_choice="none" jevita dawra żejda.

# 1. Illimita n-numru ta' funzjonijiet għal kull talba
# Għaddi biss funzjonijiet rilevanti għall-kuntest
def get_relevant_tools(user_input: str, all_tools: list) -> list:
    """Filters tools based on context."""
    if "payment" in user_input.lower() or "transaction" in user_input.lower():
        return [t for t in all_tools if "payment" in t["function"]["name"]]
    if "contact" in user_input.lower() or "customer" in user_input.lower():
        return [t for t in all_tools if "contact" in t["function"]["name"]]
    return all_tools

# 2. Illimita d-daqs tal-istorja
MAX_HISTORY = 20  # messages

# 3. Uża tool_choice="none" meta d-data diġà tkun disponibbli

L-Ipprovar tas-Sejħa tal-Funzjonijiet

It-testijiet huma essenzjali biex jiġu evitati r-regressjonijiet, u hawnhekk jimmiraw lejn oġġett mhux tas-soltu: m’intix tiċċekkja l-valur ta’ ritorn tal-funzjoni tiegħek, iżda d-deċiżjoni tal-mudell. Żewġ familji ta’ testijiet ikopru l-essenzjali. L-ewwel wieħed jivverifika li mistoqsija tan-negozju tattivaw il-funzjoni t-tajba bl-argumenti estratti t-tajba. It-tieni, daqstant importanti u spiss minsija, jivverifika li tislima ma tattivax sejħa—dan it-test jaqbad deskrizzjonijiet wiesgħa żżejjed li jmexxu lill-mudell biex isejjaħ funzjoni f’kull ċirkostanza.

def test_payment_status():
    """Tests that the model calls the right function."""
    messages = [{"role": "user", "content": "Status of payment T1001?"}]

    response = client.chat.complete(
        model=model, messages=messages, tools=tools
    )

    message = response.choices[0].message
    assert message.tool_calls is not None
    assert len(message.tool_calls) == 1
    assert message.tool_calls[0].function.name == "retrieve_payment_status"

    args = json.loads(message.tool_calls[0].function.arguments)
    assert args["transaction_id"] == "T1001"


def test_no_function_for_greeting():
    """Tests that the model doesn't call a function for a greeting."""
    messages = [{"role": "user", "content": "Hello!"}]

    response = client.chat.complete(
        model=model, messages=messages, tools=tools
    )

    message = response.choices[0].message
    assert message.tool_calls is None or len(message.tool_calls) == 0
    assert message.content is not None

Il-Monitoraġġ fil-Produzzjoni

Issa għandek bżonn tkun taf x’qed jagħmel is-sistema tiegħek darba tinħeles fil-beraħ. Il-klassi hawn taħt taġġrega tliet sinjali li, flimkien, jgħidulek kważi l-istorja kollha: ir-rata ġenerali ta’ suċċess, il-latenza medja, u t-tqassim skont il-funzjoni. L-aħħar wieħed huwa l-aktar sinifikanti fil-prattika—funzjoni li l-kontatur tal-iżbalji tagħha jidderanja f’iżolament jindika problema speċifika, filwaqt li rata ġenerali degradata ma tgħidlek xejn dwar fejn għandek tfittex.

import time
import logging

logger = logging.getLogger("fc_monitor")

class FunctionCallingMonitor:
    def __init__(self):
        self.metrics = {
            "total_calls": 0,
            "successful_calls": 0,
            "failed_calls": 0,
            "total_latency_ms": 0,
            "calls_by_function": {}
        }

    def record(self, function_name: str, success: bool, latency_ms: float):
        self.metrics["total_calls"] += 1
        self.metrics["total_latency_ms"] += latency_ms

        if success:
            self.metrics["successful_calls"] += 1
        else:
            self.metrics["failed_calls"] += 1

        if function_name not in self.metrics["calls_by_function"]:
            self.metrics["calls_by_function"][function_name] = {
                "count": 0, "errors": 0
            }
        self.metrics["calls_by_function"][function_name]["count"] += 1
        if not success:
            self.metrics["calls_by_function"][function_name]["errors"] += 1

    def get_success_rate(self) -> float:
        if self.metrics["total_calls"] == 0:
            return 0.0
        return self.metrics["successful_calls"] / self.metrics["total_calls"]

    def get_avg_latency(self) -> float:
        if self.metrics["total_calls"] == 0:
            return 0.0
        return self.metrics["total_latency_ms"] / self.metrics["total_calls"]

monitor = FunctionCallingMonitor()

Il-Passi Li Jmiss

Issa li tgħallimt is-sejħa tal-funzjonijiet ma’ Mistral, jinfetħu diversi direzzjonijiet. L-aktar naturali hija l-bini ta’ aġenti awtonomi, li jgħaqqdu s-sejħa tal-funzjonijiet ma’ ċiklu ta’ aġent li jippjana u jeżegwixxi kompiti kumplessi; l-API tal-Aġenti ta’ Mistral u l-client.beta.agents.create() tagħha jmorru aktar ‘il quddiem billi joffru aġenti persistenti b’stat. Assi ieħor jgħaqqad RAG u s-sejħa tal-funzjonijiet: il-mudell jiddeċiedi huwa stess meta għandu jikkonsulta bażi tad-data vettorjali, minflok ma t-tfittxija tiġi attivata sistematikament minn qabel. Fuq in-naħa tal-esperjenza tal-utent, l-istreamjar jħallik turi r-risposti f’ħin reali waqt li l-funzjonijiet ikunu qed jeżegwixxu, u jbiddel il-perċezzjoni tal-latenza fuq ktajjen twal ta’ sejħiet. Fl-aħħar nett, il-multimodali jiftaħ is-sejħa tal-funzjonijiet għall-viżjoni għall-analiżi tad-dokumenti.

Punti Ewlenin

  • Il-lista ta’ verifiki għad-dispiegament tkopri l-arkitettura, is-sigurtà, l-affidabbiltà u l-monitoraġġ
  • Deskrizzjonijiet preċiżi b’eżempji u enums itejbu l-preċiżjoni tal-mudell
  • Agħżel il-mudell it-tajjeb ibbażat fuq il-kumplessità u l-baġit (Large għall-affidabbiltà, Small għall-volum)
  • Il-messaġġ tas-sistema huwa leva qawwija biex tiggwida l-imġiba
  • Ipprova s-sejħiet tal-funzjonijiet u l-imġiba mingħajr funzjoni b’mod sistematiku
  • Immonitorja r-rata ta’ suċċess, il-latenza u l-kostijiet fil-produzzjoni

Ittestja l-Għarfien Tiegħek

Sejħa tal-funzjonijiet minn tarf għal tarf: ħames verifiki.

1. X'inhuma l-ħames passi tas-sejħa tal-funzjonijiet?

Tweġiba: Iddefinixxi l-funzjonijiet (skemi), ipprovdihom lill-API, il-mudell jitlob sejħa bl-argumenti tiegħu, il-kodiċi tiegħek jeżegwixxi u jirritorna r-riżultat, il-mudell jipproduċi r-risposta finali.

2. X'jagħmel skema ta' funzjoni tajba?

Tweġiba: Tipi stretti u deskrizzjonijiet operattivi—isem ċar, meta għandek tużaha, il-format ta’ kull parametru: dan huwa t-test li l-mudell jaqra biex jiddeċiedi u jimla.

3. X'jippermettu s-sejħiet paralleli?

Tweġiba: Il-mudell jitlob funzjonijiet multipli f’tweġiba waħda meta dawn ikunu indipendenti—inqas dawriet, sakemm tqabbel kull riżultat mas-sejħa tiegħu.

4. Għal xiex iservi tool_choice?

Tweġiba: Biex tistabbilixxi l-libertà tal-mudell: auto (jiddeċiedi hu), any (irid juża għodda), jew għodda sfurzata—l-aħħar wieħed huwa ċavetta għall-estrazzjoni strutturata affidabbli.

5. X'inhuma r-regoli tas-sigurtà għall-funzjonijiet esposti?

Tweġiba: Ivvvalida l-argumenti li tirċievi, illimita l-ambitu ta’ kull funzjoni, irreġistra s-sejħiet, u żżomm il-validazzjoni umana fuq azzjonijiet ta’ impenn—il-mudell jipproponi, il-kodiċi tiegħek jiddisponi.

Iż-żewġ eżempji ħidma f’dan il-kors (traċċatur tal-ħlasijiet, CRM) japplikaw eżattament dawn ir-regoli—l-integrazzjonijiet tiegħek stess isegwu l-istess mudell.