L-Aħjar Prattiki u l-Produzzjoni
F'din il-paġna
- Mill-Prova ta’ Kunċett għall-Produzzjoni
- Lista ta’ Verifiki għad-Dispiegament
- Kif Tikteb Deskrizzjonijiet li Jħaddmu l-Mudell
- L-Għażla tal-Mudell It-Tajjeb
- L-Istrutturar tal-Messaġġ tas-Sistema
- Il-Ġestjoni tal-Kostijiet fil-Produzzjoni
- L-Ipprovar tas-Sejħa tal-Funzjonijiet
- Il-Monitoraġġ fil-Produzzjoni
- Il-Passi Li Jmiss
- Punti Ewlenin
- Ittestja l-Għarfien Tiegħek
Mill-Prova ta’ Kunċett għall-Produzzjoni
Issa għandek il-blokki tal-bini kollha biex tibni sistemi ta’ sejħa ta’ funzjonijiet ma’ Mistral. Dak li jissepara l-prototip tiegħek minn servizz lest għall-produzzjoni mhux karatteristiċi nieqsa, iżda serje ta’ verifiki u passi ta’ aġġustament li tipikament tiskopri waqt inċident. Din il-lezzjoni finali tiġbor flimkien l-aħjar prattiki, l-iżbalji komuni, u lista ta’ verifiki biex tmur għall-produzzjoni b’kunfidenza.
Lista ta’ Verifiki għad-Dispiegament
Dan huwa l-uniku post f’dan il-kors fejn il-format ta’ lista huwa obbligatorju: qabel ma tmur live, tiċċekkja l-kaxxi. Erba’ oqsma jridu jiġu koperti, kull wieħed iwieġeb mistoqsija differenti.
L-Arkitettura tiżgura li l-mekkaniżmi jiflu. Ir-ritorn ta’ strings JSON fil-katina u d-dizzjunarju ta’ dispatch sħiħ huma ż-żewġ kawżi l-aktar frekwenti ta’ ħsarat fl-ewwel sejħa reali.
- Il-funzjonijiet kollha jirritornaw strings JSON (qatt mhu oġġetti Python raw)
- Id-dizzjunarju ta’ dispatch huwa sħiħ u aġġornat
- Il-funzjonijiet jimmaniġġjaw każijiet ta’ żball u jirritornaw messaġġi użabbli
- Il-messaġġ tas-sistema huwa ċar, preċiż u ttestjat
- Iċ-ċiklu tal-konversazzjoni jimmaniġġja sejħiet sekwenzjali u paralleli
Is-Sigurtà tassumi li l-argumenti ġejjin minn utent, qatt mill-applikazzjoni tiegħek.
- L-argumenti jiġu vvalidati qabel l-eżekuzzjoni (format, tip, valuri)
- Il-mistoqsijiet SQL jużaw parametri (l-ebda konkatenażzjoni)
- Lista bajda tillimita l-funzjonijiet disponibbli
- Azzjonijiet distruttivi jeħtieġu konferma
- Il-limitazzjoni tar-rata (rate limiting) hija fis-seħħ għal kull funzjoni u għal kull utent
- Ir-riżultati huma sanifikati (l-ebda data sensittiva ma tiġi rritornata lill-mudell)
L-Affidabbiltà timmaniġġja dak li jfalli mingħajr ma ħadd ikun ħati.
- L-iżbalji jiġu rritornati lill-mudell f’format strutturat
- Il-prova mill-ġdid b’backoff (retry with backoff) hija implimentata għal żbalji tranżitorji
- Il-limiti ta’ żmien (timeouts) huma kkonfigurati għal kull funzjoni esterna
- Id-daqs tal-istorja huwa limitat biex jiġu evitati eċċessi ta’ tokens
Il-Monitoraġġ, fl-aħħar nett, huwa dak li jħallik tiddijanjożtika mingħajr ma tissuspetta.
- Kull sejħa ta’ funzjoni hija rreġistrata (isem, argumenti, riżultat, tul ta’ żmien)
- L-iżbalji jattivaw allerti (Slack, PagerDuty, eċċ.)
- Il-metriċi jinġabru (rata ta’ suċċess, latenza, kost tal-API)
Kif Tikteb Deskrizzjonijiet li Jħaddmu l-Mudell
Il-kwalità tad-deskrizzjoni għandha impatt dirett fuq il-preċiżjoni, u spiss hija l-aktar leva rħisa biex tiġbed. Tliet mudelli jerġgħu jidhru fost it-timijiet b’rati għoljin ta’ sejħiet korretti. L-ewwel wieħed iwaħħal id-deskrizzjoni fil-kuntest tan-negozju: minflok ma tparafrasa l-isem tal-funzjoni, elenka valuri possibbli ta’ ritorn u ddikjara b’mod espliċitu meta għandek issejħilha. It-tieni wieħed idaħħal eżempji ta’ format fid-deskrizzjoni tal-parametru, li jiffissa l-biċċa l-kbira tal-iżbalji fl-estrazzjoni tal-ID. It-tielet wieħed jissostitwixxi istruzzjoni f’lingwa naturali b’enum, l-uniku mod biex tipprojbixxi verament valur barra mil-lista.
# Mudell 1: Deskrizzjoni b'kuntest tan-negozju
{
"description": "Retrieves payment status. "
"Possible statuses: paid, pending, failed, refunded. "
"Use this function when the user asks "
"about a payment's status or whether it was received."
}
# Mudell 2: Parametri b'eżempji
{
"transaction_id": {
"type": "string",
"description": "Unique ID in format T followed by 4 digits (e.g., T1001, T2345)"
}
}
# Mudell 3: Enum għal valuri limitati
{
"status": {
"type": "string",
"enum": ["paid", "pending", "failed", "refunded"],
"description": "Filter by payment status"
}
}
L-Għażla tal-Mudell It-Tajjeb
L-għażla tal-mudell tqabbel il-preċiżjoni mal-kost, u m’hemm l-ebda tweġiba universali: tiddependi fuq in-numru ta’ funzjonijiet esposti u l-kumplessità tal-iskemi tagħhom. Każ kumpless b’ħafna funzjonijiet u parametri mbejjta jiġġustifika Mistral Large 3, li huwa aktar affidabbli fl-għażla tal-funzjoni iżda aktar għali. Każ standard b’ftit funzjonijiet sempliċi f’produzzjoni b’volum għoli jaħdem tajjeb ħafna fuq Mistral Small 4, li huwa mgħaġġel u ekonomiku. Għall-prototipar u t-testijiet, Mistral Medium 3.5 joffri kompromess tajjeb.
# Każijiet kumplessi: ħafna funzjonijiet, parametri mbejjta
# -> Mistral Large 3 (aktar affidabbli, aktar għali)
model = "mistral-large-latest"
# Każijiet standard: ftit funzjonijiet sempliċi, produzzjoni b'volum għoli
# -> Mistral Small 4 (mgħaġġel, ekonomiku)
model = "mistral-small-latest"
# Każijiet ta' żvilupp: prototipar, testijiet
# -> Mistral Medium 3.5 (kompromess tajjeb)
model = "mistral-medium-latest"
Il-metodu jimpurta daqs ir-riżultat: fil-produzzjoni, ibda bl-aktar mudell kapaċi, kejjel ir-rata ta’ sejħiet korretti tiegħek, imbagħad niżzel gradwalment biex issib l-aħjar proporzjon kost/prestazzjoni. Ir-reċiproku—li tibda bl-aktar mudell irħis—iċaħħdek mil-linja bażi meħtieġa biex tkun taf jekk id-degradazzjoni ġejx mill-mudell jew mid-deskrizzjonijiet tiegħek.
L-Istrutturar tal-Messaġġ tas-Sistema
Messaġġ tas-sistema tajjeb jagħmel id-differenza bejn assistent medjokru u wieħed eċċellenti. Dan juri struttura ppruvata: dikjarazzjoni tar-rwol, blokk ta’ regoli imperattivi, imbagħad tfakkira tal-għodod disponibbli. Iż-żewġ regoli l-aktar effikaċi f’termini ta’ kost hawnhekk huma “Jekk l-utent ma jipprovdix ID meħtieġ, staqsi b’mod polite” u “Qatt ma tgħaffer ID ta’ tranżazzjoni”—flimkien, dawn jeliminaw l-aktar imġiba ta’ ħsara, jiġifieri s-sejħa ta’ funzjoni b’ID inventat.
system_message = {
"role": "system",
"content": """You are a payment management assistant for Acme Corporation.
Rules:
- Always respond in English
- Format amounts in euros with the symbol and 2 decimal places
- If the user doesn't provide a required ID, ask politely
- Never guess a transaction ID
- When a transaction fails, offer to check the details
Available tools:
- retrieve_payment_status: to check a payment's status
- retrieve_payment_date: to check a payment's date
- retrieve_payment_details: to get all details of a transaction
- list_customer_transactions: to view all transactions for a customer"""
}
Il-Ġestjoni tal-Kostijiet fil-Produzzjoni
Kull sejħa ta’ sejħa ta’ funzjoni tikkonsma tokens, u l-kont jitla’ permezz ta’ żewġ kanali sottovalutati: id-definizzjonijiet tal-għodod jintbagħtu ma’ kull talba, u l-istorja tikber ma’ kull dawra. Il-filtrar tal-funzjonijiet skont il-kuntest isolvi l-ewwel punt—m’hemmx bżonn tibgħat it-tlettax-il għodda kollha meta l-mistoqsija hija ċarament dwar il-ħlasijiet. It-tronkament tal-istorja lil hinn minn limitu jsolvi t-tieni. U meta d-data kollha meħtieġa diġà tkun fil-kuntest, tool_choice="none" jevita dawra żejda.
# 1. Illimita n-numru ta' funzjonijiet għal kull talba
# Għaddi biss funzjonijiet rilevanti għall-kuntest
def get_relevant_tools(user_input: str, all_tools: list) -> list:
"""Filters tools based on context."""
if "payment" in user_input.lower() or "transaction" in user_input.lower():
return [t for t in all_tools if "payment" in t["function"]["name"]]
if "contact" in user_input.lower() or "customer" in user_input.lower():
return [t for t in all_tools if "contact" in t["function"]["name"]]
return all_tools
# 2. Illimita d-daqs tal-istorja
MAX_HISTORY = 20 # messages
# 3. Uża tool_choice="none" meta d-data diġà tkun disponibbli
L-Ipprovar tas-Sejħa tal-Funzjonijiet
It-testijiet huma essenzjali biex jiġu evitati r-regressjonijiet, u hawnhekk jimmiraw lejn oġġett mhux tas-soltu: m’intix tiċċekkja l-valur ta’ ritorn tal-funzjoni tiegħek, iżda d-deċiżjoni tal-mudell. Żewġ familji ta’ testijiet ikopru l-essenzjali. L-ewwel wieħed jivverifika li mistoqsija tan-negozju tattivaw il-funzjoni t-tajba bl-argumenti estratti t-tajba. It-tieni, daqstant importanti u spiss minsija, jivverifika li tislima ma tattivax sejħa—dan it-test jaqbad deskrizzjonijiet wiesgħa żżejjed li jmexxu lill-mudell biex isejjaħ funzjoni f’kull ċirkostanza.
def test_payment_status():
"""Tests that the model calls the right function."""
messages = [{"role": "user", "content": "Status of payment T1001?"}]
response = client.chat.complete(
model=model, messages=messages, tools=tools
)
message = response.choices[0].message
assert message.tool_calls is not None
assert len(message.tool_calls) == 1
assert message.tool_calls[0].function.name == "retrieve_payment_status"
args = json.loads(message.tool_calls[0].function.arguments)
assert args["transaction_id"] == "T1001"
def test_no_function_for_greeting():
"""Tests that the model doesn't call a function for a greeting."""
messages = [{"role": "user", "content": "Hello!"}]
response = client.chat.complete(
model=model, messages=messages, tools=tools
)
message = response.choices[0].message
assert message.tool_calls is None or len(message.tool_calls) == 0
assert message.content is not None
Il-Monitoraġġ fil-Produzzjoni
Issa għandek bżonn tkun taf x’qed jagħmel is-sistema tiegħek darba tinħeles fil-beraħ. Il-klassi hawn taħt taġġrega tliet sinjali li, flimkien, jgħidulek kważi l-istorja kollha: ir-rata ġenerali ta’ suċċess, il-latenza medja, u t-tqassim skont il-funzjoni. L-aħħar wieħed huwa l-aktar sinifikanti fil-prattika—funzjoni li l-kontatur tal-iżbalji tagħha jidderanja f’iżolament jindika problema speċifika, filwaqt li rata ġenerali degradata ma tgħidlek xejn dwar fejn għandek tfittex.
import time
import logging
logger = logging.getLogger("fc_monitor")
class FunctionCallingMonitor:
def __init__(self):
self.metrics = {
"total_calls": 0,
"successful_calls": 0,
"failed_calls": 0,
"total_latency_ms": 0,
"calls_by_function": {}
}
def record(self, function_name: str, success: bool, latency_ms: float):
self.metrics["total_calls"] += 1
self.metrics["total_latency_ms"] += latency_ms
if success:
self.metrics["successful_calls"] += 1
else:
self.metrics["failed_calls"] += 1
if function_name not in self.metrics["calls_by_function"]:
self.metrics["calls_by_function"][function_name] = {
"count": 0, "errors": 0
}
self.metrics["calls_by_function"][function_name]["count"] += 1
if not success:
self.metrics["calls_by_function"][function_name]["errors"] += 1
def get_success_rate(self) -> float:
if self.metrics["total_calls"] == 0:
return 0.0
return self.metrics["successful_calls"] / self.metrics["total_calls"]
def get_avg_latency(self) -> float:
if self.metrics["total_calls"] == 0:
return 0.0
return self.metrics["total_latency_ms"] / self.metrics["total_calls"]
monitor = FunctionCallingMonitor()
Il-Passi Li Jmiss
Issa li tgħallimt is-sejħa tal-funzjonijiet ma’ Mistral, jinfetħu diversi direzzjonijiet. L-aktar naturali hija l-bini ta’ aġenti awtonomi, li jgħaqqdu s-sejħa tal-funzjonijiet ma’ ċiklu ta’ aġent li jippjana u jeżegwixxi kompiti kumplessi; l-API tal-Aġenti ta’ Mistral u l-client.beta.agents.create() tagħha jmorru aktar ‘il quddiem billi joffru aġenti persistenti b’stat. Assi ieħor jgħaqqad RAG u s-sejħa tal-funzjonijiet: il-mudell jiddeċiedi huwa stess meta għandu jikkonsulta bażi tad-data vettorjali, minflok ma t-tfittxija tiġi attivata sistematikament minn qabel. Fuq in-naħa tal-esperjenza tal-utent, l-istreamjar jħallik turi r-risposti f’ħin reali waqt li l-funzjonijiet ikunu qed jeżegwixxu, u jbiddel il-perċezzjoni tal-latenza fuq ktajjen twal ta’ sejħiet. Fl-aħħar nett, il-multimodali jiftaħ is-sejħa tal-funzjonijiet għall-viżjoni għall-analiżi tad-dokumenti.
Punti Ewlenin
- Il-lista ta’ verifiki għad-dispiegament tkopri l-arkitettura, is-sigurtà, l-affidabbiltà u l-monitoraġġ
- Deskrizzjonijiet preċiżi b’eżempji u enums itejbu l-preċiżjoni tal-mudell
- Agħżel il-mudell it-tajjeb ibbażat fuq il-kumplessità u l-baġit (Large għall-affidabbiltà, Small għall-volum)
- Il-messaġġ tas-sistema huwa leva qawwija biex tiggwida l-imġiba
- Ipprova s-sejħiet tal-funzjonijiet u l-imġiba mingħajr funzjoni b’mod sistematiku
- Immonitorja r-rata ta’ suċċess, il-latenza u l-kostijiet fil-produzzjoni
Ittestja l-Għarfien Tiegħek
Sejħa tal-funzjonijiet minn tarf għal tarf: ħames verifiki.
1. X'inhuma l-ħames passi tas-sejħa tal-funzjonijiet?
Tweġiba: Iddefinixxi l-funzjonijiet (skemi), ipprovdihom lill-API, il-mudell jitlob sejħa bl-argumenti tiegħu, il-kodiċi tiegħek jeżegwixxi u jirritorna r-riżultat, il-mudell jipproduċi r-risposta finali.
2. X'jagħmel skema ta' funzjoni tajba?
Tweġiba: Tipi stretti u deskrizzjonijiet operattivi—isem ċar, meta għandek tużaha, il-format ta’ kull parametru: dan huwa t-test li l-mudell jaqra biex jiddeċiedi u jimla.
3. X'jippermettu s-sejħiet paralleli?
Tweġiba: Il-mudell jitlob funzjonijiet multipli f’tweġiba waħda meta dawn ikunu indipendenti—inqas dawriet, sakemm tqabbel kull riżultat mas-sejħa tiegħu.
4. Għal xiex iservi tool_choice?
Tweġiba: Biex tistabbilixxi l-libertà tal-mudell: auto (jiddeċiedi hu), any (irid juża għodda), jew għodda sfurzata—l-aħħar wieħed huwa ċavetta għall-estrazzjoni strutturata affidabbli.
5. X'inhuma r-regoli tas-sigurtà għall-funzjonijiet esposti?
Tweġiba: Ivvvalida l-argumenti li tirċievi, illimita l-ambitu ta’ kull funzjoni, irreġistra s-sejħiet, u żżomm il-validazzjoni umana fuq azzjonijiet ta’ impenn—il-mudell jipproponi, il-kodiċi tiegħek jiddisponi.
Iż-żewġ eżempji ħidma f’dan il-kors (traċċatur tal-ħlasijiet, CRM) japplikaw eżattament dawn ir-regoli—l-integrazzjonijiet tiegħek stess isegwu l-istess mudell.