Labākās prakses un ražošana
Šajā lapā
No pierādījuma koncepta līdz ražošanai
Tagad tev ir visi būvbloki, lai ar Mistral izveidotu funkciju izsaukšanas sistēmas. To, kas atdala tavu prototipu no ražošanai gatava servisa, nav trūkstošas funkcijas, bet gan virkne pārbaudes un pielāgošanas soļu, kurus parasti atklāj tikai incidenta laikā. Šī noslēdzošā nodarbība apvieno labākās prakses, biežākās kļūdas un kontrolsarakstu, lai pārietu uz ražošanu ar pārliecību.
Izvietošanas kontrolsaraksts
Šī ir vienīgā vieta šajā kursā, kur saraksta formāts ir obligāts: pirms došanās tiešsaistē tu atzīmē rūtiņas. Jāaptver četras jomas, katra sniedzot atbildi uz citu jautājumu.
Arhitektūra nodrošina, ka mehānismi iztur slodzi. JSON virkņu atgriešana ķēdē un pilnīga maršrutēšanas vārdnīca ir divi biežākie iemesli, kāpēc sistēma sabrūk jau pie pirmā reālā izsaukuma.
- Visas funkcijas atgriež JSON virknes (nekad neapstrādātus Python objektus)
- Maršrutēšanas vārdnīca ir pilnīga un atjaunināta
- Funkcijas apstrādā kļūdu gadījumus un atgriež lietojamas ziņas
- Sistēmas ziņojums ir skaidrs, precīzs un testēts
- Sarunu cikls apstrādā secīgus un paralēlus izsaukumus
Drošība pieņem, ka argumenti nāk no lietotāja, nekad no tavas lietotnes.
- Argumenti tiek validēti pirms izpildes (formāts, tips, vērtības)
- SQL vaicājumi izmanto parametrus (bez virkņu konkatenācijas)
- Baltā saraksta ierobežo pieejamās funkcijas
- Destruktīvām darbībām nepieciešams apstiprinājums
- Ir ieviests ātruma ierobežojums katrai funkcijai un katram lietotājam
- Rezultāti tiek attīrīti (modelim netiek atgriezti sensitīvi dati)
Uzticamība apstrādā situācijas, kad kaut kas neizdodas, nevienam neesot vainīgam.
- Kļūdas tiek atgrieztas modelim strukturētā formātā
- Pārejošām kļūdām ir ieviesta atkārtota mēģināšana ar eksponenciālu pauzi (backoff)
- Katrai ārējai funkcijai ir konfigurēti noilgumi
- Vēstures lielums ir ierobežots, lai izvairītos no tokena pārsniegumiem
Monitorings, visbeidzot, ir tas, kas ļauj diagnosticēt problēmas bez minējumiem.
- Tiek reģistrēts katrs funkcijas izsaukums (nosaukums, argumenti, rezultāts, ilgums)
- Kļūdas izraisa brīdinājumus (Slack, PagerDuty u.c.)
- Tiek vākti metrikas dati (veiksmes rādītājs, latentums, API izmaksas)
Aprakstu rakstīšana, lai modelis strādātu
Aprakstu kvalitātei ir tieša ietekme uz precizitāti, un tas bieži vien ir lētākais svira, ko vilkt. Komandās ar augstu pareizu izsaukumu īpatsvaru atkārtojas trīs modeļi. Pirmais iekotē aprakstu biznesa kontekstā: tā vietā, lai pārstāstītu funkcijas nosaukumu, uzskaiti iespējamās atgrieztās vērtības un skaidri norādi, kad to izsaukt. Otrais ievieto formāta piemērus parametra aprakstā, kas novērš lielāko daļu ID izgūšanas kļūdu. Trešais aizstāj dabiskās valodas instrukciju ar enum, kas ir vienīgais veids, kā patiesi aizliegt vērtību, kas nav sarakstā.
# 1. modelis: Apraksts ar biznesa kontekstu
{
"description": "Iegūst maksājuma statusu. "
"Iespējamie statusi: paid, pending, failed, refunded. "
"Izmanto šo funkciju, kad lietotājs jautā "
"par maksājuma statusu vai vai tas ir saņemts."
}
# 2. modelis: Parametri ar piemēriem
{
"transaction_id": {
"type": "string",
"description": "Unikāls ID formātā T, kam seko 4 cipari (piem., T1001, T2345)"
}
}
# 3. modelis: Enum ierobežotām vērtībām
{
"status": {
"type": "string",
"enum": ["paid", "pending", "failed", "refunded"],
"description": "Filtrēt pēc maksājuma statusa"
}
}
Pareizā modeļa izvēle
Modeļa izvēle ir kompromiss starp precizitāti un izmaksām, un universālas atbildes nav: tas ir atkarīgs no eksponēto funkciju skaita un to shēmu sarežģītības. Sarežģīts gadījums ar daudzām funkcijām un ligzdotiem parametriem attaisno Mistral Large 3 izmantošanu, kas ir uzticamāks funkciju atlases ziņā, bet dārgāks. Standarta gadījums ar dažām vienkāršām funkcijām augstas caurlaidspējas ražošanas vidē ļoti labi darbojas ar Mistral Small 4, kas ir ātrs un ekonomisks. Prototipēšanai un testēšanai Mistral Medium 3.5 piedāvā labu kompromisu.
# Sarežģīti gadījumi: daudz funkciju, ligzdoti parametri
# -> Mistral Large 3 (uzticamāks, dārgāks)
model = "mistral-large-latest"
# Standarta gadījumi: dažas vienkāršas funkcijas, augstas caurlaidspējas ražošana
# -> Mistral Small 4 (ātrs, ekonomisks)
model = "mistral-small-latest"
# Izstrādes gadījumi: prototipēšana, testēšana
# -> Mistral Medium 3.5 (labs kompromiss)
model = "mistral-medium-latest"
Metode ir tikpat svarīga kā rezultāts: ražošanā sāc ar visspējīgāko modeli, izmēri savu pareizo izsaukumu īpatsvaru un pēc tam pakāpeniski samazini līmeni, lai atrastu labāko izmaksu un veiktspējas attiecību. Pretējā pieeja – sākt ar lētāko modeli – liedz tev bāzes līniju, lai saprastu, vai degradācija rodas no modeļa vai taviem aprakstiem.
Sistēmas ziņojuma strukturēšana
Labs sistēmas ziņojums izšķir viduvēju asistentu no izcila. Šis piemērs ilustrē pārbaudītu struktūru: lomas paziņojums, imperatīvu noteikumu bloks un tad atgādinājums par pieejamajiem rīkiem. Divi šeit visizdevīgākie noteikumi ir „Ja lietotājs nenorāda nepieciešamo ID, pajautā pieklājīgi” un „Nekad nedomā izdomāt darījuma ID” – kopā tie novērš vispostošāko uzvedību, proti, funkcijas izsaukšanu ar izdomātu ID.
system_message = {
"role": "system",
"content": """Tu esi maksājumu pārvaldības asistents uzņēmumam Acme Corporation.
Noteikumi:
- Vienmēr atbildi angļu valodā
- Noformē summas eiro ar simbolu un 2 zīmēm aiz komata
- Ja lietotājs nenorāda nepieciešamo ID, pajautā pieklājīgi
- Nekad nedomā izdomāt darījuma ID
- Ja darījums neizdodas, piedāvā pārbaudīt detaļas
Pieejamie rīki:
- retrieve_payment_status: lai pārbaudītu maksājuma statusu
- retrieve_payment_date: lai pārbaudītu maksājuma datumu
- retrieve_payment_details: lai iegūtu visas darījuma detaļas
- list_customer_transactions: lai apskatītu visus klienta darījumus"""
}
Izmaksu pārvaldība ražošanā
Katrs funkciju izsaukums patērē tokenus, un rēķins pieaug divu bieži nenovērtētu kanālu dēļ: rīku definīcijas tiek sūtītas ar katru pieprasījumu, un vēsture aug ar katru gājienu. Funkciju filtrēšana pēc konteksta atrisina pirmo punktu – nav jāsūta visi divpadsmit rīki, ja jautājums acīmredzami attiecas uz maksājumiem. Vēstures apgriešana pāri slieksnim atrisina otro. Un, kad visi nepieciešamie dati jau ir kontekstā, tool_choice="none" izvairās no papildu apgrieziena.
# 1. Ierobežo funkciju skaitu katrā pieprasījumā
# Nodod tikai kontekstam atbilstošas funkcijas
def get_relevant_tools(user_input: str, all_tools: list) -> list:
"""Filtrē rīkus, pamatojoties uz kontekstu."""
if "payment" in user_input.lower() or "transaction" in user_input.lower():
return [t for t in all_tools if "payment" in t["function"]["name"]]
if "contact" in user_input.lower() or "customer" in user_input.lower():
return [t for t in all_tools if "contact" in t["function"]["name"]]
return all_tools
# 2. Ierobežo vēstures lielumu
MAX_HISTORY = 20 # ziņojumi
# 3. Izmanto tool_choice="none", kad dati jau ir pieejami
Funkciju izsaukšanas testēšana
Testi ir būtiski, lai izvairītos no regresijas, un šeit tie ir vērsti uz neparastu objektu: tu nepārbaudi savas funkcijas atgriezto vērtību, bet gan modeļa lēmumu. Divas testu saimes aptver būtisko. Pirmā pārbauda, vai biznesa jautājums izraisa pareizo funkciju ar pareizi izgūtiem argumentiem. Otrā, tikpat svarīgā un bieži aizmirstā, pārbauda, vai sveiciens neizraisa nevienu izsaukumu – šis tests atklāj pārāk plašus aprakstus, kas mudina modeli izsaukt funkciju katrā situācijā.
def test_payment_status():
"""Pārbauda, vai modelis izsauc pareizo funkciju."""
messages = [{"role": "user", "content": "Status of payment T1001?"}]
response = client.chat.complete(
model=model, messages=messages, tools=tools
)
message = response.choices[0].message
assert message.tool_calls is not None
assert len(message.tool_calls) == 1
assert message.tool_calls[0].function.name == "retrieve_payment_status"
args = json.loads(message.tool_calls[0].function.arguments)
assert args["transaction_id"] == "T1001"
def test_no_function_for_greeting():
"""Pārbauda, vai modelis neizsauc funkciju uz sveicienu."""
messages = [{"role": "user", "content": "Hello!"}]
response = client.chat.complete(
model=model, messages=messages, tools=tools
)
message = response.choices[0].message
assert message.tool_calls is None or len(message.tool_calls) == 0
assert message.content is not None
Monitorings ražošanā
Tagad tev jāzina, ko tava sistēma dara, tiklīdz tā ir laista brīvā dabā. Tālāk redzamā klase apkopo trīs signālus, kas kopā pastāsta gandrīz visu stāstu: kopējo veiksmes rādītāju, vidējo latentumu un sadalījumu pa funkcijām. Pēdējais praksē ir visnozīmīgākais – funkcija, kuras kļūdu skaitītājs izolēti aug, norāda uz konkrētu problēmu, savukārt degradēts kopējais rādītājs nepasaka neko par to, kur meklēt.
import time
import logging
logger = logging.getLogger("fc_monitor")
class FunctionCallingMonitor:
def __init__(self):
self.metrics = {
"total_calls": 0,
"successful_calls": 0,
"failed_calls": 0,
"total_latency_ms": 0,
"calls_by_function": {}
}
def record(self, function_name: str, success: bool, latency_ms: float):
self.metrics["total_calls"] += 1
self.metrics["total_latency_ms"] += latency_ms
if success:
self.metrics["successful_calls"] += 1
else:
self.metrics["failed_calls"] += 1
if function_name not in self.metrics["calls_by_function"]:
self.metrics["calls_by_function"][function_name] = {
"count": 0, "errors": 0
}
self.metrics["calls_by_function"][function_name]["count"] += 1
if not success:
self.metrics["calls_by_function"][function_name]["errors"] += 1
def get_success_rate(self) -> float:
if self.metrics["total_calls"] == 0:
return 0.0
return self.metrics["successful_calls"] / self.metrics["total_calls"]
def get_avg_latency(self) -> float:
if self.metrics["total_calls"] == 0:
return 0.0
return self.metrics["total_latency_ms"] / self.metrics["total_calls"]
monitor = FunctionCallingMonitor()
Nākamie soļi
Tagad, kad esi apguvis funkciju izsaukšanu ar Mistral, tev paveras vairāki virzieni. Dabiskākais ir autonomu aģentu veidošana, apvienojot funkciju izsaukšanu ar aģenta ciklu, kas plāno un izpilda sarežģītus uzdevumus; Mistral Agents API un tā client.beta.agents.create() iet vēl tālāk, piedāvājot noturīgus aģentus ar stāvokli. Cita ass apvieno RAG un funkciju izsaukšanu: modelis pats izlemj, kad vaicāt vektoru datubāzei, tā vietā, lai meklēšana tiktu sistemātiski ierosināta iepriekš. Lietotāja pieredzes ziņā straumēšana ļauj attēlot atbildes reāllaikā, kamēr funkcijas izpildās, mainot latentuma uztveri garās izsaukumu ķēdēs. Visbeidzot, multimodalitāte paver funkciju izsaukšanu redzei dokumentu analīzei.
Galvenās atziņas
- Izvietošanas kontrolsaraksts aptver arhitektūru, drošību, uzticamību un monitoringu
- Precīzi apraksti ar piemēriem un enum uzlabo modeļa precizitāti
- Izvēlies pareizo modeli, balstoties uz sarežģītību un budžetu (Large uzticamībai, Small caurlaidspējai)
- Sistēmas ziņojums ir spēcīgs sviras punkts uzvedības vadīšanai
- Sistemātiski testē funkciju izsaukumus un uzvedību bez funkcijām
- Ražošanā monitori veiksmes rādītāju, latentumu un izmaksas
Pārbaudi savas zināšanas
Funkciju izsaukšana no gala līdz galam: piecas pārbaudes.
1. Kādi ir pieci funkciju izsaukšanas soļi?
Atbilde: Definē funkcijas (shēmas), nodod tās API, modelis pieprasa izsaukumu ar saviem argumentiem, tavs kods izpilda un atgriež rezultātu, modelis ģenerē galīgo atbildi.
2. Kas veido labu funkcijas shēmu?
Atbilde: Stingri tipi un operacionāli apraksti – skaidrs nosaukums, kad to izmantot, katra parametra formāts: šis ir teksts, ko modelis lasa, lai lemtu un aizpildītu.
3. Ko ļauj paralēlie izsaukumi?
Atbilde: Modelis vienā atbildē pieprasa vairākas funkcijas, ja tās ir neatkarīgas – mazāk apgriezienu, ar nosacījumu, ka katru rezultātu saskaņo ar tā izsaukumu.
4. Kam domāts tool_choice?
Atbilde: Lai noteiktu modeļa brīvību: auto (tas lemj), any (tam jāizmanto rīks) vai piespiests rīks – pēdējais ir atslēga uzticamai strukturētai izgūšanai.
5. Kādi drošības noteikumi attiecas uz eksponētām funkcijām?
Atbilde: Validē saņemtos argumentus, ierobežo katras funkcijas darbības jomu, reģistrē izsaukumus un saglabā cilvēka validāciju apstiprinošām darbībām – modelis piedāvā, tavs kods izlemj.
Divi šajā kursā aplūkotie praktiskie piemēri (maksājumu izsekotājs, CRM) precīzi piemēro šos noteikumus – tavas pašas integrācijas sekos tam pašam paraugam.