Għażliet ta' tool_choice
F'din il-paġna
Minn jiddeċiedi min jiddeċiedi
Li tgħaddi tools lill-API ma tfissirx li l-mudell irid jużahom, u lanqas li għandu l-permess li jagħmel hekk. Bejn dawn iż-żewġ estremi, il-parametru tool_choice jaġixxi bħala l-arbitru. Skont il-valur li tagħtih, tista’ tħalli lill-mudell liberu li jiddeċiedi, tiffurzah jipproduċi sejħa strutturata, jew tirrevokah kompletament mill-aċċess għall-għodod li għaddek kemm iddikjarajt. Dan huwa setting sottili, iżda jbiddel radikalment kif l-istess kodiċi jiġi mġieġeb meta jiffaċċja l-istess mistoqsija.
| Valur | Imġiba | Każ ta’ Użu |
|---|---|---|
auto | Il-mudell jiddeċiedi liberament jekk jużax għodda jew iwieġeb bit-test. Dan huwa l-modalità default. | Assistenti konversazzjonali, chatbots għal skopijiet ġenerali |
any | Il-mudell huwa mġiegħel isejjaħ mill-inqas għodda waħda. Ma jistax iwieġeb bit-test biss. | Pipelines awtomatizzati, estrazzjoni ta’ data strutturata |
none | Il-mudell ma jistax juża għodod, anke jekk huma definiti. Iwieġeb biss bit-test. | Li tagħmel sommarju tar-riżultati mingħajr sejħiet ġodda, li terġa’ tifformula tweġiba |
required | Sinonimu għal any. Il-mudell irid juża mill-inqas għodda waħda. | Ekwivalenti għal any, għall-kompatibbiltà |
auto — Ħalli lill-Mudell Jiddeċiedi
Dan huwa l-valur default, dak li tuża mingħajr ma tirrealizzah kull meta tħalli barra l-parametru.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="auto" # Opzjonali, dan huwa l-valur default
)
Ma’ auto, il-mudell jevalwa t-talba qabel ma jaġixxi. Jekk il-mistoqsija teħtieġ data esterna li ma għandux, isejjaħ funzjoni; jekk il-mistoqsija hija ġenerali jew relazzjonali, iwieġeb direttament bit-test. Dan l-iskambju huwa dak li jagħmel assistent iħossu naturali: l-utent ma għandux bżonn ikun jaf li hemm għodod wara l-iskrin.
# Il-mudell isejjaħ funzjoni
messages = [{"role": "user", "content": "Status of payment T1001?"}]
# → tool_call: retrieve_payment_status(transaction_id="T1001")
# Il-mudell iwieġeb direttament
messages = [{"role": "user", "content": "Hello, how are you?"}]
# → content: "Hello! I am a payment assistant. How can I help you?"
It-tieni eżempju jixraq attenzjoni: li tifforza sejħa ta’ funzjoni fuq tislima sempliċi kien jipproduċi retrieve_payment_status b’ID inventat. Dan huwa preċiżament dak li auto jipprevjeni, u għalhekk din il-modalità tibqa’ l-aktar waħda komuni fil-produzzjoni.
any — Infurza Output Strutturat
Min-naħa l-oħra, hemm kuntesti fejn test bil-forma libera m’għandu l-ebda valur għalik. Pipeline ta’ ingestjoni li tipproċessa għaxart elef dokument jistenna JSON użabbli, mhux sentenza polite. Ma’ any, il-mudell irid isejjaħ mill-inqas funzjoni waħda, anke jekk il-mistoqsija ma tidhirx li teħtieġha.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any"
)
B’mod interessanti, il-każ ta’ użu l-aktar frekwenti jerġa’ juża s-sejħa tal-funzjoni mill-intenzjoni oriġinali tagħha: m’intix tiddikjara funzjoni biex tesegwixxiha, iżda bi tiggarantixxi skema ta’ output. Hawnhekk, extract_entities qatt ma tiġi msejħa fuq in-naħa tas-server; dak li jimpurtana huwa l-kuntratt JSON.
# Estrazzjoni strutturata: ifforza lill-mudell jipproċessa d-data
tools = [{
"type": "function",
"function": {
"name": "extract_entities",
"description": "Extracts named entities from text",
"parameters": {
"type": "object",
"properties": {
"persons": {"type": "array", "items": {"type": "string"}},
"organizations": {"type": "array", "items": {"type": "string"}},
"dates": {"type": "array", "items": {"type": "string"}}
},
"required": ["persons", "organizations", "dates"]
}
}
}]
messages = [{"role": "user", "content": "Sophia Yang from Mistral presented "
"function calling on March 15, 2026."}]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any" # Forza l-estrazzjoni
)
# → extract_entities(persons=["Sophia Yang"],
# organizations=["Mistral"],
# dates=["March 15, 2026"])
Innota required fil-mogħdija: huwa sinonimu għal any, inkluż għall-kompatibbiltà ma’ kodiċi miktub għal APIs oħra. Iż-żewġ valuri jipproduċu l-istess imġiba; agħżel dak li jagħmel il-kodiċi tiegħek l-aktar li jinqara u ibqa’ miegħu.
none — Iddiżattiva l-Għodod Mingħajr ma Tneħħihom
It-tielet valur jindirizza ħtieġa inqas ovvja. Diġà rkuprajt id-data tiegħek permezz ta’ diversi tool_calls, u issa trid lill-mudell jagħmel sommarju tagħhom. Jekk tkompli l-konversazzjoni fil-modalità auto, xejn ma jwaqqaf lill-mudell milli jerġa’ jsejjaħ funzjoni “biss biex jiċċekkja”, li żżid il-latency u tista’ ttriggera loop infinit. none jipprojbixxi kwalunkwe sejħa ġdida filwaqt li jżomm id-definizzjonijiet tal-għodod fil-kuntest, u jgħin lill-mudell jitkellem b’mod preċiż dwar id-data li diġà għandu.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none"
)
Tliet każijiet ta’ użu joħorġu kontinwament: li titlob sommarju wara serje ta’ sejħiet ta’ funzjonijiet, li terġa’ tifformula tweġiba mingħajr ma ttriggera sejħiet ġodda, u ttestjar fl-iżvilupp ta’ kif jiġi mġieġeb il-mudell meta jiġi mċaħħad mill-għodod tiegħu, li malajr jikxef mistoqsijiet li jaħseb li jista’ jwieġeb mill-memorja.
# Wara li tirrikupra data permezz ta' tool_calls...
# Itlob sommarju mingħajr sejħiet ġodda
messages.append({
"role": "user",
"content": "Summarize the information from all the payments you found."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none" # Il-mudell jagħmel sommarju b'dak li diġà għandu
)
Aġġusta s-Setting Matul il-Konversazzjoni
M’għandekx bżonn tissettja tool_choice darba biss fil-bidu. Fil-produzzjoni, huwa komuni li tikkalkulah f’kull dawra abbażi tal-kuntest: l-ewwel messaġġ tal-konversazzjoni, l-intenzjoni skoperta fit-talba, jew in-numru ta’ sejħiet diġà kkunsmati. Il-funzjoni hawn taħt turi din il-loġika fl-aktar forma sempliċi tagħha—il-mudell jibqa’ liberu b’mod default, ħlief meta l-utent jitlob espliċitament sommarju.
def get_tool_choice(user_input: str, turn_count: int) -> str:
"""Jiddetermina tool_choice abbażi tal-kuntest."""
# L-ewwel dawra: ħalli lill-mudell jiddeċiedi
if turn_count == 0:
return "auto"
# Jekk l-utent jitlob espliċitament sommarju
if any(word in user_input.lower() for word in ["summarize", "recap", "synthesis"]):
return "none"
# Default
return "auto"
Fil-prattika, żomm auto bħala s-setting bażi tiegħek: huwa l-aktar naturali u flessibbli. Irriżerva any għal pipelines ta’ estrazzjoni ta’ data strutturata, u none għal mumenti meta trid tipprevjeni loops infiniti ta’ tool_call. Kostrenżjoni waħda hija assoluta: qatt ma tbiddel tool_choice fin-nofs tal-ipproċessar ta’ tool_call. L-ewwel ikkompleta ċ-ċiklu billi tirritorna l-messaġġi tool kollha mistennija, imbagħad aġġusta l-parametru fid-dawra li jmiss—inkella, l-istorja ssir inkonsistenti u l-API tiċħad it-talba.
Punti Ewlenin
tool_choicejikkontrolla meta l-mudell juża funzjonijietauto= il-mudell jiddeċiedi liberament (default, rakkomandat għal chatbots)any= il-mudell huwa mġiegħel isejjaħ għodda (pipelines, estrazzjoni strutturata)none= l-għodod huma diżattivati (sommarji, riformulazzjoni)- Adatta
tool_choiceb’mod dinamiku abbażi tal-kuntest tal-konversazzjoni