Možnosti tool_choice
Na tej strani
Odločanje o tem, kdo odloča
Posredovanje parametrov tools API-ju ne pomeni, da jih mora model uporabiti ali da mu je to sploh dovoljeno. Med tema skrajnostma parameter tool_choice deluje kot arbitra. Glede na vrednost, ki jo dodeliš, lahko modelu prepustiš prosto presojo, ga prisiliš k strukturiranemu klicu ali mu popolnoma odvzameš dostop do orodij, ki si jih pravkar deklariral. To je subtilna nastavitev, ki pa drastično spremeni obnašanje iste kode ob soočenju z istim vprašanjem.
| Vrednost | Obnašanje | Primer uporabe |
|---|---|---|
auto | Model svobodno odloči, ali bo uporabil orodje ali odgovoril z besedilom. To je privzeti način. | Pogovorni asistenti, splošni klepetalni roboti |
any | Model je prisiljen klicati vsaj eno orodje. Ne more odgovoriti zgolj z besedilom. | Avtomatizirani poteki dela, strukturirano pridobivanje podatkov |
none | Model ne more uporabiti orodij, četudi so definirana. Odgovori izključno z besedilom. | Povzemanje rezultatov brez novih klicev, preoblikovanje odgovora |
required | Sopomenka za any. Model mora uporabiti vsaj eno orodje. | Enakovredno any, zaradi združljivosti |
auto — Prepusti presojo modelu
To je privzeta vrednost, ki jo uporabljaš, ne da bi se tega zavedal, kadar parameter izpustiš.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="auto" # Izbirno, to je privzeta vrednost
)
Pri vrednosti auto model ovrednoti zahtevo, preden ukrepa. Če vprašanje zahteva zunanje podatke, ki jih nima, pokliče funkcijo; če je poizvedba splošna ali relacijska, odgovori neposredno z besedilom. Ta stikalo je tisto, zaradi katerega se asistent zdi naraven: uporabniku ni treba vedeti, da so za zaslonom orodja.
# Model bo poklical funkcijo
messages = [{"role": "user", "content": "Status plačila T1001?"}]
# → tool_call: retrieve_payment_status(transaction_id="T1001")
# Model bo odgovoril neposredno
messages = [{"role": "user", "content": "Pozdravljen, kako si?"}]
# → content: "Pozdravljen! Sem asistent za plačila. Kako ti lahko pomagam?"
Drugi primer si zasluži pozornost: prisiljevanje klica funkcije ob preprostem pozdravu bi proizvedlo retrieve_payment_status z izmišljenim ID-jem. Prav temu auto prepreči, zato ta način ostaja najpogostejši v produkcijskih okoljih.
any — Vsili strukturiran izhod
Po drugi strani obstajajo konteksti, kjer prosto oblikovano besedilo zate nima vrednosti. Cevovod za vnos, ki obdela deset tisoč dokumentov, pričakuje uporaben JSON, ne vljudnega stavka. Pri vrednosti any model mora poklicati vsaj eno funkcijo, tudi če se zdi, da vprašanje tega ne zahteva.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any"
)
Zanimivo je, da najpogostejši primer uporabe preusmeri klicanje funkcij od njihovega prvotnega namena: funkcije ne deklariraš, da bi jo izvršil, temveč da bi zagotovil shemo izhoda. Tu extract_entities na strežniški strani nikoli ne bo klicana; pomembna je pogodba JSON.
# Strukturirana ekstrakcija: prisili model k ekstrakciji podatkov
tools = [{
"type": "function",
"function": {
"name": "extract_entities",
"description": "Extracts named entities from text",
"parameters": {
"type": "object",
"properties": {
"persons": {"type": "array", "items": {"type": "string"}},
"organizations": {"type": "array", "items": {"type": "string"}},
"dates": {"type": "array", "items": {"type": "string"}}
},
"required": ["persons", "organizations", "dates"]
}
}
}]
messages = [{"role": "user", "content": "Sophia Yang from Mistral presented "
"function calling on March 15, 2026."}]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any" # Vsili ekstrakcijo
)
# → extract_entities(persons=["Sophia Yang"],
# organizations=["Mistral"],
# dates=["March 15, 2026"])
Mimogrede bodi pozoren na required: to je sopomenka za any, vključena zaradi združljivosti s kodo, napisano za druge API-je. Obe vrednosti proizvedeta enako obnašanje; izberi tisto, ki naredi tvojo kodo bolj berljivo, in se je drži.
none — Onemogoči orodja, ne da bi jih odstranil
Tretja vrednost naslavlja manj očitno potrebo. Podatke si že pridobil prek več tool_calls, zdaj pa želiš, da jih model sintetizira. Če pogovor nadaljuješ v načinu auto, nič ne prepreči modelu, da bi znova poklical funkcijo „zgolj za preverjanje”, kar poveča zakasnitev in lahko sproži neskončno zanko. none prepove vse nove klice, hkrati pa ohrani definicije orodij v kontekstu, kar modelu pomaga natančno govoriti o podatkih, ki jih že ima.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none"
)
Trije primeri uporabe se pojavljajo stalno: zahteva po povzetku po nizu klicev funkcij, preoblikovanje odgovora brez sprožitve novih klicev in testiranje v razvojnem okolju, kako se model obnaša, ko je prikrajšan za svoja orodja, kar hitro razkrije vprašanja, za katera meni, da jih lahko odgovori iz spomina.
# Po pridobitvi podatkov prek tool_calls...
# Zahtevaj povzetek brez novih klicev
messages.append({
"role": "user",
"content": "Povzemi informacije iz vseh plačil, ki si jih našel."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none" # Model povzame s tem, kar že ima
)
Prilagodi nastavitev skozi pogovor
tool_choice ni treba nastaviti enkrat ob zagonu. V produkcijskih okoljih je običajno, da ga izračunaš ob vsakem koraku glede na kontekst: prvo sporočilo pogovora, namen zaznan v zahtevi ali število že porabljenih klicev. Spodnja funkcija ponazarja to logiko v najpreprostejši obliki – model ostane privzeto svoboden, razen ko uporabnik izrecno zahteva povzetek.
def get_tool_choice(user_input: str, turn_count: int) -> str:
"""Določi tool_choice glede na kontekst."""
# Prvi krog: prepusti odločitev modelu
if turn_count == 0:
return "auto"
# Če uporabnik izrecno zahteva povzetek
if any(word in user_input.lower() for word in ["summarize", "recap", "synthesis"]):
return "none"
# Privzeto
return "auto"
V praksi obdrži auto kot svojo osnovno nastavitev: je najbolj naraven in prilagodljiv. any rezerviraj za cevovode strukturirane ekstrakcije podatkov, none pa za trenutke, ko moraš preprečiti neskončne zanke tool_call. Ena omejitev je absolutna: nikoli ne spreminjaj tool_choice sredi obdelave tool_call. Najprej zaključi cikel z vrnitvijo vseh pričakovanih sporočil tool, nato prilagodi parameter v naslednjem koraku – v nasprotnem primeru zgodovina postane nekonsistentna in API zavrne zahtevo.
Ključne ugotovitve
tool_choicenadzira, kdaj model uporabi funkcijeauto= model se svobodno odloči (privzeto, priporočeno za klepetalne robote)any= model je prisiljen klicati orodje (cevovodi, strukturirana ekstrakcija)none= orodja so onemogočena (povzetki, preoblikovanje)- Dinamično prilagajaj
tool_choiceglede na kontekst pogovora