tool_choice'i valikud
Sellel lehel
Kes otsustab?
Parameetri tools edastamine API-le ei tähenda, et mudel peab seda kasutama või et tal on selleks isegi luba. Nende kahe äärmuse vahel toimib vahendajana parameeter tool_choice. Sõltuvalt sellele omistatud väärtusest saad jätta mudelile vabaduse otsustada, sundida teda looma struktureeritud päringu või tühistada täielikult juurdepääsu just deklareeritud tööriistadele. See on peen häälestus, kuid see muudab radikaalselt sama käitumise, kui kood seisab silmitsi sama küsimusega.
| Väärtus | Käitumine | Kasutusjuht |
|---|---|---|
auto | Mudel otsustab vabalt, kas kasutada tööriista või vastata tekstina. See on vaikimisi režiim. | Vestlusassistentid, üldotstarbelised vestlusrobotid |
any | Mudelit sunnitakse kutsuma vähemalt ühte tööriista. Ta ei saa vastata ainult tekstiga. | Automatiseeritud töövoogud, struktureeritud andmete ekstraheerimine |
none | Mudel ei saa kasutada tööriistu, isegi kui need on defineeritud. Ta vastab ainult tekstina. | Tulemuste kokkuvõtmine ilma uute päringuteta, vastuse ümber sõnastamine |
required | Sünonüüm väärtusele any. Mudel peab kasutama vähemalt ühte tööriista. | Samaväärne väärtusega any, mõeldud ühilduvuseks |
auto — Lase mudelil otsustada
See on vaikimisi väärtus, mida kasutad teadmatagi iga kord, kui jätad parameetri määramata.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="auto" # Valikuline, see on vaikimisi väärtus
)
Režiimis auto hindab mudel päringut enne tegutsemist. Kui küsimus nõuab väliseid andmeid, mida tal pole, kutsub ta funktsiooni; kui päring on üldine või seotud suhtlusega, vastab ta otse tekstina. Just see lüliti annab assistendile loomuliku tunde: kasutaja ei pea teadma, et ekraani taga on tööriistu.
# Mudel kutsub funktsiooni
messages = [{"role": "user", "content": "Makse T1001 staatus?"}]
# → tool_call: retrieve_payment_status(transaction_id="T1001")
# Mudel vastab otse
messages = [{"role": "user", "content": "Tere, kuidas läheb?"}]
# → content: "Tere! Olen makseassistent. Kuidas saan sind aidata?"
Teine näide väärib tähelepanu: funktsioonikutse sundimine lihtsa tervituse korral looks retrieve_payment_status väljamõeldud ID-ga. Just seda takistab režiim auto, mistõttu on see tootmiskeskkonnas kõige levinum režiim.
any — Sunni struktureeritud väljundit
Vastupidiselt on olukordi, kus vabas vormis tekstil pole sinu jaoks väärtust. Tarneahel, mis töötleb kümneid tuhandeid dokumente, ootab kasutatavat JSON-i, mitte viisakat lauset. Režiimiga any peab mudel kutsuma vähemalt ühte funktsiooni, isegi kui küsimus seda näiliselt ei nõua.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any"
)
Huvitaval kombel muudab kõige sagedasem kasutusjuht funktsioonikutse selle algsest eesmärgist: sa ei deklareeri funktsiooni selle käivitamiseks, vaid väljundiskeemi garanteerimiseks. Siin ei kutsuta extract_entities kunagi serveripoolselt; meid huvitab JSON-i leping.
# Struktureeritud ekstraheerimine: sunni mudelit andmeid ekstraheerima
tools = [{
"type": "function",
"function": {
"name": "extract_entities",
"description": "Extracts named entities from text",
"parameters": {
"type": "object",
"properties": {
"persons": {"type": "array", "items": {"type": "string"}},
"organizations": {"type": "array", "items": {"type": "string"}},
"dates": {"type": "array", "items": {"type": "string"}}
},
"required": ["persons", "organizations", "dates"]
}
}
}]
messages = [{"role": "user", "content": "Sophia Yang from Mistral presented "
"function calling on March 15, 2026."}]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any" # Sunni ekstraheerimist
)
# → extract_entities(persons=["Sophia Yang"],
# organizations=["Mistral"],
# dates=["March 15, 2026"])
Pane tähele ka väärtust required: see on sünonüüm väärtusele any, lisatud ühilduvuseks teiste API-de jaoks kirjutatud koodiga. Mõlemad väärtused tekitavad sama käitumise; vali see, mis muudab su koodi loetavamaks, ja jää selle juurde.
none — Keela tööriistad ilma neid eemaldamata
Kolmas väärtus lahendab vähem ilmse vajaduse. Oled juba hankinud oma andmed mitme tool_calls kaudu ja nüüd soovid, et mudel need kokku võtaks. Kui jätkad vestlust režiimis auto, ei takista miski mudelit uuesti funktsiooni kutsumast „lihtsalt kontrollimiseks“, mis suurendab latentsust ja võib käivitada lõpmatu tsükli. none keelab kõik uued päringud, hoides samal ajal tööriistade definitsioonid kontekstis, aidates mudelil täpselt rääkida juba olemasolevatest andmetest.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none"
)
Kolm kasutusjuhtu kerkivad pidevalt esile: kokkuvõtte küsimine pärast funktsioonikutsete seeriat, vastuse ümber sõnastamine ilma uute päringute käivitamiseta ja arenduses testimine, kuidas mudel käitub, kui ta jääb ilma oma tööriistadeta, mis paljastab kiiresti küsimused, millele ta arvab mälu põhjal vastata saavat.
# Pärast andmete hankimist tool_calls kaudu...
# Küsi kokkuvõtet ilma uute päringuteta
messages.append({
"role": "user",
"content": "Tee kokkuvõte kogu leitud maksete teabest."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none" # Mudel teeb kokkuvõtte olemasoleva teabe põhjal
)
Kohanda seadistust vestluse käigus
Sa ei pea tool_choice määrama ainult käivitamisel. Tootmiskeskkonnas on tavaline arvutada seda igal pöördel konteksti põhjal: vestluse esimene sõnum, päringus tuvastatud kavatsus või juba tarbitud päringute arv. Allpool olev funktsioon illustreerib seda loogikat selle lihtsaimal kujul – mudel jääb vaikimisi vabaks, välja arvatud juhul, kui kasutaja palub sõnaselgelt kokkuvõtet.
def get_tool_choice(user_input: str, turn_count: int) -> str:
"""Määrab tool_choice'i konteksti põhjal."""
# Esimene pööre: lase mudelil otsustada
if turn_count == 0:
return "auto"
# Kui kasutaja palub sõnaselgelt kokkuvõtet
if any(word in user_input.lower() for word in ["summarize", "recap", "synthesis"]):
return "none"
# Vaikimisi
return "auto"
Praktikas hoia auto oma baasseadistuseks: see on kõige loomulikum ja paindlikum. Kasuta any struktureeritud andmete ekstraheerimise töövoogude jaoks ja none hetkedeks, kui pead takistama lõpmatuid tool_call tsükleid. Üks piirang on absoluutne: ära kunagi muuda tool_choice keset tool_call töötlemist. Lõpeta tsükkel esmalt, tagastades kõik oodatud tool sõnumid, ja kohanda parameetrit järgmisel pöördel – vastasel juhul muutub ajalugu ebajärjekindlaks ja API lükkab päringu tagasi.
Peamised punktid
tool_choicekontrollib, millal mudel funktsioone kasutabauto= mudel otsustab vabalt (vaikimisi, soovitatav vestlusrobotitele)any= mudelit sunnitakse kutsuma tööriista (töövoogud, struktureeritud ekstraheerimine)none= tööriistad on keelatud (kokkuvõtted, ümber sõnastamine)- Kohanda
tool_choicedünaamiliselt vastavalt vestluse kontekstile