Iespējas tool_choice
Šajā lapā
Kas pieņem lēmumu?
Parametra tools nodošana API nenozīmē, ka modelim ir jāizmanto šie rīki vai pat ka tam tas ir atļauts. Starp šīm divām galējībām parametrs tool_choice darbojas kā arbitrs. Atkarībā no piešķirtās vērtības tu vari ļaut modelim pašam lemt, piespiest to ģenerēt strukturētu izsaukumu vai pilnībā atņemt tam piekļuvi tikko deklarētajiem rīkiem. Šis ir smalks iestatījums, taču tas radikāli maina tāda paša koda uzvedību, saskaroties ar vienu un to pašu jautājumu.
| Vērtība | Uzvedība | Lietošanas gadījums |
|---|---|---|
auto | Modelis brīvi izlemj, vai izmantot rīku vai atbildēt ar tekstu. Šis ir noklusējuma režīms. | Sarunu asistenti, vispārējas nozīmes čatboti |
any | Modelis ir spiests veikt vismaz vienu rīka izsaukumu. Tas nevar atbildēt tikai ar tekstu. | Automatizēti datu apstrādes kanāli, strukturēta datu ieguve |
none | Modelis nevar izmantot rīkus, pat ja tie ir definēti. Tas atbild tikai ar tekstu. | Rezultātu apkopošana bez jauniem izsaukumiem, atbildes pārfrazēšana |
required | Sinonīms vērtībai any. Modelim ir jāizmanto vismaz viens rīks. | Ekvivalents any, nodrošina saderību |
auto — Ļauj modelim lemt
Šī ir noklusējuma vērtība, ko izmanto, pat to neapzinoties, kad parametru izlaiž.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="auto" # Nav obligāti, šī ir noklusējuma vērtība
)
Izmantojot auto, modelis vispirms izvērtē pieprasījumu un tikai tad rīkojas. Ja jautājums prasa ārējus datus, kuriem tam nav piekļuves, tas izsauc funkciju; ja vaicājums ir vispārīgs vai attiecas uz sarunas gaitu, tas atbild tieši ar tekstu. Tieši šis pārslēdzējs padara asistenta darbību dabisku: lietotājam nav jāzina, ka aiz ekrāna darbojas rīki.
# Modelis izsauks funkciju
messages = [{"role": "user", "content": "Kāds ir maksājuma T1001 statuss?"}]
# → tool_call: retrieve_payment_status(transaction_id="T1001")
# Modelis atbildēs tieši
messages = [{"role": "user", "content": "Sveiki, kā tev klājas?"}]
# → content: "Sveiki! Es esmu maksājumu asistents. Kā varu tev palīdzēt?"
Otrais piemērs ir pelnījis uzmanību: piespiedu funkcijas izsaukums uz vienkāršu sveicienu radītu retrieve_payment_status ar izdomātu ID. Tieši to auto novērš, tāpēc šis režīms joprojām ir visizplatītākais ražošanas vidē.
any — Piespiedu strukturēta izvade
Turpretī pastāv situācijas, kad brīvas formas tekstam nav nekādas vērtības. Datu ielādes kanāls, kas apstrādā desmit tūkstošus dokumentu, sagaida lietojamu JSON, nevis pieklājīgu teikumu. Izmantojot any, modelim ir jāizsauc vismaz viena funkcija, pat ja jautājums, šķiet, to neprasa.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any"
)
Interesanti, ka visbiežākais lietošanas gadījums novirza funkciju izsaukšanu no tās sākotnējā nolūka: tu nedefinē funkciju, lai to izpildītu, bet gan lai garantētu izvades shēmu. Šajā gadījumā extract_entities nekad netiks izsaukta servera pusē; mums ir svarīgs tikai JSON līgums.
# Strukturēta ieguve: piespiež modeli ekstrahēt datus
tools = [{
"type": "function",
"function": {
"name": "extract_entities",
"description": "Ekstrahē nosauktās entītijas no teksta",
"parameters": {
"type": "object",
"properties": {
"persons": {"type": "array", "items": {"type": "string"}},
"organizations": {"type": "array", "items": {"type": "string"}},
"dates": {"type": "array", "items": {"type": "string"}}
},
"required": ["persons", "organizations", "dates"]
}
}
}]
messages = [{"role": "user", "content": "Sophia Yang no Mistral prezentēja "
"funkciju izsaukšanu 2026. gada 15. martā."}]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any" # Piespiedu ieguve
)
# → extract_entities(persons=["Sophia Yang"],
# organizations=["Mistral"],
# dates=["2026. gada 15. marts"])
Pieminēsim arī required: tas ir sinonīms vērtībai any, iekļauts saderībai ar kodu, kas rakstīts citām API. Abas vērtības rada identisku uzvedību; izvēlies to, kas padara tavu kodu lasāmāku, un pieturies pie tās.
none — Atspējo rīkus, neatceļot tos
Trešā vērtība risina mazāk acīmredzamu vajadzību. Tu jau esi ieguvis datus, veicot vairākus tool_call, un tagad vēlies, lai modelis tos apkopo. Ja turpināsi sarunu režīmā auto, nekas neatturēs modeli no jauna funkcijas izsaukuma „tikai pārbaudes nolūkā”, kas palielinās latentumu un var izraisīt bezgalīgu ciklu. none aizliedz jebkādus jaunus izsaukumus, saglabājot rīku definīcijas kontekstā, tādējādi palīdzot modelim precīzi runāt par datiem, kas tam jau ir.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none"
)
Trīs lietošanas gadījumi rodas pastāvīgi: kopsavilkuma pieprasīšana pēc virknes funkciju izsaukumu, atbildes pārfrazēšana, neizraisot jaunus izsaukumus, un testēšana izstrādes vidē, lai redzētu, kā modelis uzvedas, kad tam atņemti rīki, kas ātri atklāj jautājumus, uz kuriem, pēc modeļa domām, tas var atbildēt no atmiņas.
# Pēc datu iegūšanas, izmantojot tool_calls...
# Pieprasīt kopsavilkumu bez jauniem izsaukumiem
messages.append({
"role": "user",
"content": "Apkopo informāciju par visiem atrastajiem maksājumiem."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none" # Modelis apkopo, izmantojot tikai esošos datus
)
Pielāgo iestatījumu sarunas gaitā
Tev nav jāiestata tool_choice tikai vienreiz starta brīdī. Ražošanas vidē ir ierasts to aprēķināt katrā sarunas solī, balstoties uz kontekstu: pirmo sarunas ziņojumu, pieprasījumā noteikto nodomu vai jau veikto izsaukumu skaitu. Tālāk redzamā funkcija ilustrē šo loģiku vienkāršākajā formā — modelis pēc noklusējuma ir brīvs, izņemot gadījumus, kad lietotājs tieši pieprasa kopsavilkumu.
def get_tool_choice(user_input: str, turn_count: int) -> str:
"""Nosaka tool_choice, balstoties uz kontekstu."""
# Pirmais solis: ļauj modelim lemt
if turn_count == 0:
return "auto"
# Ja lietotājs tieši pieprasa kopsavilkumu
if any(word in user_input.lower() for word in ["summarize", "recap", "synthesis"]):
return "none"
# Noklusējums
return "auto"
Praksē izmanto auto kā savu bāzes iestatījumu: tas ir visdabiskākais un elastīgākais. Rezervē any strukturētas datu ieguves kanāliem, bet none brīžiem, kad ir jānovērš bezgalīgi tool_call cikli. Viens ierobežojums ir absolūts: nekad nemaini tool_choice tool_call apstrādes vidū. Vispirms pabeidz ciklu, atgriežot visus sagaidāmos tool ziņojumus, un tikai tad nākamajā solī pielāgo parametru — pretējā gadījumā vēsture kļūst nesakārtota un API noraida pieprasījumu.
Galvenās atziņas
tool_choicekontrolē, kad modelis izmanto funkcijasauto= modelis lemt brīvi (noklusējums, ieteicams čatbotiem)any= modelis ir spiests izsaukt rīku (datu kanāli, strukturēta ieguve)none= rīki ir atspējoti (kopsavilkumi, pārfrazēšana)- Pielāgo
tool_choicedinamiski atkarībā no sarunas konteksta