Опции на tool_choice
На тази страница
Кой взема решението?
Предаването на tools към API не означава, че моделът трябва да ги използва, нито дори че му е позволено. Между тези две крайности параметърът tool_choice действа като арбитър. В зависимост от стойността, която зададете, можете да оставите модела свободен да прецени, да го принудите да генерира структурирано извикване или напълно да му отнете достъпа до току-що декларираните инструменти. Това е фина настройка, но тя радикално променя поведението на един и същ код при един и същ въпрос.
| Стойност | Поведение | Случай на употреба |
|---|---|---|
auto | Моделът свободно решава дали да използва инструмент, или да отговори с текст. Това е режимът по подразбиране. | Конверсационни асистенти, чатботове с общо предназначение |
any | Моделът е принуден да извика поне един инструмент. Не може да отговори само с текст. | Автоматизирани конвейери, структурирано извличане на данни |
none | Моделът не може да използва инструменти, дори ако са дефинирани. Отговаря само с текст. | Обобщаване на резултати без нови извиквания, преформулиране на отговор |
required | Синоним на any. Моделът трябва да използва поне един инструмент. | Еквивалентно на any, за съвместимост |
auto — Оставете модела да прецени
Това е стойността по подразбиране, която използвате, без да осъзнавате, винаги когато пропуснете параметъра.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="auto" # По избор, това е стойността по подразбиране
)
При auto моделът оценява заявката, преди да действа. Ако въпросът изисква външни данни, с които не разполага, той извиква функция; ако заявката е обща или свързана с общуване, той отговаря директно с текст. Този превключвател е това, което прави асистента да се чувства естествен: потребителят не трябва да знае, че зад екрана има инструменти.
# Моделът ще извика функция
messages = [{"role": "user", "content": "Статус на плащане T1001?"}]
# → tool_call: retrieve_payment_status(transaction_id="T1001")
# Моделът ще отговори директно
messages = [{"role": "user", "content": "Здравей, как си?"}]
# → content: "Здравей! Асистент съм за плащания. Как мога да Ви помогна?"
Вторият пример заслужава внимание: принуждаването на извикване на функция при просто поздравление би довело до retrieve_payment_status с измислен ID. Точно това предотвратява auto, затова този режим остава най-често използваният в продукционна среда.
any — Принудителен структуриран изход
Обратно, има контексти, в които свободният текст няма никаква стойност за Вас. Конвейер за обработка на десет хиляди документа очаква използваем JSON, а не учтива реплика. При any моделът трябва да извика поне една функция, дори ако въпросът изглежда не го изисква.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any"
)
Интересното е, че най-честият случай на употреба пренасочва извикването на функции от първоначалното му предназначение: не декларирате функция, за да я изпълните, а за да гарантирате схема на изхода. Тук extract_entities никога няма да бъде извикана на сървърната страна; важният е JSON контрактът.
# Структурирано извличане: принуди модела да извлече данни
tools = [{
"type": "function",
"function": {
"name": "extract_entities",
"description": "Извлича именувани entities от текста",
"parameters": {
"type": "object",
"properties": {
"persons": {"type": "array", "items": {"type": "string"}},
"organizations": {"type": "array", "items": {"type": "string"}},
"dates": {"type": "array", "items": {"type": "string"}}
},
"required": ["persons", "organizations", "dates"]
}
}
}]
messages = [{"role": "user", "content": "София Янг от Mistral представи "
"извикването на функции на 15 март 2026 г."}]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any" # Принудително извличане
)
# → extract_entities(persons=["София Янг"],
# organizations=["Mistral"],
# dates=["15 март 2026 г."])
Отбележете мимоходом required: това е синоним на any, включен за съвместимост с код, написан за други API. И двете стойности произвеждат едно и също поведение; изберете тази, която прави кода Ви най-четим, и се придържайте към нея.
none — Деактивиране на инструментите без премахването им
Третата стойност отговаря на по-малко очевидна нужда. Вече сте извлекли данните си чрез няколко tool_call и сега искате моделът да ги синтезира. Ако продължите разговора в режим auto, нищо не спира модела да извика функция отново „просто за проверка“, което увеличава латентността и може да предизвика безкраен цикъл. none забранява всякакви нови извиквания, като същевременно запазва дефинициите на инструментите в контекста, помагайки на модела да говори точно за данните, с които вече разполага.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none"
)
Три случая на употреба се срещат постоянно: искане на обобщение след поредица от извиквания на функции, преформулиране на отговор без задействане на нови извиквания и тестване в разработка как се държи моделът, когато е лишен от инструментите си, което бързо разкрива въпроси, за които той смята, че може да отговори от паметта си.
# След извличане на данни чрез tool_calls...
# Искане на обобщение без нови извиквания
messages.append({
"role": "user",
"content": "Обобщи информацията от всички плащания, които откри."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none" # Моделът обобщава с това, което вече има
)
Коригиране на настройката по време на разговора
Не е необходимо да задавате tool_choice веднъж при стартиране. В продукционна среда е обичайно да го изчислявате при всяка стъпка въз основа на контекста: първото съобщение на разговора, намерението, открито в заявката, или броят на вече извършените извиквания. Функцията по-долу илюстрира тази логика в най-простата ѝ форма — моделът остава свободен по подразбиране, освен когато потребителят изрично поиска обобщение.
def get_tool_choice(user_input: str, turn_count: int) -> str:
"""Определя tool_choice въз основа на контекста."""
# Първи ход: оставете модела да реши
if turn_count == 0:
return "auto"
# Ако потребителят изрично поиска обобщение
if any(word in user_input.lower() for word in ["summarize", "recap", "synthesis"]):
return "none"
# По подразбиране
return "auto"
На практика запазете auto като базова настройка: тя е най-естествената и гъвкава. Запазете any за конвейери за извличане на структурирани данни, а none за моменти, когато трябва да предотвратите безкрайни цикли на tool_call. Едно ограничение е абсолютно: никога не променяйте tool_choice по средата на обработката на tool_call. Първо завършете цикъла, като върнете всички очаквани съобщения tool, след което коригирайте параметъра при следващия ход — в противен случай историята става несъгласувана и API отхвърля заявката.
Ключови изводи
tool_choiceконтролира кога моделът използва функцииauto= моделът решава свободно (по подразбиране, препоръчително за чатботове)any= моделът е принуден да извика инструмент (конвейери, структурирано извличане)none= инструментите са деактивирани (обобщения, преформулиране)- Адаптирайте
tool_choiceдинамично въз основа на контекста на разговора