Премини към основното съдържание
Български— Изберете език
Меню

Опции на tool_choice

Урок 9 от 14 Обновен 29 юли 2026 г. Програмист
На тази страница
  1. Кой взема решението?
  2. auto — Оставете модела да прецени
  3. any — Принудителен структуриран изход
  4. none — Деактивиране на инструментите без премахването им
  5. Коригиране на настройката по време на разговора
  6. Ключови изводи

Кой взема решението?

Предаването на tools към API не означава, че моделът трябва да ги използва, нито дори че му е позволено. Между тези две крайности параметърът tool_choice действа като арбитър. В зависимост от стойността, която зададете, можете да оставите модела свободен да прецени, да го принудите да генерира структурирано извикване или напълно да му отнете достъпа до току-що декларираните инструменти. Това е фина настройка, но тя радикално променя поведението на един и същ код при един и същ въпрос.

СтойностПоведениеСлучай на употреба
autoМоделът свободно решава дали да използва инструмент, или да отговори с текст. Това е режимът по подразбиране.Конверсационни асистенти, чатботове с общо предназначение
anyМоделът е принуден да извика поне един инструмент. Не може да отговори само с текст.Автоматизирани конвейери, структурирано извличане на данни
noneМоделът не може да използва инструменти, дори ако са дефинирани. Отговаря само с текст.Обобщаване на резултати без нови извиквания, преформулиране на отговор
requiredСиноним на any. Моделът трябва да използва поне един инструмент.Еквивалентно на any, за съвместимост

auto — Оставете модела да прецени

Това е стойността по подразбиране, която използвате, без да осъзнавате, винаги когато пропуснете параметъра.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="auto"  # По избор, това е стойността по подразбиране
)

При auto моделът оценява заявката, преди да действа. Ако въпросът изисква външни данни, с които не разполага, той извиква функция; ако заявката е обща или свързана с общуване, той отговаря директно с текст. Този превключвател е това, което прави асистента да се чувства естествен: потребителят не трябва да знае, че зад екрана има инструменти.

# Моделът ще извика функция
messages = [{"role": "user", "content": "Статус на плащане T1001?"}]
# → tool_call: retrieve_payment_status(transaction_id="T1001")

# Моделът ще отговори директно
messages = [{"role": "user", "content": "Здравей, как си?"}]
# → content: "Здравей! Асистент съм за плащания. Как мога да Ви помогна?"

Вторият пример заслужава внимание: принуждаването на извикване на функция при просто поздравление би довело до retrieve_payment_status с измислен ID. Точно това предотвратява auto, затова този режим остава най-често използваният в продукционна среда.

any — Принудителен структуриран изход

Обратно, има контексти, в които свободният текст няма никаква стойност за Вас. Конвейер за обработка на десет хиляди документа очаква използваем JSON, а не учтива реплика. При any моделът трябва да извика поне една функция, дори ако въпросът изглежда не го изисква.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="any"
)

Интересното е, че най-честият случай на употреба пренасочва извикването на функции от първоначалното му предназначение: не декларирате функция, за да я изпълните, а за да гарантирате схема на изхода. Тук extract_entities никога няма да бъде извикана на сървърната страна; важният е JSON контрактът.

# Структурирано извличане: принуди модела да извлече данни
tools = [{
    "type": "function",
    "function": {
        "name": "extract_entities",
        "description": "Извлича именувани entities от текста",
        "parameters": {
            "type": "object",
            "properties": {
                "persons": {"type": "array", "items": {"type": "string"}},
                "organizations": {"type": "array", "items": {"type": "string"}},
                "dates": {"type": "array", "items": {"type": "string"}}
            },
            "required": ["persons", "organizations", "dates"]
        }
    }
}]

messages = [{"role": "user", "content": "София Янг от Mistral представи "
            "извикването на функции на 15 март 2026 г."}]

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="any"  # Принудително извличане
)

# → extract_entities(persons=["София Янг"],
#                     organizations=["Mistral"],
#                     dates=["15 март 2026 г."])

Отбележете мимоходом required: това е синоним на any, включен за съвместимост с код, написан за други API. И двете стойности произвеждат едно и също поведение; изберете тази, която прави кода Ви най-четим, и се придържайте към нея.

none — Деактивиране на инструментите без премахването им

Третата стойност отговаря на по-малко очевидна нужда. Вече сте извлекли данните си чрез няколко tool_call и сега искате моделът да ги синтезира. Ако продължите разговора в режим auto, нищо не спира модела да извика функция отново „просто за проверка“, което увеличава латентността и може да предизвика безкраен цикъл. none забранява всякакви нови извиквания, като същевременно запазва дефинициите на инструментите в контекста, помагайки на модела да говори точно за данните, с които вече разполага.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="none"
)

Три случая на употреба се срещат постоянно: искане на обобщение след поредица от извиквания на функции, преформулиране на отговор без задействане на нови извиквания и тестване в разработка как се държи моделът, когато е лишен от инструментите си, което бързо разкрива въпроси, за които той смята, че може да отговори от паметта си.

# След извличане на данни чрез tool_calls...
# Искане на обобщение без нови извиквания
messages.append({
    "role": "user",
    "content": "Обобщи информацията от всички плащания, които откри."
})

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="none"  # Моделът обобщава с това, което вече има
)

Коригиране на настройката по време на разговора

Не е необходимо да задавате tool_choice веднъж при стартиране. В продукционна среда е обичайно да го изчислявате при всяка стъпка въз основа на контекста: първото съобщение на разговора, намерението, открито в заявката, или броят на вече извършените извиквания. Функцията по-долу илюстрира тази логика в най-простата ѝ форма — моделът остава свободен по подразбиране, освен когато потребителят изрично поиска обобщение.

def get_tool_choice(user_input: str, turn_count: int) -> str:
    """Определя tool_choice въз основа на контекста."""

    # Първи ход: оставете модела да реши
    if turn_count == 0:
        return "auto"

    # Ако потребителят изрично поиска обобщение
    if any(word in user_input.lower() for word in ["summarize", "recap", "synthesis"]):
        return "none"

    # По подразбиране
    return "auto"

На практика запазете auto като базова настройка: тя е най-естествената и гъвкава. Запазете any за конвейери за извличане на структурирани данни, а none за моменти, когато трябва да предотвратите безкрайни цикли на tool_call. Едно ограничение е абсолютно: никога не променяйте tool_choice по средата на обработката на tool_call. Първо завършете цикъла, като върнете всички очаквани съобщения tool, след което коригирайте параметъра при следващия ход — в противен случай историята става несъгласувана и API отхвърля заявката.

Ключови изводи

  • tool_choice контролира кога моделът използва функции
  • auto = моделът решава свободно (по подразбиране, препоръчително за чатботове)
  • any = моделът е принуден да извика инструмент (конвейери, структурирано извличане)
  • none = инструментите са деактивирани (обобщения, преформулиране)
  • Адаптирайте tool_choice динамично въз основа на контекста на разговора