Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

tool_choice parinktys

Paskaita 9 iš 14 Atnaujinta 2026 m. liepos 29 d. Kūrėjas
Šiame puslapyje
  1. Kas priima sprendimą?
  2. auto – leiskite modeliui spręsti
  3. any – priverstinis struktūrizuotas išvesties formatas
  4. none – išjunkite įrankius jų nepašalinę
  5. Koreguokite nustatymą pokalbio eigoje
  6. Svarbiausi punktai

Kas priima sprendimą?

Perdavus tools API, tai nereiškia, kad modelis privalo jais naudotis ar net kad jam tai leidžiama. Tarp šių dviejų kraštutinumų veikia tool_choice parametras kaip arbitras. Priklausomai nuo priskirtos reikšmės, galite palikti modeliui laisvę spręsti, priversti jį generuoti struktūrizuotą kvietimą arba visiškai atimti iš jo prieigą prie ką tik deklaruotų įrankių. Tai subtilus nustatymas, tačiau jis radikaliai keičia to paties kodo elgseną susidūrus su tuo pačiu klausimu.

ReikšmėElgsenaNaudojimo atvejis
autoModelis laisvai sprendžia, ar naudoti įrankį, ar atsakyti tekstu. Tai numatytoji veiksena.Pokalbių asistentai, bendrosios paskirties pokalbių robotai
anyModelis priverstas įvykdyti bent vieną įrankio kvietimą. Jis negali atsakyti vien tekstu.Automatizuoti duomenų srautai, struktūrizuotas duomenų gavyba
noneModelis negali naudoti įrankių, net jei jie apibrėžti. Jis atsako tik tekstu.Rezultatų apibendrinimas be naujų kvietimų, atsakymo performulavimas
requiredany sinonimas. Modelis privalo naudoti bent vieną įrankį.Tapatu any, skirta suderinamumui

auto – leiskite modeliui spręsti

Tai numatytoji reikšmė, kurią naudojate net to nesuvokdami, kai praleidžiate šį parametrą.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="auto"  # Nebūtina, tai numatytoji reikšmė
)

Naudodami auto, modelis prieš veikdamas įvertina užklausą. Jei klausimui reikia išorinių duomenų, kurių jis neturi, jis iškviečia funkciją; jei užklausa yra bendro pobūdžio ar susijusi su bendravimu, jis atsako tiesiogiai tekstu. Būtent šis perjungimas suteikia asistentui natūralumo: vartotojui nereikia žinoti, kad už ekrano veikia įrankiai.

# Modelis iškvies funkciją
messages = [{"role": "user", "content": "Mokėjimo T1001 būsena?"}]
# → tool_call: retrieve_payment_status(transaction_id="T1001")

# Modelis atsakys tiesiogiai
messages = [{"role": "user", "content": "Labas, kaip sekasi?"}]
# → content: "Labas! Esu mokėjimų asistentas. Kuo galiu padėti?"

Antrasis pavyzdys nusipelno dėmesio: priverstinis funkcijos kvietimas paprastam pasisveikinimui sugeneruotų retrieve_payment_status su sugalvotu ID. Būtent to ir neleidžia auto, todėl šis režimas išlieka dažniausiai naudojamas gamybinėje aplinkoje.

any – priverstinis struktūrizuotas išvesties formatas

Kita vertus, yra kontekstų, kuriuose laisvos formos tekstas jums neturi vertės. Duomenų ingestijos srautas, apdorojantis dešimt tūkstančių dokumentų, tikisi naudotino JSON, o ne mandagaus sakinio. Naudodami any, modelis privalo iškviesti bent vieną funkciją, net jei klausimas, regis, to nereikalauja.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="any"
)

Įdomu tai, kad dažniausias naudojimo atvejis nukreipia funkcijų kvietimą nuo jo pirminės paskirties: jūs deklaruojate funkciją ne tam, kad ją vykdytumėte, o tam, kad garantuotumėte išvesties schemą. Čia extract_entities serverio pusėje niekada nebus iškviešta; mums rūpi JSON sutartis.

# Struktūrizuota gavyba: priversti modelį išgauti duomenis
tools = [{
    "type": "function",
    "function": {
        "name": "extract_entities",
        "description": "Extracts named entities from text",
        "parameters": {
            "type": "object",
            "properties": {
                "persons": {"type": "array", "items": {"type": "string"}},
                "organizations": {"type": "array", "items": {"type": "string"}},
                "dates": {"type": "array", "items": {"type": "string"}}
            },
            "required": ["persons", "organizations", "dates"]
        }
    }
}]

messages = [{"role": "user", "content": "Sophia Yang from Mistral presented "
            "function calling on March 15, 2026."}]

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="any"  # Priverstinė gavyba
)

# → extract_entities(persons=["Sophia Yang"],
#                     organizations=["Mistral"],
#                     dates=["March 15, 2026"])

Atkreipkite dėmesį į required: tai any sinonimas, įtrauktas dėl suderinamumo su kitoms API skirtu kodu. Abi reikšmės sukuria tą pačią elgseną; pasirinkite tą, kuri jūsų kodą daro skaitomesnį, ir jos laikykitės.

none – išjunkite įrankius jų nepašalinę

Trečioji reikšmė tenkina mažiau akivaizdų poreikį. Jau gavote savo duomenis per kelis tool_call kvietimus ir dabar norite, kad modelis juos apibendrintų. Jei tęsite pokalbį auto režimu, niekas nesustabdys modelio dar kartą iškviečiant funkciją „tik pasitikrinimui“, o tai padidins delsą ir gali sukelti begalinę kilpą. none uždraudžia bet kokius naujus kvietimus, palikdamas įrankių apibrėžimus kontekste, taip padėdamas modeliui tiksliai kalbėti apie jau turimus duomenis.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="none"
)

Nuolat iškyla trys naudojimo atvejai: santraukos prašymas po serijos funkcijų kvietimų, atsakymo performulavimas nesukeliant naujų kvietimų ir testavimas kūrimo metu, kaip elgiasi modelis, netekęs savo įrankių, kas greitai atskleidžia klausimus, kuriuos, jo manymu, gali atsakyti iš atminties.

# Gavus duomenis per tool_call...
# Prašyti santraukos be naujų kvietimų
messages.append({
    "role": "user",
    "content": "Apibendrinkite visų rastų mokėjimų informaciją."
})

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="none"  # Modelis apibendrina turimus duomenis
)

Koreguokite nustatymą pokalbio eigoje

Nereikia nustatyti tool_choice vieną kartą paleidimo metu. Gamybinėje aplinkoje dažnai tenka jį apskaičiuoti kiekviename žingsnyje, atsižvelgiant į kontekstą: pirmąjį pokalbio pranešimą, užklausoje aptiktą ketinimą arba jau sunaudotų kvietimų skaičių. Toliau pateikta funkcija iliustruoja šią logiką paprasčiausia forma – modelis pagal nutylėjimą lieka laisvas, išskyrus atvejus, kai vartotojas aiškiai prašo santraukos.

def get_tool_choice(user_input: str, turn_count: int) -> str:
    """Nustato tool_choice pagal kontekstą."""

    # Pirmasis ėjimas: leisti modeliui spręsti
    if turn_count == 0:
        return "auto"

    # Jei vartotojas aiškiai prašo santraukos
    if any(word in user_input.lower() for word in ["summarize", "recap", "synthesis"]):
        return "none"

    # Numatytoji reikšmė
    return "auto"

Praktiškai laikykite auto kaip pagrindinį nustatymą: tai natūraliausias ir lanksčiausias būdas. Rezervuokite any struktūrizuotos duomenų gavybos srautams, o none – momentams, kai turite užkirsti kelią begalinėms tool_call kilpoms. Vienas apribojimas yra absoliutus: niekada nekeiskite tool_choice viduryje apdorojant tool_call. Pirmiausia užbaikite ciklą grąžindami visus laukiamus tool pranešimus, tada koreguokite parametrą kitame žingsnyje – priešingu atveju istorija tampa nenuosekli ir API atmeta užklausą.

Svarbiausi punktai

  • tool_choice valdo, kada modelis naudoja funkcijas
  • auto = modelis sprendžia laisvai (numatytoji, rekomenduojama pokalbių robotams)
  • any = modelis priverstas iškviesti įrankį (duomenų srautai, struktūrizuota gavyba)
  • none = įrankiai išjungti (santraukos, performulavimas)
  • Dinamiškai pritaikykite tool_choice pagal pokalbio kontekstą