tool_choice-asetukset
Tällä sivulla
Kuka päättää?
tools-parametrin välittäminen rajapinnalle ei tarkoita, että mallin täytyisi käyttää niitä, tai edes että se saisi tehdä niin. Näiden ääripäiden välissä tool_choice-parametri toimii välittäjänä. Valitsemastasi arvosta riippuen voit jättää mallille vapauden arvioida tilanne, pakottaa sen tuottamaan jäsennellyn kutsun tai evätä siltä täysin pääsyn juuri määrittelemiisi työkaluihin. Tämä on hienoasetus, mutta se muuttaa radikaalisti sitä, miten sama koodi käyttäytyy kohdatessaan saman kysymyksen.
| Arvo | Käyttäytyminen | Käyttötapaus |
|---|---|---|
auto | Malli päättää vapaasti, käyttääkö se työkalua vai vastaaanko se tekstimuodossa. Tämä on oletustila. | Keskustelevat avustajat, yleiskäyttöiset chatbotit |
any | Malli pakotetaan kutsumaan vähintään yhtä työkalua. Se ei voi vastata pelkällä tekstillä. | Automatisoidut putket, jäsennelty tiedonpoiminta |
none | Malli ei voi käyttää työkaluja, vaikka ne olisi määritelty. Se vastaa vain tekstimuodossa. | Tulosten yhteenveto ilman uusia kutsuja, vastauksen uudelleenmuotoilu |
required | Synonyymi arvolle any. Mallin on käytettävä vähintään yhtä työkalua. | Vastaava kuin any, yhteensopivuuden vuoksi |
auto — Anna mallin arvioida
Tämä on oletusarvo, jota käytät huomaamattasi aina, kun jätät parametrin määrittämättä.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="auto" # Valinnainen, tämä on oletusarvo
)
Arvolla auto malli arvioi pyynnön ennen toimintaa. Jos kysymys vaatii ulkoista dataa, jota sillä ei ole, se kutsuu funktion; jos kysely on yleinen tai liittyy vuorovaikutukseen, se vastaa suoraan tekstillä. Tämä kytkin on se, mikä saa avustajan tuntumaan luontevalta: käyttäjän ei tarvitse tietää, että ruudun takana on työkaluja.
# Malli kutsuu funktion
messages = [{"role": "user", "content": "Maksun T1001 tila?"}]
# → tool_call: retrieve_payment_status(transaction_id="T1001")
# Malli vastaa suoraan
messages = [{"role": "user", "content": "Hei, mitä kuuluu?"}]
# → content: "Hei! Olen maksuavustaja. Miten voin auttaa?"
Toinen esimerkki ansaitsee huomiota: funktion kutsumisen pakottaminen yksinkertaiseen tervehdykseen tuottaisi retrieve_payment_status-kutsun keksityllä tunnisteella. Juuri tämän auto-tila estää, minkä vuoksi tämä moodi on yleisin tuotantoympäristöissä.
any — Pakota jäsennelty tuloste
Päinvastoin, on konteksteja, joissa vapaamuotoisella tekstillä ei ole sinulle arvoa. Kymmentätuhatta dokumenttia käsittelevä ingestio-putki odottaa käyttökelpoista JSONia, ei kohteliasta lausetta. Arvolla any mallin on kutsuttava vähintään yhtä funktiota, vaikka kysymys ei näyttäisi sitä vaativan.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any"
)
Mielenkiintoista on, että yleisin käyttötapa muuntaa funktion kutsun alkuperäisen tarkoituksen: et määrittele funktiota suorittaaksesi sitä, vaan varmistaaksesi tulosteen skeeman. Tässä extract_entities-funktiota ei koskaan kutsuta palvelinpuolella; meille on tärkeää vain JSON-sopimus.
# Jäsennelty poiminta: pakota malli poimimaan dataa
tools = [{
"type": "function",
"function": {
"name": "extract_entities",
"description": "Extracts named entities from text",
"parameters": {
"type": "object",
"properties": {
"persons": {"type": "array", "items": {"type": "string"}},
"organizations": {"type": "array", "items": {"type": "string"}},
"dates": {"type": "array", "items": {"type": "string"}}
},
"required": ["persons", "organizations", "dates"]
}
}
}]
messages = [{"role": "user", "content": "Sophia Yang from Mistral presented "
"function calling on March 15, 2026."}]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any" # Pakota poiminta
)
# → extract_entities(persons=["Sophia Yang"],
# organizations=["Mistral"],
# dates=["March 15, 2026"])
Huomaa ohimennen required: se on synonyymi arvolle any, ja se on sisällytetty yhteensopivuuden vuoksi muiden rajapintojen kanssa kirjoitetun koodin kanssa. Molemmat arvot tuottavat saman käyttäytymisen; valitse se, joka tekee koodistasi luettavampaa, ja pidä kiinni siitä.
none — Poista työkalut käytöstä niitä poistamatta
Kolmas arvo vastaa vähemmän ilmeiseen tarpeeseen. Olet jo hakenut datasi useiden tool_calls-kutsujen kautta, ja nyt haluat mallin tiivistävän ne. Jos jatkat keskustelua auto-tilassa, mikään ei estä mallia kutsumasta funktiota uudelleen “varmuuden vuoksi”, mikä lisää viivettä ja voi laukaista äärettömän silmukan. none kieltää kaikki uudet kutsut pitäen kuitenkin työkalumääritykset kontekstissa, mikä auttaa mallia puhumaan tarkasti jo hallussaan olevasta datasta.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none"
)
Kolme käyttötapausta nousevat jatkuvasti esiin: yhteenvedon pyytäminen sarjan funktiokutsujen jälkeen, vastauksen uudelleenmuotoilu ilman uusien kutsujen laukaisemista ja kehitysvaiheen testaus siitä, miten malli käyttäytyy, kun siltä evätään sen työkalut, mikä paljastaa nopeasti kysymykset, joihin sen mielestä voi vastata muististaan.
# Haettua data tool_calls-kutsuilla...
# Pyydä yhteenveto ilman uusia kutsuja
messages.append({
"role": "user",
"content": "Tee yhteenveto kaikista löytämistäsi maksuista."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none" # Malli tekee yhteenvedon sillä, mitä sillä jo on
)
Säädä asetusta keskustelun aikana
Sinun ei tarvitse asettaa tool_choice-arvoa vain käynnistyksen yhteydessä. Tuotannossa on yleistä laskea se jokaisella vuorolla kontekstin perusteella: keskustelun ensimmäinen viesti, pyynnöstä havaittu intentio tai jo kulutettujen kutsujen määrä. Alla oleva funktio havainnollistaa tätä logiikkaa yksinkertaisimmassa muodossaan – malli pysyy vapaana oletuksena, paitsi kun käyttäjä pyytää nimenomaan yhteenvetoa.
def get_tool_choice(user_input: str, turn_count: int) -> str:
"""Määrittää tool_choice-arvon kontekstin perusteella."""
# Ensimmäinen vuoro: anna mallin päättää
if turn_count == 0:
return "auto"
# Jos käyttäjä pyytää nimenomaan yhteenvetoa
if any(word in user_input.lower() for word in ["summarize", "recap", "synthesis"]):
return "none"
# Oletus
return "auto"
Käytännössä pidä auto perusasetuksena: se on luontevin ja joustavin. Varaa any jäsenneltyjen datanpoimintaputkien käyttöön ja none hetkiin, jolloin sinun on estettävä äärettömät tool_call-silmukat. Yksi rajoite on ehdoton: älä koskaan muuta tool_choice-arvoa kesken tool_call-käsittelyn. Saata ensin sykli päätökseen palauttamalla kaikki odotetut tool-viestit, ja säädä parametria vasta seuraavalla vuorolla – muuten historia muuttuu epäjohdonmukaiseksi ja rajapinta hylkää pyynnön.
Keskeiset asiat
tool_choiceohjaa sitä, milloin malli käyttää funktioitaauto= malli päättää vapaasti (oletus, suositeltu chatboteille)any= malli pakotetaan kutsumaan työkalua (putket, jäsennelty poiminta)none= työkalut poistettu käytöstä (yhteenvedot, uudelleenmuotoilu)- Mukauta
tool_choicedynaamisesti keskustelun kontekstin perusteella