Opcije tool_choice
Na ovoj stranici
Tko donosi odluku?
Prosljeđivanje parametra tools API-ju ne znači da model mora koristiti alate, niti da mu je to uopće dopušteno. Između ta dva ekstrema, parametar tool_choice djeluje kao arbitar. Ovisno o vrijednosti koju mu dodijeliš, modelu možeš prepustiti procjenu, prisiliti ga na strukturirani poziv ili mu potpuno oduzeti pristup alatima koje si upravo definirao. Riječ je o suptilnoj postavci koja radikalno mijenja ponašanje istog koda suočenog s istim pitanjem.
| Vrijednost | Ponašanje | Slučaj upotrebe |
|---|---|---|
auto | Model slobodno odlučuje hoće li koristiti alat ili odgovoriti tekstom. Ovo je zadani način rada. | Konverzacijski asistenti, chatbotovi opće namjene |
any | Model je prisiljen pozvati barem jedan alat. Ne može odgovoriti isključivo tekstom. | Automatizirani pipelineovi, strukturirano izvlačenje podataka |
none | Model ne može koristiti alate, čak i ako su definirani. Odgovara isključivo tekstom. | Sažimanje rezultata bez novih poziva, preformuliranje odgovora |
required | Sinonim za any. Model mora koristiti barem jedan alat. | Ekvivalentno any, radi kompatibilnosti |
auto — Prepusti procjenu modelu
Ovo je zadana vrijednost, ona koju koristiš ni ne shvaćajući to kada izostaviš parametar.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="auto" # Opcionalno, ovo je zadana vrijednost
)
S postavkom auto, model prvo procijeni zahtjev prije djelovanja. Ako pitanje zahtijeva vanjske podatke koje ne posjeduje, pozvat će funkciju; ako je upit općenit ili relacijski, odgovorit će izravno tekstom. Upravo taj prekidač asistentu daje prirodan osjećaj: korisnik ne mora znati da se iza ekrana kriju alati.
# Model će pozvati funkciju
messages = [{"role": "user", "content": "Status plaćanja T1001?"}]
# → tool_call: retrieve_payment_status(transaction_id="T1001")
# Model će odgovoriti izravno
messages = [{"role": "user", "content": "Bok, kako si?"}]
# → content: "Bok! Ja sam asistent za plaćanja. Kako ti mogu pomoći?"
Drugi primjer zaslužuje pažnju: prisiljavanje poziva funkcije na jednostavan pozdrav rezultiralo bi pozivom retrieve_payment_status s izmišljenim ID-jem. Upravo to auto sprječava, zbog čega ovaj način rada ostaje najčešći u proizvodnji.
any — Nametni strukturirani izlaz
S druge strane, postoje konteksti u kojima ti slobodan tekst nema vrijednosti. Pipeline za unos koji obrađuje deset tisuća dokumenata očekuje upotrebljivi JSON, a ne ljubaznu rečenicu. S postavkom any, model mora pozvati barem jednu funkciju, čak i ako se čini da pitanje to ne zahtijeva.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any"
)
Zanimljivo je da se najčešći slučaj upotrebe ovdje udaljava od izvorne namjene pozivanja funkcija: ne definiraš funkciju da bi je izvršio, već da bi zajamčio shemu izlaza. Ovdje se extract_entities nikada neće pozvati na strani poslužitelja; bitan je JSON ugovor.
# Strukturirano izvlačenje: prisili model na ekstrakciju podataka
tools = [{
"type": "function",
"function": {
"name": "extract_entities",
"description": "Extracts named entities from text",
"parameters": {
"type": "object",
"properties": {
"persons": {"type": "array", "items": {"type": "string"}},
"organizations": {"type": "array", "items": {"type": "string"}},
"dates": {"type": "array", "items": {"type": "string"}}
},
"required": ["persons", "organizations", "dates"]
}
}
}]
messages = [{"role": "user", "content": "Sophia Yang from Mistral presented "
"function calling on March 15, 2026."}]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any" # Prisili ekstrakciju
)
# → extract_entities(persons=["Sophia Yang"],
# organizations=["Mistral"],
# dates=["March 15, 2026"])
Usput spomenimo required: to je sinonim za any, uključen radi kompatibilnosti s kodom napisanim za druge API-je. Obje vrijednosti proizvode isto ponašanje; odaberi onu koja tvoj kod čini čitljivijim i drži se nje.
none — Onemogući alate bez njihovog uklanjanja
Treća vrijednost rješava manje očitu potrebu. Već si dohvatio podatke putem nekoliko tool_call poziva i sada želiš da ih model sažme. Ako nastaviš razgovor u načinu auto, ništa ne sprječava model da ponovno pozove funkciju „samo da provjeri“, što povećava kašnjenje i može potaknuti beskonačnu petlju. none zabranjuje sve nove pozive dok definicije alata zadržava u kontekstu, pomažući modelu da točno govori o podacima koje već ima.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none"
)
Tri slučaja upotrebe stalno se pojavljuju: traženje sažetka nakon niza poziva funkcija, preformuliranje odgovora bez okidanja novih poziva i testiranje u razvoju kako se model ponaša kada je lišen svojih alata, što brzo otkriva pitanja za koja misli da može odgovoriti iz memorije.
# Nakon dohvaćanja podataka putem tool_calls...
# Zatraži sažetak bez novih poziva
messages.append({
"role": "user",
"content": "Sažmi informacije iz svih plaćanja koja si pronašao."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none" # Model sažima ono što već ima
)
Prilagodi postavku tijekom razgovora
Ne moraš postaviti tool_choice samo jednom pri pokretanju. U proizvodnji je uobičajeno izračunavati ga u svakom koraku na temelju konteksta: prve poruke razgovora, namjere otkrivene u zahtjevu ili broja već izvršenih poziva. Donja funkcija ilustrira tu logiku u najjednostavnijem obliku — model ostaje slobodan prema zadanim postavkama, osim kada korisnik izričito zatraži sažetak.
def get_tool_choice(user_input: str, turn_count: int) -> str:
"""Određuje tool_choice na temelju konteksta."""
# Prvi krug: prepusti odluku modelu
if turn_count == 0:
return "auto"
# Ako korisnik izričito zatraži sažetak
if any(word in user_input.lower() for word in ["summarize", "recap", "synthesis"]):
return "none"
# Zadano
return "auto"
U praksi zadrži auto kao osnovnu postavku: to je najprirodniji i najfleksibilniji način. Rezerviraj any za pipelineove izvlačenja strukturiranih podataka, a none za trenutke kada moraš spriječiti beskonačne petlje tool_call poziva. Jedno ograničenje je apsolutno: nikada ne mijenjaj tool_choice usred obrade tool_call poziva. Prvo dovrši ciklus vraćanjem svih očekivanih poruka tipa tool, a zatim prilagodi parametar u sljedećem koraku — u suprotnom, povijest postaje nedosljedna i API će odbiti zahtjev.
Ključne točke
tool_choicekontrolira kada model koristi funkcijeauto= model slobodno odlučuje (zadano, preporučeno za chatbotove)any= model je prisiljen pozvati alat (pipelineovi, strukturirana ekstrakcija)none= alati su onemogućeni (sažeci, preformuliranja)- Dinamički prilagodi
tool_choicena temelju konteksta razgovora