A tool_choice beállításai
Ezen az oldalon
Ki dönt a döntésről?
A tools paraméter átadása az API-nak nem jelenti automatikusan, hogy a modellnek használnia kell azokat, vagy akár hogy engedélyezett is számára a használatuk. E két véglet között a tool_choice paraméter működik döntőbíróként. A megadott értéktől függően vagy szabad kezet adsz a modellnek a döntésben, vagy kikényszeríted tőle a strukturált hívást, esetleg teljesen megvonod tőle a hozzáférést az imént deklarált eszközökhöz. Ez egy finomhangolási beállítás, amely gyökeresen megváltoztatja, hogyan viselkedik ugyanaz a kód ugyanarra a kérdésre válaszolva.
| Érték | Viselkedés | Felhasználási eset |
|---|---|---|
auto | A modell szabadon eldönti, hogy használjon-e eszközt, vagy szöveges választ adjon. Ez az alapértelmezett mód. | Beszélgető asszisztensek, általános célú chatbotok |
any | A modellt legalább egy eszköz hívására kényszerítjük. Nem válaszolhat kizárólag szöveggel. | Automatizált folyamatok, strukturált adatok kinyerése |
none | A modell nem használhat eszközöket, még akkor sem, ha azok definiálva vannak. Kizárólag szöveges választ ad. | Eredmények összefoglalása új hívások nélkül, válasz átfogalmazása |
required | Az any szinonimája. A modellnek legalább egy eszközt használnia kell. | Az any-nel egyenértékű, kompatibilitási célokra |
auto — Hagyd dönteni a modellt
Ez az alapértelmezett érték, amelyet akkor is használsz, ha nem tudsz róla, amikor elhagyod a paramétert.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="auto" # Opcionális, ez az alapértelmezett érték
)
Az auto beállítással a modell cselekvés előtt kiértékeli a kérést. Ha a kérdés olyan külső adatot igényel, amellyel nem rendelkezik, meghív egy függvényt; ha a lekérdezés általános vagy relációs jellegű, közvetlenül szövegesen válaszol. Ez a kapcsoló teszi természetessé az asszisztenst: a felhasználónak nem kell tudnia, hogy eszközök dolgoznak a háttérben.
# A modell hívni fog egy függvényt
messages = [{"role": "user", "content": "Mi a T1001-es fizetés státusza?"}]
# → tool_call: retrieve_payment_status(transaction_id="T1001")
# A modell közvetlenül válaszol
messages = [{"role": "user", "content": "Szia, hogy vagy?"}]
# → content: "Szia! Fizetési asszisztens vagyok. Miben segíthetek?"
A második példa figyelmet érdemel: ha egy egyszerű köszönésre rákényszerítenénk a függvényhívást, a modell egy kitalált azonosítóval hozna létre egy retrieve_payment_status hívást. Pont ezt előzi meg az auto mód, ezért marad ez a leggyakoribb választás éles környezetben.
any — Strukturált kimenet kikényszerítése
Ezzel szemben vannak olyan helyzetek, ahol a szabad formátumú szöveg számodra értéktelen. Egy tízezer dokumentumot feldolgozó betáplálási folyamat (pipeline) használható JSON-t vár, nem pedig egy udvarias mondatot. Az any beállítással a modellnek muszáj legalább egy függvényt meghívnia, még akkor is, ha a kérdés látszólag nem igényli ezt.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any"
)
Érdekes módon a leggyakoribb felhasználási eset eltér a függvényhívás eredeti szándékától: nem azért deklarálsz egy függvényt, hogy végrehajtsd, hanem hogy garantáld a kimeneti sémát. Itt az extract_entities sosem fut le a szerver oldalon; nekünk maga a JSON-szerződés a fontos.
# Strukturált kinyerés: kényszerítsd ki az adatok kinyerését a modellből
tools = [{
"type": "function",
"function": {
"name": "extract_entities",
"description": "Nevű entitások kinyerése szövegből",
"parameters": {
"type": "object",
"properties": {
"persons": {"type": "array", "items": {"type": "string"}},
"organizations": {"type": "array", "items": {"type": "string"}},
"dates": {"type": "array", "items": {"type": "string"}}
},
"required": ["persons", "organizations", "dates"]
}
}
}]
messages = [{"role": "user", "content": "Sophia Yang a Mistraltól 2026. "
"március 15-én tartott előadást a függvényhívásról."}]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any" # Kinyerés kikényszerítése
)
# → extract_entities(persons=["Sophia Yang"],
# organizations=["Mistral"],
# dates=["2026. március 15."])
Jegyezzük meg mellékesen a required értéket: ez az any szinonimája, amelyet más API-khoz írt kódokkal való kompatibilitás miatt vezettek be. Mindkét érték ugyanazt a viselkedést produkálja; válaszd azt, amelyiktől a kódod olvashatóbb lesz, és tartsd is magad hozzá.
none — Eszközök letiltása eltávolításuk nélkül
A harmadik érték egy kevésbé nyilvánvaló igényt kezel. Már megszerezted az adataidat több tool_call révén, és most azt szeretnéd, ha a modell szintetizálná azokat. Ha auto módban folytatnád a beszélgetést, semmi sem akadályozná meg a modellt abban, hogy „csak az ellenőrzés kedvéért“ újra meghívjon egy függvényt, ami növeli a késleltetést, és végtelen ciklust is indíthat. A none megtilt minden új hívást, miközben benntartja az eszközdefiníciókat a kontextusban, segítve a modellt abban, hogy pontosan beszéljen a már birtokolt adatokról.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none"
)
Három felhasználási eset fordul elő folyamatosan: összefoglaló kérése függvényhívások sorozata után, válasz átfogalmazása új hívások triggerelése nélkül, valamint fejlesztés közbeni tesztelés annak vizsgálatára, hogyan viselkedik a modell, ha megfosztják eszközeitől – ez gyorsan felfedi azokat a kérdéseket, amelyekre a modell azt hiszi, hogy memóriából tud válaszolni.
# Miután az adatokat tool_call-ok révén megszereztük...
# Összefoglaló kérése új hívások nélkül
messages.append({
"role": "user",
"content": "Foglald össze az összes megtalált fizetésből származó információt."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none" # A modell a már meglévő adatok alapján foglal össze
)
A beállítás igazítása a beszélgetés során
Nem kell a tool_choice értéket egyszer, a startup során rögzítened. Éles környezetben gyakori, hogy minden körben a kontextus alapján számítjuk ki ezt az értéket: a beszélgetés első üzenete, a kérésben észlelt szándék vagy a már felhasznált hívások száma alapján. Az alábbi függvény ezt a logikát illusztrálja legegyszerűbb formájában – a modell alapértelmezetten szabadon dönt, kivéve, ha a felhasználó kifejezetten összefoglalót kér.
def get_tool_choice(user_input: str, turn_count: int) -> str:
"""Meghatározza a tool_choice értékét a kontextus alapján."""
# Első kör: hadd döntsön a modell
if turn_count == 0:
return "auto"
# Ha a felhasználó kifejezetten összefoglalót kér
if any(word in user_input.lower() for word in ["summarize", "recap", "synthesis"]):
return "none"
# Alapértelmezett
return "auto"
A gyakorlatban tartsd meg az auto beállítást alapvető konfigurációként: ez a legtermészetesebb és legrugalmasabb. Az any-t tartsd fenn strukturált adatok kinyerésére szolgáló folyamatokhoz, a none-ot pedig azokhoz a pillanatokhoz, amikor meg kell akadályoznod a végtelen tool_call ciklusokat. Egy korlátozás abszolút érvényű: soha ne változtasd meg a tool_choice értékét egy tool_call feldolgozása közben. Először fejezd be a ciklust az összes várt tool üzenet visszaküldésével, majd csak a következő körben állítsd át a paramétert – ellenkező esetben a történet inkonzisztenssé válik, és az API elutasítja a kérést.
Főbb megállapítások
- A
tool_choiceszabályozza, mikor használ a modell függvényeket auto= a modell szabadon dönt (alapértelmezett, chatbotokhoz ajánlott)any= a modellt eszközhasználatra kényszerítjük (folyamatok, strukturált kinyerés)none= az eszközök letiltva (összefoglalók, átfogalmazás)- Igazítsd dinamikusan a
tool_choiceértékét a beszélgetés kontextusa alapján