Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Opcije tool_choice

Lekcija 9 od 14 Ažurirano 29. srpnja 2026. Programer
Na ovoj stranici
  1. Tko donosi odluku?
  2. auto — Prepusti procjenu modelu
  3. any — Nametni strukturirani izlaz
  4. none — Onemogući alate bez njihovog uklanjanja
  5. Prilagodi postavku tijekom razgovora
  6. Ključne točke

Tko donosi odluku?

Prosljeđivanje parametra tools API-ju ne znači da model mora koristiti alate, niti da mu je to uopće dopušteno. Između ta dva ekstrema, parametar tool_choice djeluje kao arbitar. Ovisno o vrijednosti koju mu dodijeliš, modelu možeš prepustiti procjenu, prisiliti ga na strukturirani poziv ili mu potpuno oduzeti pristup alatima koje si upravo definirao. Riječ je o suptilnoj postavci koja radikalno mijenja ponašanje istog koda suočenog s istim pitanjem.

VrijednostPonašanjeSlučaj upotrebe
autoModel slobodno odlučuje hoće li koristiti alat ili odgovoriti tekstom. Ovo je zadani način rada.Konverzacijski asistenti, chatbotovi opće namjene
anyModel je prisiljen pozvati barem jedan alat. Ne može odgovoriti isključivo tekstom.Automatizirani pipelineovi, strukturirano izvlačenje podataka
noneModel ne može koristiti alate, čak i ako su definirani. Odgovara isključivo tekstom.Sažimanje rezultata bez novih poziva, preformuliranje odgovora
requiredSinonim za any. Model mora koristiti barem jedan alat.Ekvivalentno any, radi kompatibilnosti

auto — Prepusti procjenu modelu

Ovo je zadana vrijednost, ona koju koristiš ni ne shvaćajući to kada izostaviš parametar.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="auto"  # Opcionalno, ovo je zadana vrijednost
)

S postavkom auto, model prvo procijeni zahtjev prije djelovanja. Ako pitanje zahtijeva vanjske podatke koje ne posjeduje, pozvat će funkciju; ako je upit općenit ili relacijski, odgovorit će izravno tekstom. Upravo taj prekidač asistentu daje prirodan osjećaj: korisnik ne mora znati da se iza ekrana kriju alati.

# Model će pozvati funkciju
messages = [{"role": "user", "content": "Status plaćanja T1001?"}]
# → tool_call: retrieve_payment_status(transaction_id="T1001")

# Model će odgovoriti izravno
messages = [{"role": "user", "content": "Bok, kako si?"}]
# → content: "Bok! Ja sam asistent za plaćanja. Kako ti mogu pomoći?"

Drugi primjer zaslužuje pažnju: prisiljavanje poziva funkcije na jednostavan pozdrav rezultiralo bi pozivom retrieve_payment_status s izmišljenim ID-jem. Upravo to auto sprječava, zbog čega ovaj način rada ostaje najčešći u proizvodnji.

any — Nametni strukturirani izlaz

S druge strane, postoje konteksti u kojima ti slobodan tekst nema vrijednosti. Pipeline za unos koji obrađuje deset tisuća dokumenata očekuje upotrebljivi JSON, a ne ljubaznu rečenicu. S postavkom any, model mora pozvati barem jednu funkciju, čak i ako se čini da pitanje to ne zahtijeva.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="any"
)

Zanimljivo je da se najčešći slučaj upotrebe ovdje udaljava od izvorne namjene pozivanja funkcija: ne definiraš funkciju da bi je izvršio, već da bi zajamčio shemu izlaza. Ovdje se extract_entities nikada neće pozvati na strani poslužitelja; bitan je JSON ugovor.

# Strukturirano izvlačenje: prisili model na ekstrakciju podataka
tools = [{
    "type": "function",
    "function": {
        "name": "extract_entities",
        "description": "Extracts named entities from text",
        "parameters": {
            "type": "object",
            "properties": {
                "persons": {"type": "array", "items": {"type": "string"}},
                "organizations": {"type": "array", "items": {"type": "string"}},
                "dates": {"type": "array", "items": {"type": "string"}}
            },
            "required": ["persons", "organizations", "dates"]
        }
    }
}]

messages = [{"role": "user", "content": "Sophia Yang from Mistral presented "
            "function calling on March 15, 2026."}]

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="any"  # Prisili ekstrakciju
)

# → extract_entities(persons=["Sophia Yang"],
#                     organizations=["Mistral"],
#                     dates=["March 15, 2026"])

Usput spomenimo required: to je sinonim za any, uključen radi kompatibilnosti s kodom napisanim za druge API-je. Obje vrijednosti proizvode isto ponašanje; odaberi onu koja tvoj kod čini čitljivijim i drži se nje.

none — Onemogući alate bez njihovog uklanjanja

Treća vrijednost rješava manje očitu potrebu. Već si dohvatio podatke putem nekoliko tool_call poziva i sada želiš da ih model sažme. Ako nastaviš razgovor u načinu auto, ništa ne sprječava model da ponovno pozove funkciju „samo da provjeri“, što povećava kašnjenje i može potaknuti beskonačnu petlju. none zabranjuje sve nove pozive dok definicije alata zadržava u kontekstu, pomažući modelu da točno govori o podacima koje već ima.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="none"
)

Tri slučaja upotrebe stalno se pojavljuju: traženje sažetka nakon niza poziva funkcija, preformuliranje odgovora bez okidanja novih poziva i testiranje u razvoju kako se model ponaša kada je lišen svojih alata, što brzo otkriva pitanja za koja misli da može odgovoriti iz memorije.

# Nakon dohvaćanja podataka putem tool_calls...
# Zatraži sažetak bez novih poziva
messages.append({
    "role": "user",
    "content": "Sažmi informacije iz svih plaćanja koja si pronašao."
})

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="none"  # Model sažima ono što već ima
)

Prilagodi postavku tijekom razgovora

Ne moraš postaviti tool_choice samo jednom pri pokretanju. U proizvodnji je uobičajeno izračunavati ga u svakom koraku na temelju konteksta: prve poruke razgovora, namjere otkrivene u zahtjevu ili broja već izvršenih poziva. Donja funkcija ilustrira tu logiku u najjednostavnijem obliku — model ostaje slobodan prema zadanim postavkama, osim kada korisnik izričito zatraži sažetak.

def get_tool_choice(user_input: str, turn_count: int) -> str:
    """Određuje tool_choice na temelju konteksta."""

    # Prvi krug: prepusti odluku modelu
    if turn_count == 0:
        return "auto"

    # Ako korisnik izričito zatraži sažetak
    if any(word in user_input.lower() for word in ["summarize", "recap", "synthesis"]):
        return "none"

    # Zadano
    return "auto"

U praksi zadrži auto kao osnovnu postavku: to je najprirodniji i najfleksibilniji način. Rezerviraj any za pipelineove izvlačenja strukturiranih podataka, a none za trenutke kada moraš spriječiti beskonačne petlje tool_call poziva. Jedno ograničenje je apsolutno: nikada ne mijenjaj tool_choice usred obrade tool_call poziva. Prvo dovrši ciklus vraćanjem svih očekivanih poruka tipa tool, a zatim prilagodi parametar u sljedećem koraku — u suprotnom, povijest postaje nedosljedna i API će odbiti zahtjev.

Ključne točke

  • tool_choice kontrolira kada model koristi funkcije
  • auto = model slobodno odlučuje (zadano, preporučeno za chatbotove)
  • any = model je prisiljen pozvati alat (pipelineovi, strukturirana ekstrakcija)
  • none = alati su onemogućeni (sažeci, preformuliranja)
  • Dinamički prilagodi tool_choice na temelju konteksta razgovora