Επιλογές tool_choice
Σε αυτήν τη σελίδα
Ποιος Αποφασίζει;
Το γεγονός ότι περνάτε το tools στο API δεν σημαίνει ότι το μοντέλο πρέπει υποχρεωτικά να το χρησιμοποιήσει, ούτε καν ότι του επιτρέπεται. Ανάμεσα σε αυτές τις δύο ακραίες καταστάσεις, η παράμετρος tool_choice λειτουργεί ως διαιτητής. Ανάλογα με την τιμή που θα της αναθέσετε, μπορείτε είτε να αφήσετε το μοντέλο ελεύθερο να κρίνει, είτε να το αναγκάσετε να παράγει μια δομημένη κλήση, είτε να του αφαιρέσετε πλήρως την πρόσβαση στα εργαλεία που μόλις δηλώσατε. Πρόκειται για μια λεπτή ρύθμιση, η οποία όμως αλλάζει ριζικά τη συμπεριφορά του ίδιου κώδικα όταν αντιμετωπίζει την ίδια ερώτηση.
| Τιμή | Συμπεριφορά | Περίπτωση Χρήσης |
|---|---|---|
auto | Το μοντέλο αποφασίζει ελεύθερα αν θα χρησιμοποιήσει ένα εργαλείο ή αν θα απαντήσει με κείμενο. Αυτή είναι η προεπιλεγμένη λειτουργία. | Συνομιλιακοί βοηθοί, chatbots γενικής χρήσης |
any | Το μοντέλο αναγκάζεται να καλέσει τουλάχιστον ένα εργαλείο. Δεν μπορεί να απαντήσει μόνο με κείμενο. | Αυτοματοποιημένες ροές εργασίας, δομημένη εξαγωγή δεδομένων |
none | Το μοντέλο δεν μπορεί να χρησιμοποιήσει εργαλεία, ακόμα και αν έχουν οριστεί. Απαντά αποκλειστικά με κείμενο. | Σύνοψη αποτελεσμάτων χωρίς νέες κλήσεις, διατύπωση εκ νέου μιας απάντησης |
required | Συνώνυμο του any. Το μοντέλο πρέπει να χρησιμοποιήσει τουλάχιστον ένα εργαλείο. | Ισοδύναμο με το any, για λόγους συμβατότητας |
auto — Αφήστε το Μοντέλο να Κρίνει
Αυτή είναι η προεπιλεγμένη τιμή, αυτή που χρησιμοποιείτε χωρίς να το συνειδητοποιείτε κάθε φορά που παραλείπετε την παράμετρο.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="auto" # Προαιρετικό, αυτή είναι η προεπιλεγμένη τιμή
)
Με το auto, το μοντέλο αξιολογεί το αίτημα πριν δράσει. Αν η ερώτηση απαιτεί εξωτερικά δεδομένα που δεν διαθέτει, καλεί μια συνάρτηση· αν το ερώτημα είναι γενικό ή σχετίζεται με τη συνομιλία, απαντά απευθείας με κείμενο. Αυτός ο διακόπτης είναι που κάνει έναν βοηθό να φαίνεται φυσικός: ο χρήστης δεν χρειάζεται να γνωρίζει ότι υπάρχουν εργαλεία πίσω από την οθόνη.
# Το μοντέλο θα καλέσει μια συνάρτηση
messages = [{"role": "user", "content": "Κατάσταση πληρωμής T1001;"}]
# → tool_call: retrieve_payment_status(transaction_id="T1001")
# Το μοντέλο θα απαντήσει απευθείας
messages = [{"role": "user", "content": "Γεια, πώς είσαι;"}]
# → content: "Γεια! Είμαι ένας βοηθός πληρωμών. Πώς μπορώ να σας βοηθήσω;"
Το δεύτερο παράδειγμα αξίζει προσοχής: η επιβολή κλήσης συνάρτησης σε έναν απλό χαιρετισμό θα παρήγαγε ένα retrieve_payment_status με ένα πλασματικό ID. Αυτό ακριβώς αποτρέπει το auto, γι’ αυτό και αυτή η λειτουργία παραμένει η πιο συνηθισμένη σε περιβάλλοντα παραγωγής.
any — Επιβολή Δομημένης Εξόδου
Αντιθέτως, υπάρχουν πλαίσια όπου το ελεύθερο κείμενο δεν έχει καμία αξία για εσάς. Μια ροή εισαγωγής δεδομένων που επεξεργάζεται δέκα χιλιάδες έγγραφα αναμένει usable JSON, όχι μια ευγενική πρόταση. Με το any, το μοντέλο πρέπει να καλέσει τουλάχιστον μία συνάρτηση, ακόμα και αν η ερώτηση δεν φαίνεται να το απαιτεί.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any"
)
Αξίζει να σημειωθεί ότι η πιο συχνή περίπτωση χρήσης επαναπροσδιορίζει την κλήση συναρτήσεων από τον αρχικό της σκοπό: δεν δηλώνετε μια συνάρτηση για να την εκτελέσετε, αλλά για να εγγυηθείτε ένα σχήμα εξόδου. Εδώ, το extract_entities δεν θα κληθεί ποτέ στην πλευρά του διακομιστή· αυτό που μας ενδιαφέρει είναι η σύμβαση JSON.
# Δομημένη εξαγωγή: αναγκάστε το μοντέλο να εξάγει δεδομένα
tools = [{
"type": "function",
"function": {
"name": "extract_entities",
"description": "Εξάγει ονομαστικές οντότητες από κείμενο",
"parameters": {
"type": "object",
"properties": {
"persons": {"type": "array", "items": {"type": "string"}},
"organizations": {"type": "array", "items": {"type": "string"}},
"dates": {"type": "array", "items": {"type": "string"}}
},
"required": ["persons", "organizations", "dates"]
}
}
}]
messages = [{"role": "user", "content": "Η Sophia Yang από τη Mistral παρουσίασε "
"την κλήση συναρτήσεων στις 15 Μαρτίου 2026."}]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any" # Επιβολή εξαγωγής
)
# → extract_entities(persons=["Sophia Yang"],
# organizations=["Mistral"],
# dates=["15 Μαρτίου 2026"])
Σημειώστε εν παρόδω το required: είναι συνώνυμο του any και περιλαμβάνεται για συμβατότητα με κώδικα γραμμένο για άλλα API. Και οι δύο τιμές παράγουν την ίδια συμπεριφορά· επιλέξτε αυτή που κάνει τον κώδικά σας πιο ευανάγνωστο και μείνετε σε αυτήν.
none — Απενεργοποίηση Εργαλείων Χωρίς Κατάργησή τους
Η τρίτη τιμή καλύπτει μια λιγότερο προφανή ανάγκη. Έχετε ήδη ανακτήσει τα δεδομένα σας μέσω several tool_calls και τώρα θέλετε το μοντέλο να τα συνθέσει. Αν συνεχίσετε τη συνομιλία σε λειτουργία auto, τίποτα δεν εμποδίζει το μοντέλο να καλέσει ξανά μια συνάρτηση «για επιβεβαίωση», γεγονός που αυξάνει τον χρόνο απόκρισης (latency) και μπορεί να προκαλέσει έναν ατέρμονο βρόχο. Το none απαγορεύει οποιεσδήποτε νέες κλήσεις διατηρώντας παράλληλα τους ορισμούς των εργαλείων στο πλαίσιο, βοηθώντας το μοντέλο να μιλήσει με ακρίβεια για τα δεδομένα που ήδη διαθέτει.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none"
)
Τρεις περιπτώσεις χρήσης εμφανίζονται συνεχώς: η αίτηση σύνοψης μετά από μια σειρά κλήσεων συναρτήσεων, η διατύπωση εκ νέου μιας απάντησης χωρίς την ενεργοποίηση νέων κλήσεων και η δοκιμή κατά την ανάπτυξη του τρόπου με τον οποίο συμπεριφέρεται το μοντέλο όταν στερείται τα εργαλεία του, κάτι που αποκαλύπτει γρήγορα ερωτήσεις που πιστεύει ότι μπορεί να απαντήσει από τη μνήμη του.
# Μετά την ανάκτηση δεδομένων μέσω tool_calls...
# Αίτηση σύνοψης χωρίς νέες κλήσεις
messages.append({
"role": "user",
"content": "Σύνοψε τις πληροφορίες από όλες τις πληρωμές που βρήκες."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none" # Το μοντέλο συνοψίζει με ό,τι ήδη διαθέτει
)
Προσαρμογή της Ρύθμισης Κατά τη Διάρκεια της Συνομιλίας
Δεν χρειάζεται να ορίσετε το tool_choice μία φορά κατά την εκκίνηση. Στην παραγωγή, είναι σύνηθες να το υπολογίζετε σε κάθε βήμα με βάση το πλαίσιο: το πρώτο μήνυμα της συνομιλίας, η πρόθεση που ανιχνεύεται στο αίτημα ή ο αριθμός των κλήσεων που έχουν ήδη πραγματοποιηθεί. Η παρακάτω συνάρτηση απεικονίζει αυτή τη λογική στην απλούστερη μορφή της—το μοντέλο παραμένει ελεύθερο από προεπιλογή, εκτός εάν ο χρήστης ζητήσει ρητά μια σύνοψη.
def get_tool_choice(user_input: str, turn_count: int) -> str:
"""Καθορίζει το tool_choice με βάση το πλαίσιο."""
# Πρώτος γύρος: αφήστε το μοντέλο να αποφασίσει
if turn_count == 0:
return "auto"
# Αν ο χρήστης ζητήσει ρητά μια σύνοψη
if any(word in user_input.lower() for word in ["summarize", "recap", "synthesis"]):
return "none"
# Προεπιλογή
return "auto"
Πρακτικά, κρατήστε το auto ως βασική σας ρύθμιση: είναι η πιο φυσική και ευέλικτη. Κρατήστε το any για ροές εργασίας δομημένης εξαγωγής δεδομένων και το none για στιγμές κατά τις οποίες πρέπει να αποτρέψετε ατέρμονους βρόχους tool_call. Ένας περιορισμός είναι απόλυτος: μην αλλάζετε ποτέ το tool_choice στη μέση της επεξεργασίας ενός tool_call. Ολοκληρώστε πρώτα τον κύκλο επιστρέφοντας όλα τα αναμενόμενα μηνύματα tool και, στη συνέχεια, προσαρμόστε την παράμετρο στον επόμενο γύρο· διαφορετικά, το ιστορικό γίνεται ασυνεπές και το API απορρίπτει το αίτημα.
Βασικά σημεία
- Το
tool_choiceελέγχει πότε το μοντέλο χρησιμοποιεί συναρτήσεις auto= το μοντέλο αποφασίζει ελεύθερα (προεπιλογή, συνιστάται για chatbots)any= το μοντέλο αναγκάζεται να καλέσει ένα εργαλείο (ροές εργασίας, δομημένη εξαγωγή)none= τα εργαλεία είναι απενεργοποιημένα (συνοψίσεις, διατύπωση εκ νέου)- Προσαρμόστε δυναμικά το
tool_choiceμε βάση το πλαίσιο της συνομιλίας