Ακολουθίες διακοπής
Σε αυτήν τη σελίδα
Διακοπή της παραγωγής τη σωστή στιγμή
Εξ ορισμού, το μοντέλο σταματά μόνο για δύο λόγους: αποφασίζει ότι ολοκλήρωσε την απάντησή του και εκπέμπει το token τέλους, ή φτάνει στο ανώτατο όριο των max_tokens. Αυτά τα δύο κριτήρια δεν καλύπτουν κάθε περίπτωση χρήσης. Μερικές φορές θέλετε η παραγωγή να σταματά σε ένα σημείο που γνωρίζετε μόνο εσείς—ακριβώς πριν από την επόμενη ενότητα ενός εγγράφου, αμέσως μετά το κλείσιμο ενός μπλοκ JSON, ή μόλις το μοντέλο αρχίσει να προσθέτει σχόλια που δεν χρειάζεστε.
Οι ακολουθίες διακοπής (stop sequences) προσθέτουν αυτό το τρίτο κριτήριο: μόλις το μοντέλο παράγει μια ακολουθία κειμένου που έχετε ορίσει, η παραγωγή διακόπτεται αμέσως. Θεωρήστε το ως ένα εργαλείο ακριβούς κοπής, το φυσικό συμπλήρωμα των οδηγιών μορφοποίησης στο μήνυμα συστήματός σας, τις οποίες το μοντέλο ακολουθεί καλά αλλά όχι πάντα τέλεια.
Πώς λειτουργεί η παράμετρος stop
Η παράμετρος δέχεται μια λίστα από συμβολοσειρές. Η πρώτη που εμφανίζεται στην έξοδο τερματίζει την παραγωγή:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the 10 largest cities in France."}
],
stop=["6."] # Stop after the first 5
)
print(response.choices[0].message.content)
# 1. Paris
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice
Δύο συμπεριφορές ξεχωρίζουν σε αυτό το παράδειγμα. Η ακολουθία διακοπής δεν περιλαμβάνεται στην απάντηση: λαμβάνετε το κείμενο που προηγείται αυτής, χωρίς να χρειάζεται κανένας καθαρισμός από την πλευρά σας. Επιπλέον, το finish_reason είναι "stop", ακριβώς όπως σε μια φυσική διακοπή· το API δεν κάνει διάκριση μεταξύ των δύο, οπότε εναπόκειται σε εσάς να θυμάστε τι ζητήσατε.
Τρεις τυπικές περιπτώσεις χρήσης
Η πρώτη περίπτωση αφορά το μοντέλο που είναι υπερβολικά ομιλητικό. Ζητάτε το όνομα μιας πρωτεύουσας και αυτό σας δίνει την πρωτεύουσα συν τρεις προτάσεις εξήγησης που η διεπαφή σας δεν περίμενε. Το prompt συστήματος ορίζει την πρόθεση· οι ακολουθίες διακοπής την επιβάλλουν:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer with only the city name, nothing else."
},
{
"role": "user",
"content": "What is the capital of Italy?"
}
],
stop=["\n", ".", "Explanation"] # Stop at the first newline or period
)
print(response.choices[0].message.content.strip())
# Rome
Η δεύτερη περίπτωση καλύπτει τη δημιουργία εγγράφων ενότητα προς ενότητα, όταν θέλετε να διατηρήσετε τον έλεγχο μεταξύ των μερών αντί να αφήνετε το μοντέλο να παράγει ολόκληρη την αναφορά με τη μία. Σταματάτε στους οριοθέτες που σηματοδοτούν τι ακολουθεί:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Write the Introduction section of a report."
},
{
"role": "user",
"content": "Topic: the impact of AI on employment in Europe."
}
],
stop=["## ", "---", "Conclusion"] # Stop before the next section
)
Η τρίτη περίπτωση είναι η πιο οικονομική στην πράξη: η εξαγωγή usable JSON χωρίς βήμα καθαρισμού. Τα μοντέλα τείνουν να τυλίγουν την έξοδό τους σε επεξηγηματικό κείμενο, κάτι που σπάει το json.loads()· η κοπή σε διπλό newline ή τριπλά backticks εξαλείφει το πρόβλημα στην πηγή του.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Respond only with valid JSON."
},
{
"role": "user",
"content": "Give me info for Paris: population, country, time zone."
}
],
stop=["\n\n", "```"] # Stop after the JSON block
)
Συνδυασμός ακολουθιών διακοπής και streaming
Τίποτα δεν σας εμποδίζει να συνδυάσετε και τους δύο μηχανισμούς: η ροή (stream) σταματά μόλις εντοπιστεί μία από τις ακολουθίες διακοπής στο παραγόμενο κείμενο και τα chunks που έχετε ήδη λάβει παραμένουν έγκυρα.
stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Tell a short story."}
],
stop=["Fin.", "THE END", "---"]
)
full_text = ""
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_text += content
print(content, end="", flush=True)
print(f"\n\nText: {len(full_text)} characters")
Περιορισμοί του μηχανισμού
Τέσσερις περιορισμοί διέπουν τη χρήση της παραμέτρου stop. Μπορείτε να παρέχετε το πολύ τέσσερις ακολουθίες ανά αίτημα, γεγονός που σας αναγκάζει να επιλέξετε τις πιο διακριτικές αντί να τις σωρεύετε. Είναι ευαίσθητες σε πεζά/κεφαλαία (case-sensitive): το "end" δεν θα πιάσει ποτέ το "End", οπότε πρέπει να λάβετε υπόψη τις παραλλαγές που έχουν σημασία. Η ακολουθία δεν περιλαμβάνεται ποτέ στην απάντηση, κάτι που έχει σημασία αν η αναμενόμενη μορφή σας τελειώνει με αυτόν τον οριοθέτη. Τέλος, η ανίχνευση γίνεται token προς token: αν η ακολουθία σας πέσει στη μέση ενός token, περνά απαρατήρητη—άλλος ένας λόγος να επιλέγετε οριοθέτες πολλών χαρακτήρων αντί για ένα μόνο σύμβολο.
Πολυδάπανα λάθη
Το πιο συχνό σφάλμα είναι μια ακολουθία που είναι πολύ σύντομη, προκαλώντας πρόωρες διακοπές. Μια μεμονωμένη τελεία σταματά την παραγωγή στην πρώτη πρόταση που βλέπει, ακόμη και στη μέση μιας συντομογραφίας· το συμμετρικό λάθος είναι η επιλογή μιας συμβολοσειράς που το μοντέλο δεν θα παράγει ποτέ, οπότε η παράμετρος δεν κάνει τίποτα και εσείς πιστεύετε λανθασμένα ότι έχετε ορίσει μια δικλείδα ασφαλείας.
# BAD: sequence too short, premature stops
stop=["."] # Stops at every sentence!
# GOOD: context-specific sequence
stop=[".\n\n"] # Stops after a period followed by a double newline
# BAD: sequence the model will never produce
stop=["XYZZY"] # Has no effect
# GOOD: realistic sequence based on expected format
stop=["Next question:", "---"]
Ο κανόνας που προκύπτει από αυτές τις τέσσερις γραμμές είναι απλός: μια καλή ακολουθία διακοπής προέρχεται από τη μορφή που ζητήσατε από το μοντέλο να χρησιμοποιήσει, ποτέ από τη φαντασία σας.
Πλήρες παράδειγμα: ελεγχόμενο Q&A
Ας συναρμολογήσουμε αυτά τα στοιχεία σε μια σύντομη συνάρτηση ερώτησης-απάντησης, όπου η χαμηλή θερμοκρασία εξασφαλίζει σταθερότητα στα γεγονότα, το max_tokens ορίζει ένα ανώτατο όριο ασφαλείας και οι ακολουθίες διακοπής κόβουν τα σχόλια που το μοντέλο θα μπορούσε να πειραστεί να προσθέσει μετά την απάντησή του:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
def ask_single_question(question: str) -> str:
"""Ask a question and get a concise answer without chatter."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer in a single sentence, directly and factually."
},
{"role": "user", "content": question}
],
max_tokens=100,
stop=["\n\n", "Remark:", "Note:"],
temperature=0.1
)
return response.choices[0].message.content.strip()
# Test
questions = [
"What is the speed of light?",
"Who invented the telephone?",
"How many planets are in the solar system?"
]
for q in questions:
print(f"Q: {q}")
print(f"A: {ask_single_question(q)}\n")
Εκτελέστε αυτό το script μία φορά ως έχει και μετά μια δεύτερη φορά αφαιρώντας την παράμετρο stop: η σύγκριση των δύο εξόδων σας δείχνει ακριβώς τι φιλτράρουν αυτές οι τρεις ακολουθίες.
Βασικά σημεία
- Οι ακολουθίες διακοπής τερματίζουν την παραγωγή όταν το μοντέλο παράγει συγκεκριμένο κείμενο
- Μέγιστο 4 ακολουθίες ανά αίτημα· ευαίσθητες σε πεζά/κεφαλαία
- Η ακολουθία διακοπής δεν περιλαμβάνεται ποτέ στην απάντηση
- Χρησιμοποιήστε ακολουθίες αρκετά συγκεκριμένες για να αποφύγετε πρόωρες διακοπές
- Συμβατές με το streaming και όλες τις άλλες παραμέτρους