Последователности за спиране
На тази страница
Спиране на генерирането в правилния момент
По подразбиране моделът спира само по две причини: решава, че е приключил отговора си и издава своя краен токен, или достига тавана на max_tokens. Тези два критерия не покриват всеки случай на употреба. Понякога искате генерирането да спре в момент, който само Вие знаете – точно преди следващата секция на документ, веднага след затварянето на JSON блок или щом моделът започне да добавя коментари, от които нямате нужда.
Последователностите за спиране добавят този трети критерий: щом моделът произведе текстовата последователност, която сте определили, генерирането спира незабавно. Мислете за това като за прецизен инструмент за рязане, естественото допълнение към инструкциите за форматиране във Вашето системно съобщение, които моделът следва добре, но не винаги перфектно.
Как работи параметърът stop
Параметърът приема списък от низове. Първият, който се появи в изхода, прекратява генерирането:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the 10 largest cities in France."}
],
stop=["6."] # Stop after the first 5
)
print(response.choices[0].message.content)
# 1. Paris
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice
Две поведения изпъкват в този пример. Последователността за спиране не е включена в отговора: получавате текста, който ѝ предхожда, без да е необходимо почистване от Ваша страна. И finish_reason е "stop", точно както при естествено спиране – API не прави разлика между двете, така че е Ваша отговорност да помните какво сте поискали.
Три типични случая на употреба
Първият случай се занимава с бъбривия модел. Питате за столица, а той Ви дава столицата плюс три изречения обяснение, които Вашият интерфейс не е очаквал. Системният промпт задава намерението; последователностите за спиране го налагат:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer with only the city name, nothing else."
},
{
"role": "user",
"content": "What is the capital of Italy?"
}
],
stop=["\n", ".", "Explanation"] # Stop at the first newline or period
)
print(response.choices[0].message.content.strip())
# Rome
Вторият случай обхваща генерирането на документи секция по секция, когато искате да запазите контрол между частите, вместо да оставяте модела да произведе целия доклад наведнъж. Спирате на разделителите, които сигнализират какво следва:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Write the Introduction section of a report."
},
{
"role": "user",
"content": "Topic: the impact of AI on employment in Europe."
}
],
stop=["## ", "---", "Conclusion"] # Stop before the next section
)
Третият случай е най-рентабилен на практика: извличане на използваем JSON без стъпка на почистване. Моделите имат тенденция да обгръщат изхода си с обяснителен текст, което нарушава json.loads(); рязането при двоен нов ред или тройни обратни кавички елиминира проблема в източника.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Respond only with valid JSON."
},
{
"role": "user",
"content": "Give me info for Paris: population, country, time zone."
}
],
stop=["\n\n", "```"] # Stop after the JSON block
)
Комбиниране на последователности за спиране и стрийминг
Нищо не Ви пречи да комбинирате двата механизма: потокът спира веднага щом една от последователностите за спиране бъде открита в генерирания текст, а чънковете, които вече сте получили, остават валидни.
stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Tell a short story."}
],
stop=["Fin.", "THE END", "---"]
)
full_text = ""
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_text += content
print(content, end="", flush=True)
print(f"\n\nText: {len(full_text)} characters")
Ограничения на механизма
Четири ограничения управляват използването на параметъра stop. Можете да предоставите най-много четири последователности на заявка, което Ви принуждава да изберете най-разграничителните, вместо да ги натрупвате. Те са чувствителни към регистъра: "end" никога няма да хване "End", така че трябва да вземете предвид вариантите, които имат значение. Последователността никога не се включва в отговора, което има значение, ако очакваният от Вас формат завършва с този разделител. Накрая, откриването става токен по токен: ако последователността Ви попадне в средата на токен, тя остава незабелязана – още една причина да избирате разделители с множество знаци, а не единичен символ.
Скъпи грешки
Най-честата грешка е твърде кратка последователност, предизвикваща преждевременно спиране. Една единствена точка спира генерирането при първото изречение, което види, дори в средата на съкращение; симетричната грешка е изборът на низ, който моделът никога няма да произведе, в който случай параметърът не прави нищо и Вие погрешно вярвате, че сте поставили предпазна мярка.
# BAD: sequence too short, premature stops
stop=["."] # Stops at every sentence!
# GOOD: context-specific sequence
stop=[".\n\n"] # Stops after a period followed by a double newline
# BAD: sequence the model will never produce
stop=["XYZZY"] # Has no effect
# GOOD: realistic sequence based on expected format
stop=["Next question:", "---"]
Правилото, което следва от тези четири реда, е просто: една добра последователност за спиране произлиза от формата, който сте поискали от модела да използва, никога от Вашето въображение.
Пълен пример: контролиран въпрос и отговор
Нека сглобим тези елементи в кратка функция за въпроси и отговори, където ниската температура осигурява фактическа стабилност, max_tokens задава предпазен таван, а последователностите за спиране отрязват коментарите, които моделът може да бъде изкушен да добави след своя отговор:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
def ask_single_question(question: str) -> str:
"""Ask a question and get a concise answer without chatter."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer in a single sentence, directly and factually."
},
{"role": "user", "content": question}
],
max_tokens=100,
stop=["\n\n", "Remark:", "Note:"],
temperature=0.1
)
return response.choices[0].message.content.strip()
# Test
questions = [
"What is the speed of light?",
"Who invented the telephone?",
"How many planets are in the solar system?"
]
for q in questions:
print(f"Q: {q}")
print(f"A: {ask_single_question(q)}\n")
Стартирайте този скрипт веднъж така, както е, и втори път след премахване на параметъра stop: сравняването на двата изхода Ви показва точно какво филтрират тези три последователности.
Ключови изводи
- Последователностите за спиране прекратяват генерирането, когато моделът произведе конкретен текст
- Максимум 4 последователности на заявка; чувствителни са към регистъра
- Последователността за спиране никога не се включва в отговора
- Използвайте достатъчно специфични последователности, за да избегнете преждевременно спиране
- Съвместими са със стрийминг и всички други параметри