Sequências de paragem
Nesta página
Parar a geração no momento certo
Por predefinição, o modelo para apenas por duas razões: decide que terminou a sua resposta e emite o seu token de fim, ou atinge o limite máximo de max_tokens. Estes dois critérios não cobrem todos os casos de uso. Por vezes, pretende que a geração pare num ponto que só você conhece — imediatamente antes da próxima secção de um documento, logo após o fecho de um bloco JSON, ou assim que o modelo começa a adicionar comentários desnecessários.
As sequências de paragem adicionam este terceiro critério: assim que o modelo produz uma sequência de texto que você designou, a geração é interrompida imediatamente. Pense nisso como uma ferramenta de corte de precisão, o complemento natural das instruções de formatação na sua mensagem de sistema, que o modelo segue bem, mas nem sempre perfeitamente.
Como funciona o parâmetro stop
O parâmetro aceita uma lista de cadeias de caracteres. A primeira que aparecer na saída termina a geração:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the 10 largest cities in France."}
],
stop=["6."] # Stop after the first 5
)
print(response.choices[0].message.content)
# 1. Paris
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice
Dois comportamentos destacam-se neste exemplo. A sequência de paragem não é incluída na resposta: obtém o texto que a precede, sem necessidade de limpeza da sua parte. Além disso, o finish_reason é "stop", exatamente como numa paragem natural — a API não distingue entre as duas, cabendo-lhe a si recordar o que solicitou.
Três casos de uso típicos
O primeiro caso lida com o modelo prolixo. Pede uma capital e ele fornece a capital mais três frases de explicação que a sua interface não esperava. O prompt de sistema define a intenção; as sequências de paragem impõem-na:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer with only the city name, nothing else."
},
{
"role": "user",
"content": "What is the capital of Italy?"
}
],
stop=["\n", ".", "Explanation"] # Stop at the first newline or period
)
print(response.choices[0].message.content.strip())
# Rome
O segundo caso abrange a geração de documentos secção por secção, quando deseja manter o controlo entre as partes em vez de deixar o modelo produzir um relatório inteiro de uma só vez. Para a paragem nos delimitadores que sinalizam o que vem a seguir:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Write the Introduction section of a report."
},
{
"role": "user",
"content": "Topic: the impact of AI on employment in Europe."
}
],
stop=["## ", "---", "Conclusion"] # Stop before the next section
)
O terceiro caso é, na prática, o mais económico: extrair JSON utilizável sem etapa de limpeza. Os modelos tendem a envolver a sua saída em texto explicativo, o que quebra o json.loads(); cortar numa quebra de linha dupla ou em três crases elimina o problema na origem.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Respond only with valid JSON."
},
{
"role": "user",
"content": "Give me info for Paris: population, country, time zone."
}
],
stop=["\n\n", "```"] # Stop after the JSON block
)
Combinação de sequências de paragem e streaming
Nada o impede de combinar ambos os mecanismos: o fluxo para assim que uma das sequências de paragem é detetada no texto gerado, e os fragmentos que já recebeu permanecem válidos.
stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Tell a short story."}
],
stop=["Fin.", "THE END", "---"]
)
full_text = ""
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_text += content
print(content, end="", flush=True)
print(f"\n\nText: {len(full_text)} characters")
Limitações do mecanismo
Quatro restrições regem a utilização do parâmetro stop. Pode fornecer, no máximo, quatro sequências por pedido, o que o obriga a escolher as mais discriminativas em vez de as acumular. Distinguem maiúsculas de minúsculas: "end" nunca detetará "End", pelo que deve considerar as variantes relevantes. A sequência nunca é incluída na resposta, o que é importante se o formato esperado terminar com esse delimitador. Por fim, a deteção ocorre token a token: se a sua sequência cair no meio de um token, passará despercebida — mais uma razão para escolher delimitadores de vários caracteres em vez de um único símbolo.
Erros dispendiosos
O erro mais comum é uma sequência demasiado curta, provocando paragens prematuras. Um ponto final isolado interrompe a geração na primeira frase que encontra, mesmo no meio de uma abreviatura; o erro simétrico consiste em escolher uma cadeia que o modelo nunca produzirá, caso em que o parâmetro não tem qualquer efeito e você acredita, erradamente, ter estabelecido uma salvaguarda.
# BAD: sequence too short, premature stops
stop=["."] # Stops at every sentence!
# GOOD: context-specific sequence
stop=[".\n\n"] # Stops after a period followed by a double newline
# BAD: sequence the model will never produce
stop=["XYZZY"] # Has no effect
# GOOD: realistic sequence based on expected format
stop=["Next question:", "---"]
A regra que decorre destas quatro linhas é simples: uma boa sequência de paragem deriva do formato que pediu ao modelo para utilizar, nunca da sua imaginação.
Exemplo completo: Q&A controlado
Vamos reunir estes elementos numa função curta de pergunta e resposta, onde uma temperatura baixa garante estabilidade factual, max_tokens define um teto de segurança e as sequências de paragem cortam os comentários que o modelo poderia ser tentado a adicionar após a sua resposta:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
def ask_single_question(question: str) -> str:
"""Ask a question and get a concise answer without chatter."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer in a single sentence, directly and factually."
},
{"role": "user", "content": question}
],
max_tokens=100,
stop=["\n\n", "Remark:", "Note:"],
temperature=0.1
)
return response.choices[0].message.content.strip()
# Test
questions = [
"What is the speed of light?",
"Who invented the telephone?",
"How many planets are in the solar system?"
]
for q in questions:
print(f"Q: {q}")
print(f"A: {ask_single_question(q)}\n")
Execute este script uma vez tal como está e, depois, uma segunda vez após remover o parâmetro stop: comparar as duas saídas mostrar-lhe-á exatamente o que essas três sequências filtram.
Pontos-chave
- As sequências de paragem interrompem a geração quando o modelo produz texto específico
- Máximo de 4 sequências por pedido; sensíveis a maiúsculas e minúsculas
- A sequência de paragem nunca é incluída na resposta
- Utilize sequências suficientemente específicas para evitar paragens prematuras
- Compatível com streaming e todos os outros parâmetros