N Completions et séquences d'arrêt
Šajā lapā
Générer plusieurs réponses en une seule requête
Pour clore cette section sur les paramètres de génération, examinons deux outils de contrôle pratiques : le paramètre N completions, qui te permet de demander plusieurs réponses à partir du même prompt en un seul appel API, et les séquences d’arrêt, qui déterminent où la génération s’interrompt. Le premier t’aide à comparer des alternatives, à augmenter tes chances d’obtenir une réponse optimale ou à alimenter un processus de sélection automatique ; le second te donne le contrôle sur la longueur et le format des sorties.
Le paramètre n : comment ça marche
Lorsque tu définis n=5, le modèle génère 5 réponses indépendantes pour ton prompt, chacune renvoyée comme un choix distinct dans l’objet de réponse. Un point de facturation mérite ton attention avant une utilisation intensive : les jetons d’entrée (ton prompt) sont facturés une seule fois, mais les jetons de sortie sont facturés pour chaque complétion. Avec n=5, tu paies cinq fois les jetons de sortie, mais une seule fois le prompt : pour un prompt long et des réponses courtes, c’est nettement plus économique que cinq appels séparés.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
],
n=5,
temperature=0.8
)
for i, choice in enumerate(response.choices):
print(f"Option {i+1}: {choice.message.content}")
Ce code produit 5 slogans différents, parmi lesquels tu choisis le meilleur. C’est la première utilisation majeure de n : la génération créative, où obtenir plusieurs options pour un slogan, un titre ou un nom de produit vaut mieux qu’une seule tentative. La seconde est la classification par vote : tu génères N classifications du même texte et tu conserves la réponse majoritaire, ce qui lisse les erreurs occasionnelles. Tu l’utilises aussi pour l’exploration (tester plusieurs approches d’un même problème) et pour le contrôle qualité, en vérifiant la cohérence du modèle par comparaison de ses propres réponses.
Connais trois limites avant de déployer. Premièrement, tous les modèles Mistral ne prennent pas en charge un n supérieur à 1 : consulte la documentation du modèle que tu utilises. Ensuite, la latence augmente avec n, car le modèle génère plus de jetons au total. Enfin, et c’est une erreur classique de débutant, combine toujours n > 1 avec une température suffisante (0,5 et plus) : à température 0, tes cinq réponses seront presque identiques et tu auras payé cinq fois pour la même phrase.
Séquences d’arrêt : contrôler où la génération se termine
Les séquences d’arrêt sont des chaînes de caractères qui forcent le modèle à s’arrêter dès qu’il les génère. C’est un mécanisme essentiel pour contrôler la longueur et le format des réponses. Commençons par un exemple volontairement simpliste pour établir le concept :
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the days of the week, one per line."}
],
stop=["Saturday"]
)
Ici, le modèle s’arrête dès qu’il génère le mot « Saturday », produisant une liste tronquée. En pratique, les séquences d’arrêt sont surtout utiles avec des délimiteurs structurels. Premier cas d’usage : extraire une seule section d’une réponse structurée. Si ton prompt demande une analyse en trois parties, arrêter la génération au deuxième titre ne te donne que la première :
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
],
stop=["## Weaknesses"]
)
# The model stops after the strengths
Deuxième cas : limiter la génération à un bloc JSON, en combinant la séquence d’arrêt avec un pré-remplissage du message de l’assistant qui ouvre l’accolade :
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Return the metadata for this article in JSON."},
{"role": "assistant", "content": "{", "prefix": True}
],
stop=["}"]
)
# The model generates the JSON content and stops at the closing brace
Troisième cas : empêcher le modèle de continuer après sa réponse. Pour une question fermée, s’arrêter au premier saut de ligne garantit un « OUI » ou « NON » sec, sans le paragraphe de justification que tu n’as pas demandé :
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
],
stop=["\n"]
)
Le paramètre max_tokens
Complémentaire aux séquences d’arrêt, max_tokens définit une limite stricte sur le nombre de jetons de sortie :
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Summarize the history of France."}
],
max_tokens=200
)
Observe son comportement : max_tokens coupe la réponse brutalement, potentiellement en plein milieu d’une phrase — ton résumé pourrait se terminer par « et ainsi Napoléon ». Considère-le comme un filet de sécurité contre les réponses interminables, et non comme le moyen principal de contrôler la longueur. Pour cela, privilégie les instructions dans le prompt (« réponds en 3 phrases ») combinées à un max_tokens généreux.
Combiner les paramètres
Ces mécanismes brillent lorsqu’ils sont utilisés ensemble. L’exemple suivant génère 5 titres d’articles différents, chacun limité à une seule ligne grâce à la séquence d’arrêt, avec un plafond de 50 jetons comme sauvegarde :
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You generate blog article titles. One title per response."
},
{
"role": "user",
"content": "Theme: workplace productivity in 2026"
}
],
n=5,
temperature=0.8,
max_tokens=50,
stop=["\n"]
)
titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
print(f"{i+1}. {titre}")
Galvenās atziņas
- Le paramètre
ngénère plusieurs réponses en un seul appel (les jetons d’entrée sont facturés une seule fois) - Combine
n > 1avec une température suffisante pour obtenir de vraies variations - Les séquences d’arrêt interrompent la génération à un délimiteur spécifique
max_tokensest un filet de sécurité, pas un contrôle principal de la longueur- Combine ces paramètres pour un contrôle fin de la génération