N-Vervollständigungen und Stop-Sequenzen
Auf dieser Seite
Mehrere Antworten in einer einzigen Anfrage generieren
Um diesen Abschnitt zu den Generierungsparametern abzuschließen, betrachten wir zwei praktische Steuerungswerkzeuge: den Parameter N-Vervollständigungen (engl. n completions), mit dem Sie vom selben Prompt in einer einzigen API-Anfrage mehrere Antworten anfordern können, und Stop-Sequenzen, die bestimmen, wo die Generierung endet. Das erste Werkzeug hilft Ihnen, Alternativen zu vergleichen, die Chancen auf eine optimale Antwort zu erhöhen oder einen automatischen Auswahlprozess zu versorgen; das zweite gibt Ihnen Kontrolle über Länge und Format der Ausgaben.
Der n-Parameter: Funktionsweise
Wenn Sie n=5 setzen, generiert das Modell 5 unabhängige Antworten für Ihren Prompt, wobei jede als eine eigene Auswahl im Antwortobjekt zurückgegeben wird. Beachten Sie vor einer intensiven Nutzung einen wichtigen Abrechnungsaspekt: Input-Tokens (Ihr Prompt) werden nur einmal abgerechnet, Output-Tokens hingegen für jede Vervollständigung. Bei n=5 zahlen Sie fünfmal für Output-Tokens, aber nur einmal für den Prompt: Bei einem langen Prompt und kurzen Antworten ist dies deutlich wirtschaftlicher als fünf separate Aufrufe.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Vorschlagen Sie ein Slogan für eine französische Bio-Kaffee-Marke."}
],
n=5,
temperature=0.8
)
for i, choice in enumerate(response.choices):
print(f"Option {i+1}: {choice.message.content}")
Dieser Code erzeugt 5 verschiedene Slogans, aus denen Sie den besten auswählen. Dies ist die erste Hauptanwendung von n: die kreative Generierung, bei der mehrere Optionen für einen Slogan, einen Titel oder einen Produktnamen einer einzelnen Versuchung überlegen sind. Die zweite Anwendung ist die Klassifizierung durch Abstimmung: Sie generieren N Klassifizierungen desselben Textes und behalten die Mehrheitsantwort bei, was gelegentliche Fehler ausgleicht. Sie nutzen es auch zur Erkundung, indem Sie mehrere Ansätze für dasselbe Problem testen, und zur Qualitätskontrolle, indem Sie die Konsistenz des Modells prüfen, indem Sie seine eigenen Antworten vergleichen.
Beachten Sie drei Grenzen vor der Implementierung. Erstens unterstützen nicht alle Mistral-Modelle n größer als 1: prüfen Sie die Dokumentation für das von Ihnen verwendete Modell. Zweitens steigt die Latenz mit n, da das Modell insgesamt mehr Tokens generiert. Drittens – und dies ist ein klassischer Anfängerfehler – kombinieren Sie n > 1 stets mit einer ausreichenden Temperatur (0,5 und höher): Bei einer Temperatur von 0 werden Ihre fünf Antworten fast identisch sein, und Sie haben fünfmal für denselben Satz bezahlt.
Stop-Sequenzen: Kontrolle, wo die Generierung endet
Stop-Sequenzen sind Zeichenketten, die das Modell dazu zwingen, sofort aufzuhören, sobald sie generiert werden. Dies ist ein wesentlicher Mechanismus, um Länge und Format der Antworten zu steuern. Beginnen wir mit einem absichtlich vereinfachten Beispiel, um das Konzept zu etablieren:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Listen Sie die Wochentage, einzeln pro Zeile."}
],
stop=["Saturday"]
)
Hier stoppt das Modell, sobald es das Wort “Saturday” generiert, und erzeugt eine abgeschnittene Liste. In der Praxis sind Stop-Sequenzen am nützlichsten mit strukturellen Delimitern. Erster Anwendungsfall: Extrahieren Sie einen einzelnen Abschnitt aus einer strukturierten Antwort. Wenn Ihr Prompt eine Analyse in drei Teilen anfordert, führt das Stoppen der Generierung beim zweiten Überschriftszeichen nur den ersten Teil aus:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": """Analysieren Sie dieses Produkt:
## Stärken
(Ihre Analyse hier)
## Schwächen
(Ihre Analyse hier)
## Fazit
(Ihre Analyse hier)"""}
],
stop=["## Schwächen"]
)
# Das Modell stoppt nach den Stärken
Zweiter Anwendungsfall: Begrenzen Sie die Generierung auf einen JSON-Block, indem Sie die Stop-Sequenz mit einer Vorabfüllung der Assistant-Nachricht kombinieren, die die geschweifte Klammer öffnet:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Geben Sie die Metadaten für diesen Artikel in JSON zurück."},
{"role": "assistant", "content": "{", "prefix": True}
],
stop=["}"]
)
# Das Modell generiert den JSON-Inhalt und stoppt bei der schließenden geschweiften Klammer
Dritter Anwendungsfall: Verhindern Sie, dass das Modell nach seiner Antwort fortfährt. Bei einer geschlossenen Frage garantiert das Stoppen bei der ersten Zeilenumbruchstelle ein trockenes “JA” oder “NEIN”, ohne einen Begründungsparagraphen, den Sie nicht angefordert haben:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Beantworten Sie die folgende Frage ausschließlich mit JA oder NEIN.\nIst die Erde rund?"}
],
stop=["\n"]
)
Der max_tokens-Parameter
Komplementär zu Stop-Sequenzen setzt max_tokens eine harte Obergrenze für die Anzahl der Output-Tokens:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Fassen Sie die Geschichte Frankreichs zusammen."}
],
max_tokens=200
)
Beachten Sie sein Verhalten: max_tokens schneidet die Antwort abrupt ab, möglicherweise mitten im Satz – Ihre Zusammenfassung könnte mit “und somit Napoleon” enden. Betrachten Sie es als Sicherheitsnetz gegen endlose Antworten, nicht als primäre Methode zur Längenkontrolle. Für letztere bevorzugen Sie Anweisungen im Prompt (“antworten Sie in 3 Sätzen”) in Kombination mit einem großzügigen max_tokens.
Parameter kombinieren
Diese Mechanismen erstrahlen, wenn sie gemeinsam eingesetzt werden. Das folgende Beispiel generiert 5 verschiedene Artikelüberschriften, die dank der Stop-Sequenz jeweils auf eine einzige Zeile begrenzt sind, mit einer Obergrenze von 50 Tokens als Sicherheitsvorkehrung:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Sie generieren Blog-Artikel-Überschriften. Eine Überschrift pro Antwort."
},
{
"role": "user",
"content": "Thema: Arbeitsplatzproduktivität im Jahr 2026"
}
],
n=5,
temperature=0.8,
max_tokens=50,
stop=["\n"]
)
titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
print(f"{i+1}. {titre}")
Wichtige Punkte zur Erinnerung
- Der Parameter
ngeneriert mehrere Antworten in einem einzigen Aufruf (Input-Tokens werden einmal abgerechnet) - Kombinieren Sie
n > 1mit einer ausreichenden Temperatur, um echte Variationen zu erhalten - Stop-Sequenzen unterbrechen die Generierung an einem bestimmten Delimiter
max_tokensist ein Sicherheitsnetz, nicht die primäre Längenkontrolle- Kombinieren Sie diese Parameter für eine feingranulare Generierungssteuerung