Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Top P und Nucleus-Sampling

Lektion 10 von 16 Aktualisiert am 2. November 2026 Anfänger
Auf dieser Seite
  1. Ein zweiter Hebel zur Steuerung der Generierung
  2. Wie Top P funktioniert
  3. Top P versus Temperatur: Was ist der Unterschied?
  4. Verwendung von Top P mit der Mistral API
  5. Wann Sie Top P anpassen sollten
  6. Die praktische Regel: Passen Sie nur einen Parameter nach dem anderen an
  7. Kernaussagen

Ein zweiter Hebel zur Steuerung der Generierung

Die vorherige Lektion hat Ihnen den ersten Hebel zur Steuerung der Generierung vorgestellt: die Temperatur. Top P, auch als Nucleus-Sampling bezeichnet, ist ihr natürliches Gegenstück. Während die Temperatur die gesamte Wahrscheinlichkeitsverteilung verändert, wirkt Top P als Filter, der die Anzahl der Kandidatentokens begrenzt. Beide Parameter beeinflussen die Vielfalt der Antworten, jedoch über sehr unterschiedliche Mechanismen – und genau dieser Unterschied ermöglicht es Ihnen, das Verhalten von Mistral-Modellen fein abzustimmen, anstatt Parameter willkürlich zu justieren.

Wie Top P funktioniert

Lassen Sie uns den Generierungsprozess erneut durchgehen. In jedem Schritt berechnet das Modell eine Wahrscheinlichkeit für jedes mögliche Token. Top P greift in drei Phasen ein: Zuerst werden die Wahrscheinlichkeiten durch die Temperatur angepasst; danach werden die Tokens nach absteigender Wahrscheinlichkeit sortiert und ihre Wahrscheinlichkeiten kumulativ addiert; schließlich werden nur die Tokens beibehalten, deren kumulative Wahrscheinlichkeit den Top P-Schwellenwert nicht überschreitet. Die finale Auswahl erfolgt ausschließlich unter diesen Überlebenden.

Ein Beispiel macht den Mechanismus klar. Stellen Sie sich vor, das Modell muss das nächste Wort nach „The cat is on the” wählen:

TokenWahrscheinlichkeitKumulativ
roof0,350,35
bed0,250,60
sofa0,150,75
floor0,100,85
ledge0,050,90
wall0,030,93
………

Bei Top P = 0,75 werden nur „roof”, „bed” und „sofa” beibehalten, da ihre kumulative Summe genau 0,75 erreicht: Das Modell wird sich ausschließlich zwischen diesen drei Optionen entscheiden. Bei Top P = 0,90 kommen auch „floor” und „ledge” ins Spiel. Die allgemeine Regel ist aus der Tabelle klar ersichtlich: Je höher der Top P-Wert, desto mehr Kandidaten werden berücksichtigt.

Top P versus Temperatur: Was ist der Unterschied?

Da beide Parameter die Vielfalt steuern, könnte man denken, sie seien austauschbar. Das sind sie nicht. Die Temperatur verändert die Form der Verteilung: Ein hoher Wert glättet die Kurve und macht unwahrscheinliche Tokens schrittweise zugänglicher, ohne je welche auszuschließen. Top P hingegen schneidet die Verteilung: Tokens unterhalb des Schwellenwerts werden vollständig ignoriert, unabhängig von ihrer verbleibenden Wahrscheinlichkeit.

Halten Sie sich dieses Bild vor Augen: Die Temperatur ist eine „weiche” Einstellung, die sich schrittweise anpasst, während Top P eine „scharfe” Einstellung ist, die einschließt oder ausschließt. Bei kreativem Text ermöglicht eine hohe Temperatur bei moderatem Top P Fantasie, während ein Drift zu wirklich unwahrscheinlichen Tokens verhindert wird – dies ist oft die komfortabelste Kombination.

Verwendung von Top P mit der Mistral API

Im Code wird der Parameter einfach dem Aufruf hinzugefügt, zusammen mit der Temperatur:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a name for an AI startup."}
    ],
    temperature=0.7,
    top_p=0.9
)

Wann Sie Top P anpassen sollten

Ein niedriger Top P-Wert zwischen 0,1 und 0,5 konzentriert das Modell auf die wahrscheinlichsten Optionen – maximale Präzision. Dies ist die richtige Wahl, wenn die erwartete Antwort zu einem geschlossenen Satz gehört, wie bei dieser strengen Klassifizierung:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "system", "content": "Respond only with: positive, neutral, or negative."},
        {"role": "user", "content": "Classify: The product arrived in good condition."}
    ],
    temperature=0.0,
    top_p=0.3
)

Ein mittlerer Top P-Wert zwischen 0,5 und 0,8 eignet sich für die meisten professionellen Aufgaben: Der Text bleibt kohärent, ohne monoton zu werden. Dies ist der Regime für einen Bericht, eine Zusammenfassung oder eine Dokumenteneinführung:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
    ],
    temperature=0.5,
    top_p=0.7
)

Schließlich öffnet ein hoher Top P-Wert zwischen 0,8 und 1,0 das Feld für Kreativität und die Erkundung von Ideen – Sie akzeptieren unwahrscheinlichere Kandidaten, um Vorschläge zu erhalten, die über den Tellerrand hinausgehen:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Invent 5 innovative restaurant concepts."}
    ],
    temperature=0.9,
    top_p=0.95
)

Die praktische Regel: Passen Sie nur einen Parameter nach dem anderen an

Die Mistral-Dokumentation empfiehlt einen methodischen Ansatz, den Sie ab Ihren ersten Tests übernehmen sollten: Stellen Sie Top P auf 1,0 (keine Filterung) und passen Sie nur die Temperatur an, oder stellen Sie die Temperatur auf 1,0 und passen Sie nur Top P an; erst dann verfeinern Sie den zweiten Parameter, falls erforderlich. Der Grund ist einfach: Wenn Sie beide gleichzeitig ändern und sich das Verhalten ändert, wissen Sie nicht, welcher dafür verantwortlich ist. Es ist derselbe Reflex wie beim Debuggen – Sie ändern nur eine Variable nach der anderen.

Um Ihnen konkrete Startpunkte zu geben: Datenextraktion oder JSON-Ausgaben werden typischerweise auf temperature=0.0, top_p=1.0 eingestellt; professionelles Schreiben auf temperature=0.4, top_p=0.9; kreative Generierung auf temperature=0.8, top_p=0.95; und Code oder technische Inhalte auf temperature=0.2, top_p=0.9. Diese Werte sind lediglich Startpunkte – Experimente bleiben für Ihren spezifischen Anwendungsfall unerlässlich.

Kernaussagen

  • Top P filtert Kandidatentokens nach einem Schwellenwert für die kumulative Wahrscheinlichkeit
  • Im Gegensatz zur Temperatur, die die Verteilung weicht, schneidet Top P sie
  • Passen Sie nur einen Parameter nach dem anderen an, um dessen Einfluss zu verstehen
  • Niedriger Top P = fokussierte Antworten, Hoher Top P = vielfältige Antworten
  • Beginnen Sie mit der Temperatur allein und fügen Sie Top P hinzu, um zu verfeinern