Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

N-completions och stoppsekvenser

Lektion 12 av 16 Uppdaterad 2 november 2026 Nybörjare
På denna sida
  1. Generera flera svar i en enda begäran
  2. Parametern n: hur den fungerar
  3. Stoppsekvenser: styr var genereringen slutar
  4. Parametern max_tokens
  5. Kombinera parametrar
  6. Viktiga punkter

Generera flera svar i en enda begäran

För att avsluta detta avsnitt om genereringsparametrar tittar vi på två praktiska styrverktyg: parametern N-completions, som låter dig begära flera svar från samma prompt i ett enda API-anrop, och stoppsekvenser, som avgör var genereringen ska upphöra. Den första hjälper dig att jämföra alternativ, öka chansen att få ett optimalt svar eller mata en automatisk urvalsprocess; den andra ger dig kontroll över längden och formatet på utdata.

Parametern n: hur den fungerar

När du anger n=5 genererar modellen 5 oberoende svar för din prompt, där varje svar returneras som ett distinkt val i svarsobjektet. En faktureringsdetalj förtjänar din uppmärksamhet innan du använder detta flitigt: input-tokens—din prompt—faktureras endast en gång, men output-tokens faktureras för varje completion. Med n=5 betalar du fem gånger för output-tokens, men bara en gång för prompten: för en lång prompt och korta svar är detta betydligt mer ekonomiskt än fem separata anrop.

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
    ],
    n=5,
    temperature=0.8
)

for i, choice in enumerate(response.choices):
    print(f"Option {i+1}: {choice.message.content}")

Denna kod producerar 5 olika slogans, varav du väljer den bästa. Detta är den första stora användningen av n: kreativ generering, där det är bättre att få flera alternativ på en slogan, titel eller produktnamn än att göra ett enda försök. Den andra användningen är klassificering med omröstning: du genererar N klassificeringar av samma text och behåller svaret som får majoritet, vilket jämnar ut tillfälliga fel. Du använder det också för utforskning—för att testa flera angreppssätt på samma problem—och för kvalitetskontroll, genom att kontrollera modellens konsistens genom att jämföra dess egna svar.

Känn till tre begränsningar innan du sätter igång. För det första stöder inte alla Mistral-modeller n större än 1: kontrollera dokumentationen för den modell du använder. För det andra ökar latensen med n, eftersom modellen genererar fler tokens totalt. Slutligen—och detta är ett klassiskt nybörjarfel—kombinera alltid n > 1 med tillräcklig temperatur (0,5 och uppåt): vid temperatur 0 kommer dina fem svar att vara nästan identiska och du har betalat fem gånger för samma mening.

Stoppsekvenser: styr var genereringen slutar

Stoppsekvenser är teckensträngar som tvingar modellen att stoppa så snart den genererar dem. Detta är en avgörande mekanism för att kontrollera längden och formatet på svar. Låt oss börja med ett medvetet förenklat exempel för att etablera konceptet:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "List the days of the week, one per line."}
    ],
    stop=["Saturday"]
)

Här stoppar modellen så snart den genererar ordet “Saturday”, vilket producerar en trunkerad lista. I praktiken är stoppsekvenser mest användbara med strukturella avgränsare. Första användningsfallet: extrahera ett enda avsnitt från ett strukturerat svar. Om din prompt begär en analys i tre delar ger stopp av genereringen vid den andra rubriken dig endast den första:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
    ],
    stop=["## Weaknesses"]
)
# Modellen stoppar efter styrkorna

Andra fallet: begränsa genereringen till ett JSON-block, genom att kombinera stoppsekvensen med en förifyllning av assistentmeddelandet som öppnar klammerparentesen:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Return the metadata for this article in JSON."},
        {"role": "assistant", "content": "{", "prefix": True}
    ],
    stop=["}"]
)
# Modellen genererar JSON-innehållet och stoppar vid den stängande klammerparentesen

Tredje fallet: förhindra modellen från att fortsätta efter sitt svar. För en sluten fråga garanterar stopp vid det första radbytet ett torrt “JA” eller “NEJ”, utan ett motiveringsstycke som du inte begärt:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
    ],
    stop=["\n"]
)

Parametern max_tokens

Som komplement till stoppsekvenser sätter max_tokens en hård gräns för antalet output-tokens:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Summarize the history of France."}
    ],
    max_tokens=200
)

Observera dess beteende: max_tokens klipper av svaret abrupt, potentiellt mitt i en mening—din sammanfattning kan sluta med “och således Napoleon”. Behandla det som ett säkerhetsnät mot oändliga svar, inte som den primära metoden för att kontrollera längden. För det ändamålet bör du föredra instruktioner i prompten (“svara i 3 meningar”) kombinerat med en generös max_tokens.

Kombinera parametrar

Dessa mekanismer skiner när de används tillsammans. Följande exempel genererar 5 olika artikelrubriker, där varje rubrik begränsas till en enda rad tack vare stoppsekvensen, med ett tak på 50 tokens som säkerhet:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You generate blog article titles. One title per response."
        },
        {
            "role": "user",
            "content": "Theme: workplace productivity in 2026"
        }
    ],
    n=5,
    temperature=0.8,
    max_tokens=50,
    stop=["\n"]
)

titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
    print(f"{i+1}. {titre}")

Viktiga punkter

  • Parametern n genererar flera svar i ett enda anrop (input-tokens faktureras en gång)
  • Kombinera n > 1 med tillräcklig temperatur för att få verkliga variationer
  • Stoppsekvenser avbryter genereringen vid en specifik avgränsare
  • max_tokens är ett säkerhetsnät, inte en primär längdstyrning
  • Kombinera dessa parametrar för finjusterad kontroll över genereringen