Премини към основното съдържание
Български— Изберете език
Меню

N Completions и стоп-последователности

Урок 12 от 16 Обновен 2 ноември 2026 г. Начинаещ
На тази страница
  1. Генериране на множество отговори в една заявка
  2. Параметърът n: как работи
  3. Стоп-последователности: контрол къде приключва генерирането
  4. Параметърът max_tokens
  5. Комбиниране на параметри
  6. Ключови изводи

Генериране на множество отговори в една заявка

За да приключим този раздел относно параметрите на генерирането, ще разгледаме два практични инструмента за контрол: параметърът N completions, който Ви позволява да поискате множество отговори от един и същ промпт в рамките на едно API извикване, и стоп-последователностите, които определят къде генерирането спира. Първият помага за сравняване на алтернативи, увеличаване на шансовете за получаване на оптимален отговор или захранване на процес на автоматичен подбор; вторият Ви дава контрол върху дължината и формата на изходните данни.

Параметърът n: как работи

Когато зададете n=5, моделът генерира 5 независими отговора за Вашия промпт, като всеки от тях се връща като отделен избор в обекта с отговора. Един аспект на таксуването заслужава вниманието Ви, преди да го използвате масово: входните токени – Вашият промпт – се таксуват само веднъж, но изходните токени се таксуват за всяко завършване. При n=5, плащате пет пъти за изходните токени, но само веднъж за промпта: за дълъг промпт и кратки отговори това е значително по-икономично от пет отделни извиквания.

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
    ],
    n=5,
    temperature=0.8
)

for i, choice in enumerate(response.choices):
    print(f"Option {i+1}: {choice.message.content}")

Този код произвежда 5 различни слогана, от които избирате най-добрия. Това е първата основна употреба на n: креативно генериране, при което получаването на множество опции за слоган, заглавие или име на продукт е за предпочитане пред един единствен опит. Втората употреба е класификация чрез гласуване: генерирате N класификации на един и същи текст и запазвате отговора на мнозинството, което изглажда случайните грешки. Използвате го също за проучване – тестване на няколко подхода към един и същи проблем – и за контрол на качеството, чрез проверка на консистентността на модела чрез сравняване на собствените му отговори.

Преди внедряването имайте предвид три ограничения. Първо, не всички модели на Mistral поддържат n, по-голямо от 1: проверете документацията за модела, който използвате. На второ място, латентността се увеличава с n, тъй като моделът генерира повече токени общо. И накрая – това е класическа грешка за начинаещи – винаги комбинирайте n > 1 с достатъчно висока температура (0.5 и нагоре): при температура 0, Вашите пет отговора ще бъдат почти идентични и ще сте платили пет пъти за едно и също изречение.

Стоп-последователности: контрол къде приключва генерирането

Стоп-последователностите са низове от знаци, които принуждават модела да спре веднага щом ги генерира. Това е основен механизъм за контрол на дължината и формата на отговорите. Нека започнем с умишлено опростен пример, за да установим концепцията:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "List the days of the week, one per line."}
    ],
    stop=["Saturday"]
)

Тук моделът спира веднага щом генерира думата “Saturday”, произвеждайки съкратен списък. На практика стоп-последователностите са най-полезни със структурни разделители. Първи случай на употреба: извличане на един единствен раздел от структуриран отговор. Ако Вашият промпт иска анализ в три части, спирането на генерирането при второто заглавие Ви дава само първия:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
    ],
    stop=["## Weaknesses"]
)
# The model stops after the strengths

Втори случай: ограничаване на генерирането до JSON блок, комбиниране на стоп-последователността с предварително попълване на съобщението на асистента, което отваря къдравата скоба:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Return the metadata for this article in JSON."},
        {"role": "assistant", "content": "{", "prefix": True}
    ],
    stop=["}"]
)
# The model generates the JSON content and stops at the closing brace

Трети случай: предотвратяване на продължаването на модела след неговия отговор. За затворен въпрос, спирането при първия нов ред гарантира сух отговор “YES” или “NO”, без параграф с обосновка, който не сте поискали:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
    ],
    stop=["\n"]
)

Параметърът max_tokens

Като допълнение към стоп-последователностите, max_tokens задава твърда граница за броя на изходните токени:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Summarize the history of France."}
    ],
    max_tokens=200
)

Обърнете внимание на неговото поведение: max_tokens прекъсва отговора рязко, потенциално по средата на изречението – Вашият обобщение може да завърши с “и така Наполеон”. Третирайте го като предпазна мрежа срещу безкрайни отговори, а не като основен начин за контрол на дължината. За тази цел предпочитайте инструкции в промпта (“отговорете в 3 изречения”), комбинирани с щедър max_tokens.

Комбиниране на параметри

Тези механизми блескат, когато се използват заедно. Следващият пример генерира 5 различни заглавия на статии, всяко ограничено до един единствен ред благодарение на стоп-последователността, с таван от 50 токена като предпазна мярка:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You generate blog article titles. One title per response."
        },
        {
            "role": "user",
            "content": "Theme: workplace productivity in 2026"
        }
    ],
    n=5,
    temperature=0.8,
    max_tokens=50,
    stop=["\n"]
)

titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
    print(f"{i+1}. {titre}")

Ключови изводи

  • Параметърът n генерира множество отговори в едно извикване (входните токени се таксуват веднъж)
  • Комбинирайте n > 1 с достатъчна температура, за да получите реални вариации
  • Стоп-последователностите спират генерирането на конкретен разделител
  • max_tokens е предпазна мрежа, а не основен контрол на дължината
  • Комбинирайте тези параметри за фино контролирано генериране