Премини към основното съдържание
Български— Изберете език
Меню

N completions

Урок 15 от 16 Обновен 2 ноември 2026 г. Програмист
На тази страница
  1. Генериране на множество отговори с една заявка
  2. Избор на най-добрия отговор
  3. Сравняване на два промпта върху извадка
  4. Подобряване на надеждността на класификацията чрез гласуване
  5. Кога да използвате n > 1
  6. Ключови изводи

Генериране на множество отговори с една заявка

Параметърът n инструктира модела да произведе множество алтернативни отговори на един и същ промпт в рамките на една API заявка. Въпреки че това може да изглежда като второстепенна функция, то позволява три сериозни случая на употреба: сравняване на две формулировки на промптове върху извадка, автоматичен избор на най-добрия отговор от партида и изследване на пространството от решения, вместо приемане на първия резултат.

По подразбиране n=1 и API връща един единствен отговор в choices. Ако зададете n=5, масивът ще съдържа пет записа, всеки със собствен index. Обърнете внимание, че температурата в примера по-долу е зададена на 1.0: без достатъчна рандомизация и петте отговора биха били идентични, което прави извикването безполезно.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="ministral-3b-latest",
    messages=[
        {"role": "user", "content": "What is the best programming language for beginners? One word only."}
    ],
    temperature=1.0,  # High temperature to maximize diversity
    n=5
)

for choice in response.choices:
    print(f"Response {choice.index}: {choice.message.content}")

Два фактора определят практическата стойност на този параметър. Първият е таксуването: токените за вход се таксуват само веднъж, тъй като промптът се изпраща един път, но токените за изход се таксуват за всяко завършване. При n=5 и max_tokens=100, вашият лимит за изход скача до 500 токена. Точно това прави n привлекателен за дълги промптове – амортизирането на голям контекст върху пет отговора струва значително по-малко от правенето на пет отделни извиквания.

print(f"Prompt tokens  : {response.usage.prompt_tokens}")     # Charged 1x
print(f"Response tokens: {response.usage.completion_tokens}")  # Charged nx
print(f"Total          : {response.usage.total_tokens}")

Вторият фактор е съвместимостта: не всички модели на Mistral поддържат n. Към април 2026 г. последните версии на mistral-large не поддържат n > 1. Използвайте ministral-3b-latest или други съвместими модели за тази функция – ето защо всички примери в този урок разчитат на този модел.

Избор на най-добрия отговор

Първият случай на употреба включва генериране на множество кандидати и задържане на най-добрия въз основа на критерий, който Вие дефинирате. Механизмът е умишлено универсален: best_of_n приема всяка функция за оценяване, позволявайки Ви да измерите това, което има значение във Вашия контекст – наличието на задължителна ключова дума, валидност на JSON или спазване на целева дължина. Функцията length_scorer илюстрира този последен критерий, където резултатът намалява пропорционално на отклонението от целевата дължина.

def best_of_n(client, messages, n=5, scorer=None, **kwargs):
    """Generates N responses and selects the best one."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.9,
        **kwargs
    )

    candidates = [
        {
            "index": c.index,
            "content": c.message.content,
            "score": scorer(c.message.content) if scorer else 0
        }
        for c in response.choices
    ]

    if scorer:
        candidates.sort(key=lambda x: x["score"], reverse=True)

    return candidates

# Scorer: appropriate length (not too short, not too long)
def length_scorer(text: str, target=200) -> float:
    """Score based on proximity to a target length."""
    diff = abs(len(text) - target)
    return max(0, 1 - diff / target)

candidates = best_of_n(
    client,
    [{"role": "user", "content": "Write a summary of generative AI in 2026."}],
    n=5,
    scorer=length_scorer,
    max_tokens=300
)

print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")

Сравняване на два промпта върху извадка

Вторият случай на употреба е методологичен, а не продуктов. Когато избирате между две формулировки на промпт, сравняването на един единствен отговор с друг не доказва нищо: вариацията на самия модел би могла да обясни разликата. Чрез генериране на N отговора за всяка версия и измерване на средната дължина и дела на различните отговори, получавате предварителни доказателства. Резултат за разнообразие от 1.0 при промпт, предназначен да произведе стабилен формат, е червен флаг, а не добра новина.

def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
    """Compares two prompts by generating N responses for each."""
    results = {}

    for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
        response = client.chat.complete(
            model="ministral-3b-latest",
            messages=[{"role": "user", "content": prompt}],
            n=n,
            temperature=0.8,
            max_tokens=200
        )

        texts = [c.message.content for c in response.choices]
        avg_length = sum(len(t) for t in texts) / len(texts)
        unique_ratio = len(set(texts)) / len(texts)

        results[label] = {
            "avg_length": round(avg_length),
            "diversity": round(unique_ratio, 2),
            "sample": texts[0][:150]
        }

    return results

# Test
results = ab_test_prompts(
    client,
    "Summarize the benefits of Python.",
    "List the 3 main benefits of Python in one sentence each."
)

for label, data in results.items():
    print(f"\nPrompt {label}:")
    print(f"  Average length : {data['avg_length']} chars")
    print(f"  Diversity      : {data['diversity']}")
    print(f"  Sample         : {data['sample']}...")

Подобряване на надеждността на класификацията чрез гласуване

Третият случай на употреба предлага най-висока възвръщаемост на инвестициите (ROI) в продукционна среда. За задача за класификация един единствен отговор не Ви казва нищо за увереността на модела: отговорът може да е очевиден или може да е гранично предположение между две категории. Генерирайте седем отговора, пребройте гласовете и ще получите както етикет, така и действаща степен на увереност – класификация 4/7 може да бъде пренасочена за човешка валидация, докато 7/7 преминава директно. Използването на нечетно число избягва равенството.

from collections import Counter

def majority_vote(client, messages, n=7, **kwargs):
    """Majority vote classification over N completions."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.7,
        max_tokens=20,
        **kwargs
    )

    votes = [c.message.content.strip().upper() for c in response.choices]
    counts = Counter(votes)
    winner, count = counts.most_common(1)[0]
    confidence = count / n

    return {
        "result": winner,
        "confidence": round(confidence, 2),
        "votes": dict(counts),
        "n": n
    }

# Sentiment classification
result = majority_vote(
    client,
    messages=[
        {"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
        {"role": "user", "content": "The product is okay but the delivery was very slow."}
    ],
    n=7
)

print(f"Result    : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes     : {result['votes']}")

Кога да използвате n > 1

Този параметър не е оправдан навсякъде: при стандартен трафик всяко допълнително завършване е разход за изход без възвръщаемост. Таблицата по-долу обобщава защитимите стойности въз основа на сценария.

СценарийПрепоръчително nЗащо
Стандартна продукционна среда1Минимален разход
Избор на качество3-5Най-добро от N за критичен текст
Надеждна класификация5-9 (нечетно)Гласуване с мнозинство за надеждност
A/B тестване на промптове5-10Достатъчен размер на извадката за сравнение
Брейносторминг5-10Максимално разнообразие от идеи

Ключови изводи

  • Параметърът n генерира множество отговори в едно API извикване
  • Токените за вход се таксуват веднъж; токените за изход се умножават по N
  • Не всички модели поддържат n > 1 – проверете съвместимостта
  • Гласуването с мнозинство подобрява надеждността на класификацията
  • Best-of-N избира най-добрия отговор въз основа на измерим критерий
  • Използвайте висока температура с n > 1, за да максимизирате разнообразието на отговорите