N completions
На тази страница
Генериране на множество отговори с една заявка
Параметърът n инструктира модела да произведе множество алтернативни отговори на един и същ промпт в рамките на една API заявка. Въпреки че това може да изглежда като второстепенна функция, то позволява три сериозни случая на употреба: сравняване на две формулировки на промптове върху извадка, автоматичен избор на най-добрия отговор от партида и изследване на пространството от решения, вместо приемане на първия резултат.
По подразбиране n=1 и API връща един единствен отговор в choices. Ако зададете n=5, масивът ще съдържа пет записа, всеки със собствен index. Обърнете внимание, че температурата в примера по-долу е зададена на 1.0: без достатъчна рандомизация и петте отговора биха били идентични, което прави извикването безполезно.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="ministral-3b-latest",
messages=[
{"role": "user", "content": "What is the best programming language for beginners? One word only."}
],
temperature=1.0, # High temperature to maximize diversity
n=5
)
for choice in response.choices:
print(f"Response {choice.index}: {choice.message.content}")
Два фактора определят практическата стойност на този параметър. Първият е таксуването: токените за вход се таксуват само веднъж, тъй като промптът се изпраща един път, но токените за изход се таксуват за всяко завършване. При n=5 и max_tokens=100, вашият лимит за изход скача до 500 токена. Точно това прави n привлекателен за дълги промптове – амортизирането на голям контекст върху пет отговора струва значително по-малко от правенето на пет отделни извиквания.
print(f"Prompt tokens : {response.usage.prompt_tokens}") # Charged 1x
print(f"Response tokens: {response.usage.completion_tokens}") # Charged nx
print(f"Total : {response.usage.total_tokens}")
Вторият фактор е съвместимостта: не всички модели на Mistral поддържат n. Към април 2026 г. последните версии на mistral-large не поддържат n > 1. Използвайте ministral-3b-latest или други съвместими модели за тази функция – ето защо всички примери в този урок разчитат на този модел.
Избор на най-добрия отговор
Първият случай на употреба включва генериране на множество кандидати и задържане на най-добрия въз основа на критерий, който Вие дефинирате. Механизмът е умишлено универсален: best_of_n приема всяка функция за оценяване, позволявайки Ви да измерите това, което има значение във Вашия контекст – наличието на задължителна ключова дума, валидност на JSON или спазване на целева дължина. Функцията length_scorer илюстрира този последен критерий, където резултатът намалява пропорционално на отклонението от целевата дължина.
def best_of_n(client, messages, n=5, scorer=None, **kwargs):
"""Generates N responses and selects the best one."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.9,
**kwargs
)
candidates = [
{
"index": c.index,
"content": c.message.content,
"score": scorer(c.message.content) if scorer else 0
}
for c in response.choices
]
if scorer:
candidates.sort(key=lambda x: x["score"], reverse=True)
return candidates
# Scorer: appropriate length (not too short, not too long)
def length_scorer(text: str, target=200) -> float:
"""Score based on proximity to a target length."""
diff = abs(len(text) - target)
return max(0, 1 - diff / target)
candidates = best_of_n(
client,
[{"role": "user", "content": "Write a summary of generative AI in 2026."}],
n=5,
scorer=length_scorer,
max_tokens=300
)
print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")
Сравняване на два промпта върху извадка
Вторият случай на употреба е методологичен, а не продуктов. Когато избирате между две формулировки на промпт, сравняването на един единствен отговор с друг не доказва нищо: вариацията на самия модел би могла да обясни разликата. Чрез генериране на N отговора за всяка версия и измерване на средната дължина и дела на различните отговори, получавате предварителни доказателства. Резултат за разнообразие от 1.0 при промпт, предназначен да произведе стабилен формат, е червен флаг, а не добра новина.
def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
"""Compares two prompts by generating N responses for each."""
results = {}
for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
response = client.chat.complete(
model="ministral-3b-latest",
messages=[{"role": "user", "content": prompt}],
n=n,
temperature=0.8,
max_tokens=200
)
texts = [c.message.content for c in response.choices]
avg_length = sum(len(t) for t in texts) / len(texts)
unique_ratio = len(set(texts)) / len(texts)
results[label] = {
"avg_length": round(avg_length),
"diversity": round(unique_ratio, 2),
"sample": texts[0][:150]
}
return results
# Test
results = ab_test_prompts(
client,
"Summarize the benefits of Python.",
"List the 3 main benefits of Python in one sentence each."
)
for label, data in results.items():
print(f"\nPrompt {label}:")
print(f" Average length : {data['avg_length']} chars")
print(f" Diversity : {data['diversity']}")
print(f" Sample : {data['sample']}...")
Подобряване на надеждността на класификацията чрез гласуване
Третият случай на употреба предлага най-висока възвръщаемост на инвестициите (ROI) в продукционна среда. За задача за класификация един единствен отговор не Ви казва нищо за увереността на модела: отговорът може да е очевиден или може да е гранично предположение между две категории. Генерирайте седем отговора, пребройте гласовете и ще получите както етикет, така и действаща степен на увереност – класификация 4/7 може да бъде пренасочена за човешка валидация, докато 7/7 преминава директно. Използването на нечетно число избягва равенството.
from collections import Counter
def majority_vote(client, messages, n=7, **kwargs):
"""Majority vote classification over N completions."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.7,
max_tokens=20,
**kwargs
)
votes = [c.message.content.strip().upper() for c in response.choices]
counts = Counter(votes)
winner, count = counts.most_common(1)[0]
confidence = count / n
return {
"result": winner,
"confidence": round(confidence, 2),
"votes": dict(counts),
"n": n
}
# Sentiment classification
result = majority_vote(
client,
messages=[
{"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
{"role": "user", "content": "The product is okay but the delivery was very slow."}
],
n=7
)
print(f"Result : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes : {result['votes']}")
Кога да използвате n > 1
Този параметър не е оправдан навсякъде: при стандартен трафик всяко допълнително завършване е разход за изход без възвръщаемост. Таблицата по-долу обобщава защитимите стойности въз основа на сценария.
| Сценарий | Препоръчително n | Защо |
|---|---|---|
| Стандартна продукционна среда | 1 | Минимален разход |
| Избор на качество | 3-5 | Най-добро от N за критичен текст |
| Надеждна класификация | 5-9 (нечетно) | Гласуване с мнозинство за надеждност |
| A/B тестване на промптове | 5-10 | Достатъчен размер на извадката за сравнение |
| Брейносторминг | 5-10 | Максимално разнообразие от идеи |
Ключови изводи
- Параметърът
nгенерира множество отговори в едно API извикване - Токените за вход се таксуват веднъж; токените за изход се умножават по N
- Не всички модели поддържат
n > 1– проверете съвместимостта - Гласуването с мнозинство подобрява надеждността на класификацията
- Best-of-N избира най-добрия отговор въз основа на измерим критерий
- Използвайте висока температура с
n > 1, за да максимизирате разнообразието на отговорите