Uzupełnienia N
Na tej stronie
Generowanie wielu odpowiedzi w jednym wywołaniu
Parametr n instruuje model, aby w ramach jednego żądania API wygenerował wiele alternatywnych odpowiedzi na ten sam prompt. Choć może się to wydawać drobną funkcją, umożliwia ona trzy poważne przypadki użycia: porównanie dwóch sformułowań promptów na zbiorze próbnym, automatyczny wybór najlepszej odpowiedzi z partii oraz eksplorację przestrzeni rozwiązań zamiast akceptowania pierwszego wyniku.
Domyślnie n=1, a API zwraca pojedynczą odpowiedź w polu choices. Jeśli ustawisz n=5, tablica będzie zawierać pięć wpisów, z których każdy ma własny index. Zwróć uwagę na temperaturę ustawioną na 1.0 w poniższym przykładzie: bez wystarczającej losowości wszystkie pięć odpowiedzi byłoby identycznych, co uczyniłoby to wywołanie bezużytecznym.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="ministral-3b-latest",
messages=[
{"role": "user", "content": "What is the best programming language for beginners? One word only."}
],
temperature=1.0, # Wysoka temperatura, aby zmaksymalizować różnorodność
n=5
)
for choice in response.choices:
print(f"Response {choice.index}: {choice.message.content}")
O dwa czynniki decydują o praktycznej wartości tego parametru. Pierwszym jest rozliczenie: tokeny wejściowe są naliczane tylko raz, ponieważ prompt jest wysyłany jednokrotnie, natomiast tokeny wyjściowe są naliczane za każde uzupełnienie. Przy n=5 i max_tokens=100 Twój limit wyjścia skacze do 500 tokenów. To właśnie czyni parametr n atrakcyjnym dla długich promptów – amortyzacja dużego kontekstu na pięć odpowiedzi kosztuje znacznie mniej niż wykonanie pięciu osobnych wywołań.
print(f"Prompt tokens : {response.usage.prompt_tokens}") # Naliczane 1x
print(f"Response tokens: {response.usage.completion_tokens}") # Naliczane nx
print(f"Total : {response.usage.total_tokens}")
Drugim czynnikiem jest kompatybilność: nie wszystkie modele Mistral obsługują parametr n. Od kwietnia 2026 r. najnowsze wersje modelu mistral-large nie obsługują n > 1. Do tej funkcji użyj ministral-3b-latest lub innych kompatybilnych modeli – dlatego wszystkie przykłady w tej lekcji opierają się na tym modelu.
Wybór najlepszej odpowiedzi
Pierwszy przypadek użycia polega na wygenerowaniu wielu kandydatów i zachowaniu najlepszego z nich na podstawie zdefiniowanego przez Ciebie kryterium. Mechanizm jest celowo ogólny: best_of_n akceptuje dowolną funkcję oceniającą, co pozwala mierzyć to, co istotne w Twoim kontekście – obecność obowiązkowego słowa kluczowego, poprawność JSON lub zgodność z docelową długością. Funkcja length_scorer ilustruje to ostatnie kryterium, gdzie wynik maleje proporcjonalnie do odchylenia od docelowej długości.
def best_of_n(client, messages, n=5, scorer=None, **kwargs):
"""Generuje N odpowiedzi i wybiera najlepszą."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.9,
**kwargs
)
candidates = [
{
"index": c.index,
"content": c.message.content,
"score": scorer(c.message.content) if scorer else 0
}
for c in response.choices
]
if scorer:
candidates.sort(key=lambda x: x["score"], reverse=True)
return candidates
# Scorer: odpowiednia długość (ani za krótka, ani za długa)
def length_scorer(text: str, target=200) -> float:
"""Wynik oparty na zbliżeniu do docelowej długości."""
diff = abs(len(text) - target)
return max(0, 1 - diff / target)
candidates = best_of_n(
client,
[{"role": "user", "content": "Write a summary of generative AI in 2026."}],
n=5,
scorer=length_scorer,
max_tokens=300
)
print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")
Porównanie dwóch promptów na próbce
Drugi przypadek użycia ma charakter metodyczny, a nie produktowy. Przy podejmowaniu decyzji między dwoma sformułowaniami promptu, porównanie pojedynczej odpowiedzi z inną niczego nie dowodzi: różnicę mogłaby wyjaśniać sama wariancja modelu. Generując N odpowiedzi dla każdej wersji i mierząc średnią długość oraz wskaźnik unikalnych odpowiedzi, uzyskujesz wstępne dowody. Wynik różnorodności równy 1.0 dla promptu mającego generować stabilny format to czerwona flaga, a nie dobra wiadomość.
def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
"""Porównuje dwa prompty, generując N odpowiedzi dla każdego."""
results = {}
for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
response = client.chat.complete(
model="ministral-3b-latest",
messages=[{"role": "user", "content": prompt}],
n=n,
temperature=0.8,
max_tokens=200
)
texts = [c.message.content for c in response.choices]
avg_length = sum(len(t) for t in texts) / len(texts)
unique_ratio = len(set(texts)) / len(texts)
results[label] = {
"avg_length": round(avg_length),
"diversity": round(unique_ratio, 2),
"sample": texts[0][:150]
}
return results
# Test
results = ab_test_prompts(
client,
"Summarize the benefits of Python.",
"List the 3 main benefits of Python in one sentence each."
)
for label, data in results.items():
print(f"\nPrompt {label}:")
print(f" Average length : {data['avg_length']} chars")
print(f" Diversity : {data['diversity']}")
print(f" Sample : {data['sample']}...")
Poprawa niezawodności klasyfikacji poprzez głosowanie
Trzeci przypadek użycia oferuje najwyższy zwrot z inwestycji (ROI) w środowisku produkcyjnym. W zadaniu klasyfikacji pojedyncza odpowiedź nic nie mówi o pewności modelu: odpowiedź może być oczywista lub może stanowić niepewne zgadywanie między dwiema kategoriami. Wygeneruj siedem odpowiedzi, policz głosy, a uzyskasz zarówno etykietę, jak i użyteczny wskaźnik pewności – klasyfikacja 4/7 może zostać skierowana do walidacji przez człowieka, podczas gdy 7/7 przechodzi bezpośrednio. Użycie nieparzystej liczby pozwala uniknąć remisów.
from collections import Counter
def majority_vote(client, messages, n=7, **kwargs):
"""Klasyfikacja większością głosów na podstawie N uzupełnień."""
response = client.chat.complete(
model="ministral-3b-latest",
messages=messages,
n=n,
temperature=0.7,
max_tokens=20,
**kwargs
)
votes = [c.message.content.strip().upper() for c in response.choices]
counts = Counter(votes)
winner, count = counts.most_common(1)[0]
confidence = count / n
return {
"result": winner,
"confidence": round(confidence, 2),
"votes": dict(counts),
"n": n
}
# Klasyfikacja sentymentu
result = majority_vote(
client,
messages=[
{"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
{"role": "user", "content": "The product is okay but the delivery was very slow."}
],
n=7
)
print(f"Result : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes : {result['votes']}")
Kiedy używać n > 1
Ten parametr nie jest uzasadniony wszędzie: przy standardowym ruchu każde dodatkowe uzupełnienie to koszt wyjściowy bez zwrotu. Poniższa tabela podsumowuje obronne wartości w zależności od scenariusza.
| Scenariusz | Zalecane n | Dlaczego |
|---|---|---|
| Standardowa produkcja | 1 | Minimalny koszt |
| Selekcja jakościowa | 3-5 | Best-of-N dla tekstu krytycznego |
| Odporna klasyfikacja | 5-9 (nieparzyste) | Głosowanie większością dla niezawodności |
| Testy A/B promptów | 5-10 | Wystarczająca wielkość próbki do porównania |
| Burza mózgów | 5-10 | Maksymalna różnorodność pomysłów |
Kluczowe wnioski
- Parametr
ngeneruje wiele odpowiedzi w jednym wywołaniu API - Tokeny wejściowe są naliczane raz; tokeny wyjściowe są mnożone przez N
- Nie wszystkie modele obsługują
n > 1– sprawdź kompatybilność - Głosowanie większością poprawia niezawodność klasyfikacji
- Best-of-N wybiera najlepszą odpowiedź na podstawie mierzalnego kryterium
- Używaj wysokiej temperatury z
n > 1, aby zmaksymalizować różnorodność odpowiedzi