Przejdź do głównej treści
Polski— Wybierz język
Menu

Uzupełnienia N

Lekcja 15 z 16 Zaktualizowano 2 listopada 2026 Programista
Na tej stronie
  1. Generowanie wielu odpowiedzi w jednym wywołaniu
  2. Wybór najlepszej odpowiedzi
  3. Porównanie dwóch promptów na próbce
  4. Poprawa niezawodności klasyfikacji poprzez głosowanie
  5. Kiedy używać n > 1
  6. Kluczowe wnioski

Generowanie wielu odpowiedzi w jednym wywołaniu

Parametr n instruuje model, aby w ramach jednego żądania API wygenerował wiele alternatywnych odpowiedzi na ten sam prompt. Choć może się to wydawać drobną funkcją, umożliwia ona trzy poważne przypadki użycia: porównanie dwóch sformułowań promptów na zbiorze próbnym, automatyczny wybór najlepszej odpowiedzi z partii oraz eksplorację przestrzeni rozwiązań zamiast akceptowania pierwszego wyniku.

Domyślnie n=1, a API zwraca pojedynczą odpowiedź w polu choices. Jeśli ustawisz n=5, tablica będzie zawierać pięć wpisów, z których każdy ma własny index. Zwróć uwagę na temperaturę ustawioną na 1.0 w poniższym przykładzie: bez wystarczającej losowości wszystkie pięć odpowiedzi byłoby identycznych, co uczyniłoby to wywołanie bezużytecznym.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="ministral-3b-latest",
    messages=[
        {"role": "user", "content": "What is the best programming language for beginners? One word only."}
    ],
    temperature=1.0,  # Wysoka temperatura, aby zmaksymalizować różnorodność
    n=5
)

for choice in response.choices:
    print(f"Response {choice.index}: {choice.message.content}")

O dwa czynniki decydują o praktycznej wartości tego parametru. Pierwszym jest rozliczenie: tokeny wejściowe są naliczane tylko raz, ponieważ prompt jest wysyłany jednokrotnie, natomiast tokeny wyjściowe są naliczane za każde uzupełnienie. Przy n=5 i max_tokens=100 Twój limit wyjścia skacze do 500 tokenów. To właśnie czyni parametr n atrakcyjnym dla długich promptów – amortyzacja dużego kontekstu na pięć odpowiedzi kosztuje znacznie mniej niż wykonanie pięciu osobnych wywołań.

print(f"Prompt tokens  : {response.usage.prompt_tokens}")     # Naliczane 1x
print(f"Response tokens: {response.usage.completion_tokens}")  # Naliczane nx
print(f"Total          : {response.usage.total_tokens}")

Drugim czynnikiem jest kompatybilność: nie wszystkie modele Mistral obsługują parametr n. Od kwietnia 2026 r. najnowsze wersje modelu mistral-large nie obsługują n > 1. Do tej funkcji użyj ministral-3b-latest lub innych kompatybilnych modeli – dlatego wszystkie przykłady w tej lekcji opierają się na tym modelu.

Wybór najlepszej odpowiedzi

Pierwszy przypadek użycia polega na wygenerowaniu wielu kandydatów i zachowaniu najlepszego z nich na podstawie zdefiniowanego przez Ciebie kryterium. Mechanizm jest celowo ogólny: best_of_n akceptuje dowolną funkcję oceniającą, co pozwala mierzyć to, co istotne w Twoim kontekście – obecność obowiązkowego słowa kluczowego, poprawność JSON lub zgodność z docelową długością. Funkcja length_scorer ilustruje to ostatnie kryterium, gdzie wynik maleje proporcjonalnie do odchylenia od docelowej długości.

def best_of_n(client, messages, n=5, scorer=None, **kwargs):
    """Generuje N odpowiedzi i wybiera najlepszą."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.9,
        **kwargs
    )

    candidates = [
        {
            "index": c.index,
            "content": c.message.content,
            "score": scorer(c.message.content) if scorer else 0
        }
        for c in response.choices
    ]

    if scorer:
        candidates.sort(key=lambda x: x["score"], reverse=True)

    return candidates

# Scorer: odpowiednia długość (ani za krótka, ani za długa)
def length_scorer(text: str, target=200) -> float:
    """Wynik oparty na zbliżeniu do docelowej długości."""
    diff = abs(len(text) - target)
    return max(0, 1 - diff / target)

candidates = best_of_n(
    client,
    [{"role": "user", "content": "Write a summary of generative AI in 2026."}],
    n=5,
    scorer=length_scorer,
    max_tokens=300
)

print("Best response:")
print(candidates[0]["content"])
print(f"Score: {candidates[0]['score']:.2f}")

Porównanie dwóch promptów na próbce

Drugi przypadek użycia ma charakter metodyczny, a nie produktowy. Przy podejmowaniu decyzji między dwoma sformułowaniami promptu, porównanie pojedynczej odpowiedzi z inną niczego nie dowodzi: różnicę mogłaby wyjaśniać sama wariancja modelu. Generując N odpowiedzi dla każdej wersji i mierząc średnią długość oraz wskaźnik unikalnych odpowiedzi, uzyskujesz wstępne dowody. Wynik różnorodności równy 1.0 dla promptu mającego generować stabilny format to czerwona flaga, a nie dobra wiadomość.

def ab_test_prompts(client, prompt_a: str, prompt_b: str, n: int = 5):
    """Porównuje dwa prompty, generując N odpowiedzi dla każdego."""
    results = {}

    for label, prompt in [("A", prompt_a), ("B", prompt_b)]:
        response = client.chat.complete(
            model="ministral-3b-latest",
            messages=[{"role": "user", "content": prompt}],
            n=n,
            temperature=0.8,
            max_tokens=200
        )

        texts = [c.message.content for c in response.choices]
        avg_length = sum(len(t) for t in texts) / len(texts)
        unique_ratio = len(set(texts)) / len(texts)

        results[label] = {
            "avg_length": round(avg_length),
            "diversity": round(unique_ratio, 2),
            "sample": texts[0][:150]
        }

    return results

# Test
results = ab_test_prompts(
    client,
    "Summarize the benefits of Python.",
    "List the 3 main benefits of Python in one sentence each."
)

for label, data in results.items():
    print(f"\nPrompt {label}:")
    print(f"  Average length : {data['avg_length']} chars")
    print(f"  Diversity      : {data['diversity']}")
    print(f"  Sample         : {data['sample']}...")

Poprawa niezawodności klasyfikacji poprzez głosowanie

Trzeci przypadek użycia oferuje najwyższy zwrot z inwestycji (ROI) w środowisku produkcyjnym. W zadaniu klasyfikacji pojedyncza odpowiedź nic nie mówi o pewności modelu: odpowiedź może być oczywista lub może stanowić niepewne zgadywanie między dwiema kategoriami. Wygeneruj siedem odpowiedzi, policz głosy, a uzyskasz zarówno etykietę, jak i użyteczny wskaźnik pewności – klasyfikacja 4/7 może zostać skierowana do walidacji przez człowieka, podczas gdy 7/7 przechodzi bezpośrednio. Użycie nieparzystej liczby pozwala uniknąć remisów.

from collections import Counter

def majority_vote(client, messages, n=7, **kwargs):
    """Klasyfikacja większością głosów na podstawie N uzupełnień."""
    response = client.chat.complete(
        model="ministral-3b-latest",
        messages=messages,
        n=n,
        temperature=0.7,
        max_tokens=20,
        **kwargs
    )

    votes = [c.message.content.strip().upper() for c in response.choices]
    counts = Counter(votes)
    winner, count = counts.most_common(1)[0]
    confidence = count / n

    return {
        "result": winner,
        "confidence": round(confidence, 2),
        "votes": dict(counts),
        "n": n
    }

# Klasyfikacja sentymentu
result = majority_vote(
    client,
    messages=[
        {"role": "system", "content": "Classify the sentiment: POSITIVE, NEGATIVE, or NEUTRAL. Reply with one word only."},
        {"role": "user", "content": "The product is okay but the delivery was very slow."}
    ],
    n=7
)

print(f"Result    : {result['result']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Votes     : {result['votes']}")

Kiedy używać n > 1

Ten parametr nie jest uzasadniony wszędzie: przy standardowym ruchu każde dodatkowe uzupełnienie to koszt wyjściowy bez zwrotu. Poniższa tabela podsumowuje obronne wartości w zależności od scenariusza.

ScenariuszZalecane nDlaczego
Standardowa produkcja1Minimalny koszt
Selekcja jakościowa3-5Best-of-N dla tekstu krytycznego
Odporna klasyfikacja5-9 (nieparzyste)Głosowanie większością dla niezawodności
Testy A/B promptów5-10Wystarczająca wielkość próbki do porównania
Burza mózgów5-10Maksymalna różnorodność pomysłów

Kluczowe wnioski

  • Parametr n generuje wiele odpowiedzi w jednym wywołaniu API
  • Tokeny wejściowe są naliczane raz; tokeny wyjściowe są mnożone przez N
  • Nie wszystkie modele obsługują n > 1 – sprawdź kompatybilność
  • Głosowanie większością poprawia niezawodność klasyfikacji
  • Best-of-N wybiera najlepszą odpowiedź na podstawie mierzalnego kryterium
  • Używaj wysokiej temperatury z n > 1, aby zmaksymalizować różnorodność odpowiedzi