Completări N și secvențe de oprire
Pe această pagină
Generarea mai multor răspunsuri într-o singură cerere
Pentru a încheia această secțiune despre parametrii de generare, vom analiza două instrumente practice de control: parametrul N completări, care vă permite să solicitați mai multe răspunsuri pentru același prompt într-un singur apel API, și secvențele de oprire, care determină momentul în care se încheie generarea. Primul vă ajută să comparați alternative, să vă măriți șansele de a obține un răspuns optim sau să alimentați un proces de selecție automată; al doilea vă oferă control asupra lungimii și formatului ieșirilor.
Parametrul n: cum funcționează
Când setați n=5, modelul generează 5 răspunsuri independente pentru promptul dumneavoastră, fiecare fiind returnat ca o alegere distinctă în obiectul de răspuns. Un aspect legat de facturare merită atenția dumneavoastră înainte de a utiliza intens această funcție: tokenii de intrare—promptul dumneavoastră—sunt facturați o singură dată, dar tokenii de ieșire sunt facturați pentru fiecare completare. Cu n=5, plătiți de cinci ori pentru tokenii de ieșire, dar doar o dată pentru prompt: pentru un prompt lung și răspunsuri scurte, acest lucru este semnificativ mai economic decât cinci apeluri separate.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propune un slogan pentru o marcă franceză de cafea bio."}
],
n=5,
temperature=0.8
)
for i, choice in enumerate(response.choices):
print(f"Opțiunea {i+1}: {choice.message.content}")
Acest cod produce 5 sloganuri diferite, din care îl alegeți pe cel mai bun. Aceasta este prima utilizare majoră a lui n: generarea creativă, unde obținerea mai multor opțiuni pentru un slogan, un titlu sau un nume de produs este superioară unei singure încercări. A doua utilizare este clasificarea prin vot: generați N clasificări ale aceluiași text și păstrați răspunsul majoritar, ceea ce atenuează erorile ocazionale. Îl utilizați, de asemenea, pentru explorare—testarea mai multor abordări pentru aceeași problemă—și pentru controlul calității, verificând consistența modelului prin compararea propriilor sale răspunsuri.
Cunoașteți trei limite înainte de a implementa această soluție. În primul rând, nu toate modelele Mistral suportă n mai mare de 1: verificați documentația pentru modelul pe care îl utilizați. În al doilea rând, latența crește odată cu n, deoarece modelul generează mai mulți tokeni în total. În final—și aceasta este o greșeală clasică a începătorilor—combinați întotdeauna n > 1 cu o temperatură suficientă (0,5 și peste): la temperatura 0, cele cinci răspunsuri ale dumneavoastră vor fi aproape identice și veți fi plătit de cinci ori pentru aceeași propoziție.
Secvențe de oprire: controlați unde se încheie generarea
Secvențele de oprire sunt șiruri de caractere care forțează modelul să se oprească imediat ce le generează. Acesta este un mecanism esențial pentru controlul lungimii și formatului răspunsurilor. Să începem cu un exemplu deliberat simplist pentru a stabili conceptul:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Enumerați zilele săptămânii, câte una pe fiecare rând."}
],
stop=["Saturday"]
)
Aici, modelul se oprește imediat ce generează cuvântul „Saturday“, producând o listă trunchiată. În practică, secvențele de oprire sunt cele mai utile cu delimitatorii structurali. Primul caz de utilizare: extragerea unei singure secțiuni dintr-un răspuns structurat. Dacă promptul dumneavoastră solicită o analiză în trei părți, oprirea generării la al doilea titlu vă oferă doar prima parte:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": """Analizați acest produs:
## Puncte forte
(analiza dumneavoastră aici)
## Puncte slabe
(analiza dumneavoastră aici)
## Concluzie
(analiza dumneavoastră aici)"""}
],
stop=["## Puncte slabe"]
)
# Modelul se oprește după punctele forte
Al doilea caz: limitarea generării la un bloc JSON, combinând secvența de oprire cu o pre-completare a mesajului asistentului care deschide acolada:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Returnați metadatele pentru acest articol în format JSON."},
{"role": "assistant", "content": "{", "prefix": True}
],
stop=["}"]
)
# Modelul generează conținutul JSON și se oprește la acolada de închidere
Al treilea caz: prevenirea continuării modelului după răspunsul său. Pentru o întrebare închisă, oprirea la prima întrerupere de linie garantează un „DA“ sau „NU“ sec, fără paragraful de justificare pe care nu l-ați solicitat:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Răspundeți la următoarea întrebare doar cu DA sau NU.\nEste Pământul rotund?"}
],
stop=["\n"]
)
Parametrul max_tokens
Complementar secvențelor de oprire, max_tokens stabilește o limită rigidă asupra numărului de tokeni de ieșire:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Rezumă istoria Franței."}
],
max_tokens=200
)
Observați comportamentul său: max_tokens taie răspunsul brusc, potențial la mijlocul unei propoziții—rezumatul dumneavoastră s-ar putea termina cu „și astfel Napoleon“. Tratați-l ca pe o plasă de siguranță împotriva răspunsurilor interminabile, nu ca pe metoda principală de control al lungimii. Pentru aceasta, preferați instrucțiunile din prompt („răspundeți în 3 propoziții“) combinate cu un max_tokens generos.
Combinarea parametrilor
Aceste mecanisme strălucesc atunci când sunt utilizate împreună. Exemplul următor generează 5 titluri de articol diferite, fiecare limitat la un singur rând datorită secvenței de oprire, cu un plafon de 50 de tokeni ca măsură de siguranță:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Generezi titluri de articole de blog. Un titlu per răspuns."
},
{
"role": "user",
"content": "Temă: productivitatea la locul de muncă în 2026"
}
],
n=5,
temperature=0.8,
max_tokens=50,
stop=["\n"]
)
titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
print(f"{i+1}. {titre}")
Puncte cheie
- Parametrul
ngenerează mai multe răspunsuri într-un singur apel (tokenii de intrare sunt facturați o singură dată) - Combinați
n > 1cu o temperatură suficientă pentru a obține variații reale - Secvențele de oprire opresc generarea la un delimitator specific
max_tokenseste o plasă de siguranță, nu un control principal al lungimii- Combinați acești parametri pentru un control fin al generării