N kiegészítések és leállítási szekvenciák
Ezen az oldalon
Több válasz generálása egyetlen kérésben
Ebben a fejezetben, amely a generálási paramétereket zárja le, két gyakorlati vezérlőeszközt vizsgálunk meg: az N kiegészítés (N completions) paramétert, amellyel egyetlen API-hívásból több választ kérhetsz ugyanarra a promptra, valamint a leállítási szekvenciákat, amelyek meghatározzák, hol álljon le a generálás. Az első segít az alternatívák összehasonlításában, növeli az optimális válasz megszerzésének esélyét, vagy táplálhat egy automatikus kiválasztási folyamatot; a második pedig kontrollt biztosít a kimenetek hossza és formátuma felett.
Az n paraméter: hogyan működik
Ha az n=5 értéket állítod be, a modell 5 független választ generál a promptodra, amelyek mindegyike különálló választásként jelenik meg a válaszobjektumban. Mielőtt nagy mértékben használnád ezt a funkciót, egy számlázási részletre fel kell hívnom a figyelmedet: a bemeneti tokeneket – azaz a promptodat – csak egyszer számlázzák, míg a kimeneti tokeneket minden egyes kiegészítés után külön-külön. Az n=5 beállítás esetén a kimeneti tokenekért ötször fizetsz, de a promptért csak egyszer: hosszú prompt és rövid válaszok esetén ez jelentősen gazdaságosabb, mint öt külön hívás indítása.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
],
n=5,
temperature=0.8
)
for i, choice in enumerate(response.choices):
print(f"Option {i+1}: {choice.message.content}")
Ez a kód 5 különböző szlogent hoz létre, amelyek közül kiválaszthatod a legjobbat. Ez az n paraméter első fő felhasználási területe: a kreatív generálás, ahol több lehetőség megszerzése egy szlogenhöz, címhez vagy terméknévhez jobb, mint egyetlen próbálkozás. A második felhasználási terület a szavazáson alapuló osztályozás: N osztályozást generálsz ugyanarra a szövegre, és a többségi választ tartod meg, ami kisimítja az alkalmi hibákat. Használhatod még felfedezésre is – több megközelítés tesztelése ugyanarra a problémára –, valamint minőségellenőrzésre is, ahol a modell saját válaszainak összehasonlításával ellenőrzöd annak konzisztenciáját.
Mielőtt bevetnéd ezeket, ismerj meg három korlátot. Először is, nem minden Mistral modell támogatja az 1-nél nagyobb n értéket: ellenőrizd a használt modell dokumentációját. Másodszor, a késleltetés (latency) nő az n növekedésével, mivel a modell összesen több tokent generál. Végül – és ez egy klasszikus kezdő hiba – az n > 1 értéket mindig elegendő hőmérséklettel (temperature 0,5 és afölött) kombináld: 0 hőmérsékleten az öt válaszod szinte azonos lesz, és ötször fizettél ugyanazért a mondatért.
Leállítási szekvenciák: a generálás végpontjának szabályozása
A leállítási szekvenciák olyan karakterláncok, amelyek arra kényszerítik a modellt, hogy azonnal álljon le, amint generálja őket. Ez alapvető mechanizmus a válaszok hosszának és formátumának szabályozásához. Kezdjük egy szándékosan leegyszerűsített példával a fogalom tisztázására:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the days of the week, one per line."}
],
stop=["Saturday"]
)
Itt a modell abban a pillanatban leáll, amint generálja a „Saturday“ szót, így egy csonka listát kapunk. A gyakorlatban a leállítási szekvenciák leginkább strukturális elválasztókkal használhatók hatékonyan. Első eset: egyetlen szakasz kinyerése egy strukturált válaszból. Ha a promptod egy három részből álló elemzést kér, és a generálást a második címsornál leállítod, csak az elsőt kapod meg:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
],
stop=["## Weaknesses"]
)
# A modell az erősségek után leáll
Második eset: a generálás korlátozása egy JSON blokkra, ahol a leállítási szekvenciát az asszisztens üzenetének előtöltésével (pre-fill) kombinálod, amely nyitja a zárójelet:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Return the metadata for this article in JSON."},
{"role": "assistant", "content": "{", "prefix": True}
],
stop=["}"]
)
# A modell generálja a JSON tartalmat, és a záró zárójelnél leáll
Harmadik eset: megakadályozni, hogy a modell a válasza után folytassa. Egy zárt kérdésnél az első sortörésnél történő leállítás garantálja a száraz „IGEN“ vagy „NEM“ választ, anélkül, hogy olyan indokló bekezdést kapnál, amit nem kértél:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
],
stop=["\n"]
)
A max_tokens paraméter
A leállítási szekvenciák kiegészítéseként a max_tokens egy szigorú korlátot szab a kimeneti tokenek számára:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Summarize the history of France."}
],
max_tokens=200
)
Figyeld meg a viselkedését: a max_tokens hirtelen levágja a választ, akár mondat közepén is – az összefoglalód végezheti úgy, hogy „és így Napóleon“. Tekints rá inkább biztonsági hálóként a végtelen válaszok ellen, semmint a hossz szabályozásának elsődleges módjaként. Ehelyett preferáld a promptban lévő utasításokat („3 mondatban válaszolj“), amelyeket egy nagylelkű max_tokens értékkel kombinálsz.
Paraméterek kombinálása
Ezek a mechanizmusok akkor ragyognak igazán, ha együtt használod őket. Az alábbi példa 5 különböző cikkcímet generál, amelyek mindegyike egyetlen sorra korlátozódik a leállítási szekvencia благодаря, míg az 50 tokenes felső korlát biztonsági hálóként szolgál:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You generate blog article titles. One title per response."
},
{
"role": "user",
"content": "Theme: workplace productivity in 2026"
}
],
n=5,
temperature=0.8,
max_tokens=50,
stop=["\n"]
)
titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
print(f"{i+1}. {titre}")
Főbb megállapítások
- Az
nparaméter több választ generál egyetlen hívásban (a bemeneti tokeneket csak egyszer számlázzák) - Az
n > 1értéket elegendő hőmérséklettel (temperature) kombináld a valódi variációk eléréséhez - A leállítási szekvenciák egy meghatározott elválasztónál állítják le a generálást
- A
max_tokensbiztonsági háló, nem pedig a hossz elsődleges szabályozója - Kombináld ezeket a paramétereket a finomhangolt generálásvezérlés érdekében