Kompletamenti N u Sekwenzi ta' Waqfien
F'din il-paġna
Iġġenera risposti multipli f’talba waħda
Biex nagħlqu din it-taqsima dwar il-parametri tal-ġenerazzjoni, se nanalizzaw żewġ għodod prattiċi ta’ kontroll: il-parametru N completions, li jippermettilek titlob risposti multipli mill-istess prompt f’sejħa API waħda, u s-sekwenzi ta’ waqfien (stop sequences), li jiddeterminaw fejn tieqaf il-ġenerazzjoni. L-ewwel jgħinek tqabbel alternattivi, tiżdied iċ-ċans li tikseb risposta ottimali, jew titma’ proċess ta’ għażla awtomatika; it-tieni jagħtik kontroll fuq it-tul u l-format tal-outputs.
Il-parametru n: kif jaħdem
Meta tissettja n=5, il-mudell jiġġenera 5 risposti indipendenti għall-prompt tiegħek, kull waħda rritornata bħala għażla distinta fl-oġġett tar-risposta. Hemm punt wieħed dwar il-fatturar li jeħtieġ attenzjoni qabel ma tużah ħafna: it-tokens tal-input—il-prompt tiegħek—jiġu ffratturati darba biss, iżda t-tokens tal-output jiġu ffratturati għal kull kompletament. Ma’ n=5, tħallas ħames darbiet għat-tokens tal-output, iżda darba biss għall-prompt: għal prompt twil u risposti qosra, dan huwa ferm aktar ekonomiku milli ħames sejħiet separati.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a slogan for a French organic coffee brand."}
],
n=5,
temperature=0.8
)
for i, choice in enumerate(response.choices):
print(f"Option {i+1}: {choice.message.content}")
Dan il-kodiċi jipproduċi 5 slogans differenti, li minnhom tagħżel l-aħjar wieħed. Dan huwa l-ewwel użu ewlieni ta’ n: il-ġenerazzjoni kreattiva, fejn li tikseb għażliet multipli għal slogan, titlu, jew isem ta’ prodott huwa aħjar minn tentattiv wieħed. It-tieni użu huwa l-klassifikazzjoni bil-votazzjoni: tiġġenera N klassifikazzjonijiet tal-istess test u żżomm ir-risposta tal-maġġoranza, li tnaqqas l-iżbalji okkażjonali. Tużah ukoll għall-esplorazzjoni—ittestjar ta’ diversi approċċi għall-istess problema—u għall-kontroll tal-kwalità, billi tiċċekkja l-konsistenza tal-mudell billi tqabbel ir-risposti tiegħu stess.
Irrid tkun taf tliet limitazzjonijiet qabel ma tiddispjega dan. L-ewwel, mhux il-mudelli kollha ta’ Mistral jappoġġjaw n akbar minn 1: iċċekkja d-dokumentazzjoni għall-mudell li qed tuża. Sussegwentement, il-latency tiżdied ma’ n, peress li l-mudell jiġġenera aktar tokens totalment. Fl-aħħar nett—u dan huwa żball klassiku tal-bidu—dejjem għaqqad n > 1 ma’ temperatura suffiċjenti (0.5 u ‘l fuq): f’temperatura 0, il-ħames risposti tiegħek ikunu kważi identiċi u tkun ħallast ħames darbiet għall-istess sentenza.
Sekwenzi ta’ waqfien: ikkontrolla fejn tieqaf il-ġenerazzjoni
Is-sekwenzi ta’ waqfien huma sekwenzi ta’ karattri li jfurzaw lill-mudell jieqaf hekk kif jiġġenerahom. Dan huwa mekkaniżmu essenzjali biex tikkontrolla t-tul u l-format tar-risposti. Ejja nibdaw b’eżempju deliberatament sempliċi biex nistabbilixxu l-kunċett:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the days of the week, one per line."}
],
stop=["Saturday"]
)
Hawnhekk, il-mudell jieqaf hekk kif jiġġenera l-kelma “Saturday”, u jipproduċi lista mqassra. Fil-prattika, is-sekwenzi ta’ waqfien huma l-aktar utli ma’ delimaturi strutturali. L-ewwel każ ta’ użu: estrazzjoni ta’ taqsima waħda minn risposta strutturata. Jekk il-prompt tiegħek jitlob analiżi fi tliet partijiet, li twaqqaf il-ġenerazzjoni fit-tieni titolu jagħtik biss l-ewwel waħda:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": """Analyze this product:
## Strengths
(your analysis here)
## Weaknesses
(your analysis here)
## Conclusion
(your analysis here)"""}
],
stop=["## Weaknesses"]
)
# The model stops after the strengths
It-tieni każ: illimita l-ġenerazzjoni għal blokk JSON, billi tgħaqqad is-sekwenza ta’ waqfien ma’ pre-mili (pre-fill) tal-messaġġ tal-assistent li jiftaħ l-parentesi:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Return the metadata for this article in JSON."},
{"role": "assistant", "content": "{", "prefix": True}
],
stop=["}"]
)
# The model generates the JSON content and stops at the closing brace
It-tielet każ: ipprevjeni lill-mudell milli jkompli wara r-risposta tiegħu. Għal mistoqsija magħluqa, li twaqqaf fl-ewwel ksur tal-linja jiggarantixxi “IVA” jew “LE” niexef, mingħajr paragrafu ta’ ġustifikazzjoni li ma tliftx:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Answer the following question with YES or NO only.\nIs the Earth round?"}
],
stop=["\n"]
)
Il-parametru max_tokens
Bħala kumpliment għas-sekwenzi ta’ waqfien, max_tokens jissettja limitu iebsa fuq in-numru ta’ tokens tal-output:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Summarize the history of France."}
],
max_tokens=200
)
Oqgħod attent għall-imġiba tiegħu: max_tokens jaqta’ r-risposta għal għarrieda, potenzjalment f’nofs sentenza—is-sommarju tiegħek jista’ jispiċċa b‘“u għalhekk Napuljun”. Itrattah bħala netwerk ta’ sigurtà kontra risposti bla tmiem, mhux bħala l-metodu primarju biex tikkontrolla t-tul. Għal dak, ippreferi struzzjonijiet fil-prompt (“wieġeb f’3 sentenzi”) flimkien ma’ max_tokens ġeneruż.
Għaqqad il-parametri
Dawn il-mekkaniżmi jirnexxu meta jintużaw flimkien. L-eżempju li ġej jiġġenera 5 titli differenti ta’ artikli, kull wieħed limitat għal linja waħda grazzi għas-sekwenza ta’ waqfien, b’saqaf ta’ 50 token bħala salvagwardja:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You generate blog article titles. One title per response."
},
{
"role": "user",
"content": "Theme: workplace productivity in 2026"
}
],
n=5,
temperature=0.8,
max_tokens=50,
stop=["\n"]
)
titres = [choice.message.content.strip() for choice in response.choices]
for i, titre in enumerate(titres):
print(f"{i+1}. {titre}")
Punti Ewlenin
- Il-parametru
njiġġenera risposti multipli f’sejħa waħda (it-tokens tal-input jiġu ffratturati darba) - Għaqqad
n > 1ma’ temperatura suffiċjenti biex tikseb varjazzjonijiet reali - Is-sekwenzi ta’ waqfien iwaqqfu l-ġenerazzjoni f’delimatur speċifiku
max_tokenshuwa netwerk ta’ sigurtà, mhux kontroll primarju tat-tul- Għaqqad dawn il-parametri għal kontroll fin tal-ġenerazzjoni