Sekwenzi ta' waqfien
F'din il-paġna
Iwaqqaf il-ġenerazzjoni fil-mument it-tajjeb
B’mod awtomatiku, il-mudell jieqaf għal żewġ raġunijiet biss: jiddeċiedi li temm ir-risposta tiegħu u jemetti t-token tal-aħħar tiegħu, jew jilħaq is-saqaf ta’ max_tokens. Dawn iż-żewġ kriterji ma jkoprux kull każ ta’ użu. Xi drabi trid li l-ġenerazzjoni tieqaf f’punt li taf int biss—eżatt qabel is-sezzjoni li jmiss ta’ dokument, eżatt wara li jingħalaq blokk JSON, jew hekk kif il-mudell jibda jżid kummentarju li m’għandekx bżonn.
Is-sekwenzi ta’ waqfien (stop sequences) iżidu dan it-tielet kriterju: hekk kif il-mudell jipproduċi sekwenza ta’ test li tkun iddeżinjajt, il-ġenerazzjoni tieqaf immedjatament. Ħsiebha bħala għodda ta’ qtugħ preċiża, is-suppliment naturali għall-istruzzjonijiet tal-iffurmat fil-messaġġ tas-sistema tiegħek, li l-mudell isegwi sew iżda mhux dejjem perfettament.
Kif jaħdem il-parametru stop
Il-parametru jaċċetta lista ta’ strings. L-ewwel waħda li tidher fl-output temm il-ġenerazzjoni:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the 10 largest cities in France."}
],
stop=["6."] # Stop after the first 5
)
print(response.choices[0].message.content)
# 1. Paris
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice
Żewġ imġiebet jispikkaw f’dan l-eżempju. Is-sekwenza ta’ waqfien mhix inkluża fir-risposta: tikseb it-test li jippreċediha, mingħajr ħtieġa ta’ tindifa min-naħa tiegħek. U r-finish_reason hija "stop", eżatt bħal waqfien naturali—l-API ma tagħmilx distinzjoni bejn iż-żewġ każijiet, allura jiddependi minnek li tiftakar x’itolbt.
Tliet każijiet tipiċi ta’ użu
L-ewwel każ jittratta l-mudell li jħobb jitkellem wisq. Titlob belt kapitali, u hu jagħtik il-kapitali flimkien ma’ tliet sentenzi ta’ spjegazzjoni li l-interfaċċa tiegħek ma kinitx tistenna. Il-prompt tas-sistema jistabbilixxi l-intenzjoni; is-sekwenzi ta’ waqfien jinfurzawha:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer with only the city name, nothing else."
},
{
"role": "user",
"content": "What is the capital of Italy?"
}
],
stop=["\n", ".", "Explanation"] # Stop at the first newline or period
)
print(response.choices[0].message.content.strip())
# Rome
It-tieni każ ikopri l-ġenerazzjoni ta’ dokumenti sezzjoni b’sezzjoni, meta trid iżżomm il-kontroll bejn il-partijiet minflok ma tħalli lill-mudell jipproduċi rapport sħiħ f’daqqa waħda. Tieqaf fuq id-delimitaturi li jissignalaw x’jiġi wara:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Write the Introduction section of a report."
},
{
"role": "user",
"content": "Topic: the impact of AI on employment in Europe."
}
],
stop=["## ", "---", "Conclusion"] # Stop before the next section
)
It-tielet każ huwa l-aktar effiċjenti fir-rigward tal-ispejjeż fil-prattika: l-estrazzjoni ta’ JSON użabbli mingħajr pass ta’ tindifa. Il-mudelli għandhom it-tendenza li jdawru l-output tagħhom b’test esplicattiv, li jkisser json.loads(); il-qtugħ f’newline doppju jew triple backticks jelimina l-problema mill-għerq.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Respond only with valid JSON."
},
{
"role": "user",
"content": "Give me info for Paris: population, country, time zone."
}
],
stop=["\n\n", "```"] # Stop after the JSON block
)
Tgħaqqad is-sekwenzi ta’ waqfien mal-istreaming
Xejn ma jipprevjenik milli tgħaqqad iż-żewġ mekkaniżmi: l-istreaming jieqaf hekk kif tiġi skoperta waħda mis-sekwenzi ta’ waqfien fit-test iġġenerat, u l-biċċiet (chunks) li diġà rċevejibt jibqgħu validi.
stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Tell a short story."}
],
stop=["Fin.", "THE END", "---"]
)
full_text = ""
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_text += content
print(content, end="", flush=True)
print(f"\n\nText: {len(full_text)} characters")
Limitazzjonijiet tal-mekkaniżmu
Erba’ restrizzjonijiet jirregolaw l-użu tal-parametru stop. Tista’ tipprovdi massimu ta’ erba’ sekwenzi għal kull talba, li jfurzak tagħżel l-aktar waħdiet diskriminanti minflok ma tgħabbihom. Huma sensittivi għall-kaxxa (case-sensitive): "end" qatt ma taqbad "End", allura trid tikkunsidra l-varjanti li jimpurtaw. Is-sekwenza qatt ma tiġi inkluża fir-risposta, li jimpotta jekk il-format mistenni tiegħek jintemm b’dak id-delimitatur. Fl-aħħar nett, is-sejbien iseħħ token b’token: jekk is-sekwenza tiegħek taqa’ f’nofs token, tibqa’ mhux osservata—raġuni oħra biex tagħżel delimitaturi b’ħafna karattri minflok simbolu wieħed.
Żbalji għaljin
L-iżball l-aktar komuni huwa sekwenza li hija qasira wisq, li tikkawża waqfiet prematuri. Perjodu wieħed iwaqqaf il-ġenerazzjoni fl-ewwel sentenza li jara, anke f’nofs abbrevjazzjoni; l-iżball simetriku huwa li tagħżel string li l-mudell qatt ma se jipproduċi, f’liema każ il-parametru ma jagħmel xejn u inti temmen bi żball li stabbilixxejt gardrail.
# BAD: sequence too short, premature stops
stop=["."] # Stops at every sentence!
# GOOD: context-specific sequence
stop=[".\n\n"] # Stops after a period followed by a double newline
# BAD: sequence the model will never produce
stop=["XYZZY"] # Has no effect
# GOOD: realistic sequence based on expected format
stop=["Next question:", "---"]
Ir-regola li toħroġ minn dawn l-erba’ linji hija sempliċi: sekwenza ta’ waqfien tajba tiġi mill-format li tlabt lill-mudell juża, qatt mill-immaġinazzjoni tiegħek.
Eżempju sħiħ: Mistoqsija u Tweġiba kkontrollata
Ejja ngħaqqdu dawn l-elementi f’funzjoni qasira ta’ mistoqsija u tweġiba, fejn temperatura baxxa tiżgura stabbiltà fattwali, max_tokens jistabbilixxi saqaf ta’ sigurtà, u s-sekwenzi ta’ waqfien jaqtgħu l-kummentarju li l-mudell jista’ jkun imħeġġeġ iżid wara t-tweġiba tiegħu:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
def ask_single_question(question: str) -> str:
"""Ask a question and get a concise answer without chatter."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer in a single sentence, directly and factually."
},
{"role": "user", "content": question}
],
max_tokens=100,
stop=["\n\n", "Remark:", "Note:"],
temperature=0.1
)
return response.choices[0].message.content.strip()
# Test
questions = [
"What is the speed of light?",
"Who invented the telephone?",
"How many planets are in the solar system?"
]
for q in questions:
print(f"Q: {q}")
print(f"A: {ask_single_question(q)}\n")
Iddi din l-iskritt darba hekk kif inhi, u mbagħad darb’oħra wara li tneħħi l-parametru stop: it-tqabbil taż-żewġ outputs jurik eżattament x’jiffiltraw dawn it-tliet sekwenzi.
Punti Ewlenin
- Is-sekwenzi ta’ waqfien iwaqqfu l-ġenerazzjoni meta l-mudell jipproduċi test speċifiku
- Massimu ta’ 4 sekwenzi għal kull talba; sensittivi għall-kaxxa
- Is-sekwenza ta’ waqfien qatt ma tiġi inkluża fir-risposta
- Uża sekwenzi speċifiċi biżżejjed biex tevita waqfiet prematuri
- Kompatibbli mal-istreaming u mal-parametri l-oħra kollha