Sekvenssit pysäytykseen
Tällä sivulla
Generoinnin pysäyttäminen oikealla hetkellä
Oletusarvoisesti malli lopettaa vain kahdesta syystä: se päättää vastauksensa olevan valmis ja lähettää lopputokeninsa, tai se saavuttaa max_tokens-rajan. Nämä kaksi ehtoa eivät kata kaikkia käyttötapauksia. Joskus haluat generoinnin pysähtyvän pisteessä, jonka vain sinä tiedät – juuri ennen dokumentin seuraavaa osiota, heti JSON-lohkon sulkeuduttua tai heti, kun malli alkaa lisätä kommentteja, joita et tarvitse.
Pysäytyssekvenssit lisäävät tämän kolmannen ehdon: heti kun malli tuottaa määrittämäsi tekstijonon, generointi pysähtyy välittömästi. Ajattele sitä tarkkana leikkaustyökaluna, joka täydentää luontevasti järjestelmäviestisi muotoiluohjeita. Malli noudattaa ohjeita hyvin, mutta ei aina täydellisesti.
Miten stop-parametri toimii
Parametri hyväksyy merkkijonojen listan. Generointi päättyy heti, kun ensimmäinen listoista esiintyy tulosteessa:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the 10 largest cities in France."}
],
stop=["6."] # Pysäytä viiden ensimmäisen jälkeen
)
print(response.choices[0].message.content)
# 1. Paris
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice
Tässä esimerkissä kaksi käyttäytymismallia nousee esiin. Pysäytyssekvenssiä ei sisällytetä vastaukseen: saat tekstin, joka edeltää sitä, ilman että sinun tarvitsee siivota mitään. Lisäksi finish_reason on "stop", aivan kuten luonnollisessa pysäytyksessä – API ei tee eroa näiden kahden välillä, joten sinun on itse muistettava, mitä pyysit.
Kolme tyypillistä käyttötapausta
Ensimmäinen tapaus käsittelee puhelias malli. Pyydät pääkaupunkia, ja saat pääkaupungin lisäksi kolme selityslausetta, joita käyttöliittymäsi ei odottanut. Järjestelmäkehote määrittää tarkoituksen; pysäytyssekvenssit valvovat sen toteutumista:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer with only the city name, nothing else."
},
{
"role": "user",
"content": "What is the capital of Italy?"
}
],
stop=["\n", ".", "Explanation"] # Pysäytä ensimmäiseen rivinvaihtoon tai pisteeseen
)
print(response.choices[0].message.content.strip())
# Rome
Toinen tapaus kattaa dokumenttien generoinnin osio kerrallaan, kun haluat pitää kontrollin osien välissä sen sijaan, että antaisit mallin tuottaa koko raportin kerralla. Pysäytät erottimiin, jotka signaloivat seuraavaa sisältöä:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Write the Introduction section of a report."
},
{
"role": "user",
"content": "Topic: the impact of AI on employment in Europe."
}
],
stop=["## ", "---", "Conclusion"] # Pysäytä ennen seuraavaa osiota
)
Kolmas tapaus on käytännössä kustannustehokkain: käyttökelpoisen JSON:n erottaminen ilman siivousvaihetta. Malleilla on taipumus kääriä tulosteensa selitystekstin sisään, mikä rikkoo json.loads()-funktion; leikkaaminen kaksoisrivinvaihtoon tai kolmeen takakenoviivaan poistaa ongelman jo lähteellä.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Respond only with valid JSON."
},
{
"role": "user",
"content": "Give me info for Paris: population, country, time zone."
}
],
stop=["\n\n", "```"] # Pysäytä JSON-lohkon jälkeen
)
Pysäytyssekvenssien ja streamauksen yhdistäminen
Mikään ei estä yhdistämästä molempia mekanismeja: virta pysähtyy heti, kun jokin pysäytyssekvensseistä havaitaan generoidussa tekstissä, ja jo vastaanotetut chunkit pysyvät kelvollisina.
stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Tell a short story."}
],
stop=["Fin.", "THE END", "---"]
)
full_text = ""
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_text += content
print(content, end="", flush=True)
print(f"\n\nText: {len(full_text)} characters")
Mekanismin rajoitukset
stop-parametrin käyttöä hallitsevat neljä rajoitusta. Voit antaa enintään neljä sekvenssiä pyyntöä kohden, mikä pakottaa sinut valitsemaan kaikkein erottelukyvyltään parhaat sen sijaan, että lisäisit niitä määrättömästi. Ne ovat kirjainkokoherkkiä: "end" ei koskaan sieppaa merkkijonoa "End", joten sinun on otettava huomioon relevantit variaatiot. Sekvenssiä ei koskaan sisällytetä vastaukseen, mikä on tärkeää, jos odotetun formaattisi loppu päättyy kyseiseen erottimeen. Lopuksi havaitseminen tapahtuu token kerrallaan: jos sekvenssisi osuu tokenin keskelle, sitä ei huomata – tämä on yksi syy lisää valita monimerkkisiä erottimia yhden symbolin sijaan.
Kalliit virheet
Yleisin virhe on liian lyhyt sekvenssi, joka aiheuttaa ennenaikaisia pysäytyksiä. Yksittäinen piste pysäyttää generoinnin ensimmäiseen lauseeseen, jopa lyhenteen keskellä; symmetrinen virhe on valita merkkijono, jota malli ei koskaan tuota, jolloin parametri ei tee mitään ja luulet virheellisesti asettaneesi suojauksen.
# HUONO: sekvenssi liian lyhyt, ennenaikaisia pysäytyksiä
stop=["."] # Pysäyttää jokaiseen lauseeseen!
# HYVÄ: kontekstisidonnainen sekvenssi
stop=[".\n\n"] # Pysäyttää pisteen jälkeen, jota seuraa kaksoisrivinvaihto
# HUONO: sekvenssi, jota malli ei koskaan tuota
stop=["XYZZY"] # Ei vaikutusta
# HYVÄ: realistinen sekvenssi odotetun formaatin perusteella
stop=["Next question:", "---"]
Näistä neljästä rivistä seuraava sääntö on yksinkertainen: hyvä pysäytyssekvenssi johdetaan mallilta pyytämästäsi formaatista, ei koskaan omasta mielikuvituksestasi.
Täydellinen esimerkki: hallittu kysymys-vastaus
Kootaan nämä elementit lyhyeksi kysymys-vastaus-funktioksi, jossa matala lämpötila varmistaa faktuaalisen vakauden, max_tokens asettaa turvallisuuskaton ja pysäytyssekvenssit leikkaavat pois kommentit, joita malli saattaisi olla kiusattu lisäämään vastauksensa jälkeen:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
def ask_single_question(question: str) -> str:
"""Esitä kysymys ja saa tiivis vastaus ilman hölinää."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer in a single sentence, directly and factually."
},
{"role": "user", "content": question}
],
max_tokens=100,
stop=["\n\n", "Remark:", "Note:"],
temperature=0.1
)
return response.choices[0].message.content.strip()
# Testi
questions = [
"What is the speed of light?",
"Who invented the telephone?",
"How many planets are in the solar system?"
]
for q in questions:
print(f"Q: {q}")
print(f"A: {ask_single_question(q)}\n")
Suorita tämä skripti ensin sellaisenaan ja sen jälkeen toisen kerran poistamalla stop-parametri: kahden tulosteen vertailu näyttää täsmälleen, mitä nuo kolme sekvenssiä suodattavat pois.
Keskeiset asiat
- Pysäytyssekvenssit pysäyttävät generoinnin, kun malli tuottaa tiettyä tekstiä
- Enintään 4 sekvenssiä pyyntöä kohden; kirjainkokoherkkä
- Pysäytyssekvenssiä ei koskaan sisällytetä vastaukseen
- Käytä tarpeeksi spesifejä sekvenssejä välttääksesi ennenaikaiset pysäytykset
- Yhteensopiva streamauksen ja kaikkien muiden parametrien kanssa