Seichimh stad
Ar an leathanach seo
An ghiniúint a stopadh ag an am ceart
Go réamhshocraithe, ní stopann an múnla ach ar dhá chúis: cinneann sé go bhfuil a fhreagra críochnaithe aige agus eisíonn sé a chomhartha deiridh, nó buaileann sé an t-uasteorainn max_tokens. Ní chlúdaíonn an dá chritéar seo gach cás úsáide. Uaireanta, ba mhaith leat go stopfadh an ghiniúint ag pointe nach bhfuil ar eolas ach duitse—díreach roimh an chéad rannán de dhoiciméad, díreach tar éis bloc JSON a dhúnadh, nó chomh luath agus a thosaíonn an múnla trácht a chur leis nach bhfuil uait.
Cuireann seichimh stad an tríú critéar seo leis: chomh luath agus a tháirgeann an múnla seicheamh téacs a d’ainmnigh tú, stopann an ghiniúint láithreach. Smaoinigh air mar uirlis ghearrtha chruinn, an comhlánú nádúrtha do na treoracha formáidithe i do theachtaireacht chórais, a leanann an múnla go maith ach nach leanann sé i gcónaí go foirfe.
Conas a oibríonn an paraiméadar stop
Glacann an paraiméadar le liosta teaghrán. Is é an chéad cheann a fheictear san aschur a stopann an ghiniúint:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List the 10 largest cities in France."}
],
stop=["6."] # Stop after the first 5
)
print(response.choices[0].message.content)
# 1. Paris
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice
Tá dhá iompraíocht le sonrú sa sampla seo. Ní áirítear an seicheamh stad san fhreagra: faigheann tú an téacs a thagann roimhe, gan aon ghlanadh ag teastáil uait. Agus is é "stop" an luach atá ar finish_reason, díreach mar a bheadh le stad nádúrtha—ní dhéanann an API idirdhealú idir an dá cheann, mar sin is ortsa atá sé cuimhneamh ar an rud a d’iarr tú.
Trí chás úsáide tipiciúla
Is é an chéad chás ná déileáil leis an múnla cainteoir. Iarraíonn tú ar phríomhchathair, agus tugann sé an phríomhchathair móide trí abairt míniúcháin nach raibh do chomhéadan ag súil leo. Socraíonn an chóras-ráiteas an rún; forfheidhmíonn seichimh stad é:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer with only the city name, nothing else."
},
{
"role": "user",
"content": "What is the capital of Italy?"
}
],
stop=["\n", ".", "Explanation"] # Stop at the first newline or period
)
print(response.choices[0].message.content.strip())
# Rome
Clúdaíonn an dara cás giniúint doiciméad ar bhonn rannán ar rannán, nuair is mian leat smacht a choinneáil idir codanna seachas ligean don mhúnla tuarascáil iomlán a tháirgeadh in aon turas amháin. Stopann tú ag na teorainneoirí a léiríonn cad a thagann ina dhiaidh:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Write the Introduction section of a report."
},
{
"role": "user",
"content": "Topic: the impact of AI on employment in Europe."
}
],
stop=["## ", "---", "Conclusion"] # Stop before the next section
)
Is é an tríú cás an ceann is cost-éifeachtaí i gcleachtas: JSON inúsáidte a eastósct gan céim glantacháin. Tá claonadh ag múnlaí a n-aschur a chur i mbosca le téacs míniúcháin, rud a bhriseann json.loads(); má ghearrann tú ag líne dhúbailte nó ag trí chomhartha tic dhúbailte, cuirtear deireadh leis an bhfadhb ag an bhfoinse.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Respond only with valid JSON."
},
{
"role": "user",
"content": "Give me info for Paris: population, country, time zone."
}
],
stop=["\n\n", "```"] # Stop after the JSON block
)
Seichimh stad agus sruthú a chomhcheangal
Níl aon rud ag cur bac ort an dá mheicníocht a chomhcheangal: stopann an sruth chomh luath agus a bhraitear ceann de na seichimh stad sa téacs ginte, agus fanann na píosaí a fuair tú cheana bailí.
stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Tell a short story."}
],
stop=["Fin.", "THE END", "---"]
)
full_text = ""
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_text += content
print(content, end="", flush=True)
print(f"\n\nText: {len(full_text)} characters")
Teorainneacha na meicníochta
Rialaíonn ceithre shrian úsáid an pharaiméadair stop. Is féidir leat ceithre sheicheamh ar a mhéad a sholáthar in aghaidh na hiarratais, rud a chiallaíonn go gcaithfidh tú na cinn is idirdhealaithe a roghnú seachas iad a charnadh. Tá cásíogair ann: ní ghabhfaidh "end" riamh "End", mar sin ní mór duit na leaganacha ábhartha a chur san áireamh. Ní áirítear an seicheamh riamh san fhreagra, rud atá tábhachtach má chríochnaíonn do fhormáida raibhthar ag súil leis an teorainneoir sin. Ar deireadh, tarlaíonn an braiteadh token ar token: má thiteann do sheicheamh i lár token, rachaidh sé gan bhrath—cúis eile le teorainneoirí ilcharachtair a roghnú seachas siombail amháin.
Botúin chostasacha
Is é an botún is coitianta ná seicheamh atá ró-ghearr, rud a spreagann stadanna ró-luatha. Stopann ponc aonair an ghiniúint ag an gcéad abairt a fheiceann sé, fiú i lár giorrúcháin; is é an botún siméadrach ná teaghrán a roghnú nach dtáirgfear ag an múnla riamh, agus sa chás sin, ní dhéanann an paraiméadar aon rud agus creideann tú go mícheart go bhfuil cosantóir socraithe agat.
# BAD: sequence too short, premature stops
stop=["."] # Stops at every sentence!
# GOOD: context-specific sequence
stop=[".\n\n"] # Stops after a period followed by a double newline
# BAD: sequence the model will never produce
stop=["XYZZY"] # Has no effect
# GOOD: realistic sequence based on expected format
stop=["Next question:", "---"]
Is simplí an riail a eascraíonn as na ceithre líne seo: tagann seicheamh stad maith as an bhformáid a d’iarr tú ar an múnla a úsáid, ní as d’ shamhlócht riamh.
Sampla iomlán: Ceisteanna agus Freagraí rialaithe
Déanaimis na heilimintí seo a chur le chéile i bhfeidhm ghearr ceisteanna agus freagraí, áit a n-áirithíonn teocht íseal cobhsaíocht fhíriciúil, socraíonn max_tokens uasteorainn sábháilteachta, agus gearrann seichimh stad an trácht a d’fhéadfadh an múnla a bheith ar tí a chur lena fhreagra:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
def ask_single_question(question: str) -> str:
"""Ask a question and get a concise answer without chatter."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Answer in a single sentence, directly and factually."
},
{"role": "user", "content": question}
],
max_tokens=100,
stop=["\n\n", "Remark:", "Note:"],
temperature=0.1
)
return response.choices[0].message.content.strip()
# Test
questions = [
"What is the speed of light?",
"Who invented the telephone?",
"How many planets are in the solar system?"
]
for q in questions:
print(f"Q: {q}")
print(f"A: {ask_single_question(q)}\n")
Rith an script seo uair amháin mar atá sé, agus ansin uair eile tar éis duit an paraiméadar stop a bhaint: léiríonn comparáid idir an dá aschur go beacht cad a scagann na trí sheicheamh sin amach.
Príomhphointí
- Cuireann seichimh stad deireadh leis an nginiúint nuair a tháirgeann an múnla téacs sonrach
- Uasmhéid 4 sheicheamh in aghaidh na hiarratais; cásíogair
- Ní áirítear an seicheamh stad riamh san fhreagra
- Úsáid seichimh atá sonrach go leor chun stadanna ró-luatha a sheachaint
- Comhoiriúnach le sruthú agus le gach paraiméadar eile