Salt la conținutul principal
Română— Alege o limbă
Meniu

Secvențe de oprire

Lecția 7 din 16 Actualizată 2 noiembrie 2026 Dezvoltator
Pe această pagină
  1. Oprirea generării în momentul potrivit
  2. Cum funcționează parametrul stop
  3. Trei cazuri tipice de utilizare
  4. Combinarea secvențelor de oprire cu streaming-ul
  5. Limitările mecanismului
  6. Greșeli costisitoare
  7. Exemplu complet: Întrebări și Răspunsuri controlate
  8. Puncte cheie

Oprirea generării în momentul potrivit

În mod implicit, modelul se oprește doar din două motive: decide că și-a încheiat răspunsul și emite token-ul de final, sau atinge plafonul max_tokens. Aceste două criterii nu acoperă toate cazurile de utilizare. Uneori, doriți ca generarea să se oprească într-un punct cunoscut doar de dumneavoastră—chiar înainte de următoarea secțiune a unui document, imediat după închiderea unui bloc JSON, sau de îndată ce modelul începe să adauge comentarii de care nu aveți nevoie.

Secvențele de oprire adaugă acest al treilea criteriu: de îndată ce modelul produce o secvență de text pe care ați desemnat-o, generarea se oprește imediat. Gândiți-vă la aceasta ca la un instrument de tăiere precis, complementul natural al instrucțiunilor de formatare din mesajul de sistem, pe care modelul le urmează bine, dar nu întotdeauna perfect.

Cum funcționează parametrul stop

Parametrul acceptă o listă de șiruri de caractere. Primul care apare în ieșire pune capăt generării:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "List the 10 largest cities in France."}
    ],
    stop=["6."]  # Stop after the first 5
)

print(response.choices[0].message.content)
# 1. Paris
# 2. Marseille
# 3. Lyon
# 4. Toulouse
# 5. Nice

Două comportamente ies în evidență în acest exemplu. Secvența de oprire nu este inclusă în răspuns: primiți textul care o precede, fără a fi nevoie de nicio curățare din partea dumneavoastră. În plus, finish_reason este "stop", exact ca în cazul unei opriri naturale—API-ul nu face distincție între cele două, așa că depinde de dumneavoastră să vă amintiți ce ați solicitat.

Trei cazuri tipice de utilizare

Primul caz gestionează modelul prea comunicativ. Întrebați despre o capitală, iar acesta vă oferă capitala plus trei propoziții de explicație pe care interfața dumneavoastră nu le aștepta. Prompt-ul de sistem stabilește intenția; secvențele de oprire o impun:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Answer with only the city name, nothing else."
        },
        {
            "role": "user",
            "content": "What is the capital of Italy?"
        }
    ],
    stop=["\n", ".", "Explanation"]  # Stop at the first newline or period
)

print(response.choices[0].message.content.strip())
# Rome

Al doilea caz acoperă generarea de documente secțiune cu secțiune, atunci când doriți să păstrați controlul între părți, în loc să lăsați modelul să producă un întreg raport dintr-o singură dată. Vă opriți la delimitatorii care semnalează ce urmează:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Write the Introduction section of a report."
        },
        {
            "role": "user",
            "content": "Topic: the impact of AI on employment in Europe."
        }
    ],
    stop=["## ", "---", "Conclusion"]  # Stop before the next section
)

Al treilea caz este cel mai eficient din punct de vedere al costurilor în practică: extragerea unui JSON utilizabil fără o etapă de curățare. Modelele au tendința de a încadra ieșirea în text explicativ, ceea ce strică json.loads(); tăierea la o dublă linie nouă sau la trei backtick-uri elimină problema de la sursă.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Respond only with valid JSON."
        },
        {
            "role": "user",
            "content": "Give me info for Paris: population, country, time zone."
        }
    ],
    stop=["\n\n", "```"]  # Stop after the JSON block
)

Combinarea secvențelor de oprire cu streaming-ul

Nimic nu vă împiedică să combinați ambele mecanisme: fluxul se oprește de îndată ce una dintre secvențele de oprire este detectată în textul generat, iar fragmentele pe care le-ați primit deja rămân valide.

stream = client.chat.stream(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Tell a short story."}
    ],
    stop=["Fin.", "THE END", "---"]
)

full_text = ""
for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_text += content
        print(content, end="", flush=True)

print(f"\n\nText: {len(full_text)} characters")

Limitările mecanismului

Patru constrângeri guvernează utilizarea parametrului stop. Puteți furniza cel mult patru secvențe per cerere, ceea ce vă obligă să le alegeți pe cele mai discriminante, în loc să le îngrămădiți. Acestea fac distincția între majuscule și minuscule: "end" nu va prinde niciodată "End", așa că trebuie să luați în considerare variantele relevante. Secvența nu este niciodată inclusă în răspuns, lucru important dacă formatul așteptat se termină cu acel delimitator. În final, detectarea are loc token cu token: dacă secvența cade în mijlocul unui token, aceasta trece neobservată—un alt motiv pentru a alege delimitatori cu mai multe caractere în loc de un singur simbol.

Greșeli costisitoare

Cea mai frecventă eroare este o secvență prea scurtă, care declanșează opriri premature. Un punct izolat oprește generarea la prima propoziție pe care o vede, chiar și în mijlocul unei prescurtări; greșeala simetrică este alegerea unui șir pe care modelul nu îl va produce niciodată, caz în care parametrul nu face nimic, iar dumneavoastră credeți în mod eronat că ați stabilit o barieră de protecție.

# BAD: sequence too short, premature stops
stop=["."]  # Stops at every sentence!

# GOOD: context-specific sequence
stop=[".\n\n"]  # Stops after a period followed by a double newline

# BAD: sequence the model will never produce
stop=["XYZZY"]  # Has no effect

# GOOD: realistic sequence based on expected format
stop=["Next question:", "---"]

Regula care decurge din aceste patru linii este simplă: o secvență de oprire bună derivă din formatul pe care l-ați cerut modelului să îl utilizeze, niciodată din imaginația dumneavoastră.

Exemplu complet: Întrebări și Răspunsuri controlate

Să asamblăm aceste elemente într-o funcție scurtă de tip întrebare-răspuns, unde o temperatură scăzută asigură stabilitatea factuală, max_tokens stabilește un plafon de siguranță, iar secvențele de oprire taie comentariile pe care modelul ar putea fi tentat să le adauge după răspunsul său:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

def ask_single_question(question: str) -> str:
    """Ask a question and get a concise answer without chatter."""
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "Answer in a single sentence, directly and factually."
            },
            {"role": "user", "content": question}
        ],
        max_tokens=100,
        stop=["\n\n", "Remark:", "Note:"],
        temperature=0.1
    )

    return response.choices[0].message.content.strip()

# Test
questions = [
    "What is the speed of light?",
    "Who invented the telephone?",
    "How many planets are in the solar system?"
]

for q in questions:
    print(f"Q: {q}")
    print(f"A: {ask_single_question(q)}\n")

Rulați acest script o dată așa cum este, apoi a doua oară după ce ați eliminat parametrul stop: compararea celor două ieșiri vă arată exact ce filtrează acele trei secvențe.

Puncte cheie

  • Secvențele de oprire opresc generarea atunci când modelul produce un text specific
  • Maximum 4 secvențe per cerere; sensibile la majuscule/minuscule
  • Secvența de oprire nu este niciodată inclusă în răspuns
  • Utilizați secvențe suficient de specifice pentru a evita opririle premature
  • Compatibile cu streaming-ul și cu toți ceilalți parametri