Vaidmenys ir žinutės
Šiame puslapyje
Pokalbių protokolo esmė
„Chat Completions“ API nepriima neapdoroto teksto. Jis tikisi struktūrizuotų žinučių masyvo, kur kiekviena žinutė priskirta konkrečiam vaidmeniui. Ši vaidmenų sistema leidžia modeliui atskirti, kas kalba, koks yra kontekstas ir kaip jis turėtų atsakyti. Tas pats tekstas – „Visada atsakyk JSON formatu“ – turi skirtingą svorį priklausomai nuo to, ar jis pateikiamas kaip kūrėjo instrukcija, ar kaip naudotojo įvestis. Būtent šios struktūros išmanymas atskiria nuoseklų pokalbių robotą nuo sistemos, kuri po trijų apsikeitimų nukrypsta nuo temos.
Keturi vaidmenys
Mistral API atpažįsta keturis skirtingus vaidmenis, kiekvienas iš jų atlieka tiksliai apibrėžtą funkciją pokalbyje.
Vaidmuo system
Sistemos žinutė apibrėžia bendrą modelio elgesį. Ji dedama pirmoji ir perskaitoma prieš prasidedant bet kokiam dialogui. Čia nustatote tono, apribojimų ir konteksto savo programai. Įsivaizduokite asistentą, sukurtą advokatų kontorai; sistemos žinutė yra lygiavertė instruktažo lapui, kurį įteiktumėte naujam bendradarbiui prieš jo pirmąją bylą.
messages = [
{
"role": "system",
"content": "You are a legal assistant specializing in French law. "
"Respond precisely and cite relevant legal articles. "
"If you are unsure, state it explicitly."
}
]
Šią žinutę valdo kūrėjas, niekada – galutinis naudotojas, ir ji niekada nerodoma jūsų programos sąsajoje.
Vaidmuo user
Toliau eina žmogaus naudotojo žinutė: klausimas, instrukcija arba tekstas, kurį reikia apdoroti. Tai vienintelė pokalbio dalis, kurią jūsų naudotojai valdo tiesiogiai.
messages.append({
"role": "user",
"content": "What are the statutes of limitations in civil law?"
})
Vaidmuo assistant
Šis vaidmuo saugo ankstesnius modelio atsakymus. Jis tampa būtinas, kai pokalbis trunka ilgiau nei vieną etapą. Be jo, naudotojui paklausus „O kaip dėl komercinės skolos?“, modelis pateiktų netinkamą atsakymą, nes nežinotų, apie ką vyksta diskusija.
messages.append({
"role": "assistant",
"content": "In French civil law, the standard statute of limitations is 5 years..."
})
Vaidmuo tool
Paskutinis vaidmuo įsigalioja vykdant funkcijų kvietimus. Kai modelis prašo įvykdyti išorinę funkciją – pavyzdžiui, užklausti oro prognozės API – jūs vykdote tą funkciją savo pusėje ir grąžinate rezultatą naudodami šį vaidmenį, nurodydami konkretaus kvietimo ID:
messages.append({
"role": "tool",
"content": '{"temperature": 22, "city": "Paris"}',
"tool_call_id": "call_abc123"
})
Pilna kelių etapų apsikeitimo struktūra
Pažiūrėkime, kaip šie vaidmenys veikia realiame pokalbyje, kai naudotojas patikslina savo prašymą po pradinio atsakymo:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
conversation = [
{
"role": "system",
"content": "You are a French chef. Propose simple and tasty recipes."
},
{
"role": "user",
"content": "I want to make a dessert with apples."
}
]
# First turn
response = client.chat.complete(
model="mistral-large-latest",
messages=conversation
)
assistant_reply = response.choices[0].message.content
print(assistant_reply)
# Add response to history
conversation.append({"role": "assistant", "content": assistant_reply})
# Second turn
conversation.append({
"role": "user",
"content": "Can you adapt this recipe for 8 people?"
})
response = client.chat.complete(
model="mistral-large-latest",
messages=conversation
)
print(response.choices[0].message.content)
Atkreipkite dėmesį, ką iš tikrųjų daro šis kodas: kiekviename etape jis siunčia atgal visą istoriją. Modelis neturi nuolatinės atminties tarp užklausų. Frazei „šis receptas“ prasmę suteikia tik tai, kad ankstesnis atsakymas vis dar yra masyve. Jūs esate visiškai atsakingi už pokalbio būsenos valdymą.
Struktūrizuotas turinys
Laukas content priima dvi formas. Dažniausia – paprasta eilutė. Tačiau kai tik perduodate ką nors kita nei tekstą – pavyzdžiui, vaizdą, kurį reikia aprašyti – pereinate prie tipizuotų blokų sąrašo:
# Simple content (text)
{"role": "user", "content": "Describe this image."}
# Structured content (multimodal)
{"role": "user", "content": [
{"type": "text", "text": "Describe this image."},
{"type": "image_url", "image_url": {"url": "https://example.com/image.jpg"}}
]}
Priešdėlio žyma (Prefix Flag)
Mistral siūlo unikalią funkciją: priešdėlio žymą. Jūs patys parašote asistento atsakymo pradžią, o modelis priverstas tęsti nuo tos vietos. Tai nepaprastai veiksminga, kai reikia analizuoti išvestį be menkiausios klaidos rizikos.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "You always respond in JSON."},
{"role": "user", "content": "List 3 European capitals."},
{"role": "assistant", "content": '{"capitals": [', "prefix": True}
]
)
Modelis tęsia generavimą po {"capitals": [, taip iškart pašalindamas riziką, kad prieš atidarantįjį skliaustą atsiras frazė „Žinoma, štai jūsų JSON:“. Gamybinėje aplinkoje šis formato garantavimas dažnai vertingesnis nei instrukcija, kartojama tris kartus sistemos žinutėje.
Iškart įsisavinkite du įpročius. Laikykite sistemos žinutę glaustą: vienas gerai parašytas pastraipa duoda geresnių rezultatų nei dviejų puslapių taisyklės, kurių dalį modelis galiausiai ignoruos. Ir niekada neišgalvokite netikrų asistento atsakymų, norėdami nukreipti modelį, išskyrus vieną išimtį – mokymąsi su few-shot pavyzdžiais, kurį nagrinėsime 10 pamokoje. Ilgiems pokalbiams siųskite visą istoriją, tačiau stebėkite konteksto langą ir pašalinkite seniausius etapus, prieš viršydami jo ribą.
Svarbiausi punktai
- Keturi vaidmenys:
system(elgesys),user(užklausa),assistant(atsakymas),tool(funkcijos rezultatas) - Sistemos žinutė dedama pirmoji ir apibrėžia programos sistemą
- Modelis neturi atminties: su kiekviena užklausa siųskite visą istoriją
- Priešdėlio žyma priverčia pradėti atsakymą tam, kad būtų kontroliuojamas išvesties formatas