Lomas un ziņojumi
Šajā lapā
Sarunu protokola kodols
Chat Completions API nepieņem neapstrādātu tekstu. Tā sagaida strukturētu ziņojumu masīvu, kur katram ir piešķirta konkrēta loma. Šī lomu sistēma ļauj modelim atšķirt, kurš runā, kāds ir konteksts un kā tam jāatbild. Vienam un tam pašam tekstam — „Vienmēr atbildi JSON formātā” — ir atšķirīgs svars atkarībā no tā, vai tas nonāk kā izstrādātāja instrukcija vai lietotāja ievade. Tieši šīs struktūras apguve atšķir konsekventu čatbotu no sistēmas, kas pēc trim maiņām novirzās no tēmas.
Četras lomas
Mistral API atpazīst četras dažādas lomas, katrai pildot precīzu funkciju sarunā.
Loma system
Sistēmas ziņojums definē modeļa vispārējo uzvedību. Tas tiek novietots pirmajā vietā un nolasīts pirms jebkādas apmaiņas. Šeit tu nosaki sava lietotnes toni, ierobežojumus un kontekstu. Iedomājies palīgu, kas izveidots advokātu birojam; sistēmas ziņojums ir līdzvērtīgs iepazīšanās piezīmei, ko nodotu jaunam līdzstrādniekam pirms viņa pirmās lietas.
messages = [
{
"role": "system",
"content": "You are a legal assistant specializing in French law. "
"Respond precisely and cite relevant legal articles. "
"If you are unsure, state it explicitly."
}
]
Šo ziņojumu pārvalda izstrādātājs, nevis gala lietotājs, un tas nekad neparādās tavas lietotnes saskarnē.
Loma user
Tālāk seko cilvēka lietotāja ziņojums: jautājums, instrukcija vai apstrādājamais teksts. Tā ir vienīgā sarunas daļa, ko lietotāji kontrolē tieši.
messages.append({
"role": "user",
"content": "What are the statutes of limitations in civil law?"
})
Loma assistant
Šī loma satur modeļa iepriekšējās atbildes. Tā kļūst būtiska, tiklīdz saruna pārsniedz vienu maiņu. Bez tās lietotājs, jautājot „Kā ir ar komercparādiem?”, saņemtu ar tēmu nesaistītu atbildi, jo modelis nezinātu, par ko tiek runāts.
messages.append({
"role": "assistant",
"content": "In French civil law, the standard statute of limitations is 5 years..."
})
Loma tool
Pēdējā loma tiek izmantota funkciju izsaukumu laikā. Kad modelis pieprasa ārējas funkcijas izpildi — piemēram, laika apstākļu API vaicājumu — tu izpildi šo funkciju savā pusē un atgriež rezultātu zem šīs lomas, norādot konkrētā izsaukuma ID:
messages.append({
"role": "tool",
"content": '{"temperature": 22, "city": "Paris"}',
"tool_call_id": "call_abc123"
})
Daudzu maiņu apmaiņas pilnīga struktūra
Aplūkosim šīs lomas darbībā reālā sarunā, kur lietotājs precizē savu pieprasījumu pēc sākotnējās atbildes:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
conversation = [
{
"role": "system",
"content": "You are a French chef. Propose simple and tasty recipes."
},
{
"role": "user",
"content": "I want to make a dessert with apples."
}
]
# First turn
response = client.chat.complete(
model="mistral-large-latest",
messages=conversation
)
assistant_reply = response.choices[0].message.content
print(assistant_reply)
# Add response to history
conversation.append({"role": "assistant", "content": assistant_reply})
# Second turn
conversation.append({
"role": "user",
"content": "Can you adapt this recipe for 8 people?"
})
response = client.chat.complete(
model="mistral-large-latest",
messages=conversation
)
print(response.choices[0].message.content)
Ievēro, ko šis kods faktiski dara: katrā maiņā tas nosūta atpakaļ visu vēsturi. Modelim nav pastāvīgas atmiņas starp pieprasījumiem. „Šī recepte” ir jēga tikai tāpēc, ka iepriekšējā atbilde joprojām atrodas masīvā. Tu esi pilnībā atbildīgs par sarunas stāvokļa pārvaldību.
Strukturēts saturs
Lauks content pieņem divas formas. Visbiežāk tā ir vienkārša virkne. Taču, tiklīdz pārraidi kaut ko citu, nevis tekstu — piemēram, attēlu aprakstīšanai — tu pāriesi uz tipētu bloku sarakstu:
# Simple content (text)
{"role": "user", "content": "Describe this image."}
# Structured content (multimodal)
{"role": "user", "content": [
{"type": "text", "text": "Describe this image."},
{"type": "image_url", "image_url": {"url": "https://example.com/image.jpg"}}
]}
Prefiksa karodziņš
Mistral piedāvā unikālu iespēju: prefiksa karodziņu. Tu pats uzraksti asistenta atbildes sākumu, un modelis ir spiests turpināt no šīs vietas. Tas ir ārkārtīgi efektīvi, ja tev ir jāparsē izeja bez mazākās kļūdas iespējas.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "You always respond in JSON."},
{"role": "user", "content": "List 3 European capitals."},
{"role": "assistant", "content": '{"capitals": [', "prefix": True}
]
)
Modelis atsāk ģenerēšanu pēc {"capitals": [, nekavējoties novēršot risku, ka pirms atverošās iekavas parādīsies „Protams, lūk jūsu JSON:”. Ražošanas vidē šī formāta garantija bieži vien ir vērtīgāka par instrukciju, kas sistēmas ziņojumā atkārtota trīs reizes.
Ievies divus ieradumus uzreiz. Uzturi sistēmas ziņojumu kodolīgu: viens labi uzrakstīts rindkopa dod labākus rezultātus nekā divas lapas noteikumu, no kuriem daļu modelis galu galā ignorēs. Un nekad neizgudro viltus asistenta atbildes, lai virzītu modeli, izņemot vienu izņēmumu — few-shot mācīšanos, ko aplūkosim 10. nodarbībā. Garām sarunām nosūti pilnu vēsturi, taču uzraugi konteksta logu un dzēs vecākās maiņas, pirms to pārsniedz.
Galvenās atziņas
- Četras lomas:
system(uzvedība),user(pieprasījums),assistant(atbilde),tool(funkcijas rezultāts) - Sistēmas ziņojums ir pirmais un definē lietotnes ietvaru
- Modelim nav atmiņas: ar katru pieprasījumu nosūti pilnu vēsturi
- Prefiksa karodziņš piespiež atbildes sākumu, lai kontrolētu izejas formātu