Vloge in sporočila
Na tej strani
Jedro konverzacijskega protokola
API za dopolnjevanje klepetov (Chat Completions API) ne sprejema surovega besedila. Pričakuje polje strukturiranih sporočil, od katerih ima vsako dodeljeno specifično vlogo. Ta sistem vlog modelu omogoča razlikovanje med tem, kdo govori, kakšen je kontekst in kako naj odgovori. Isti stavek – „Vedno odgovori v JSON” – ima različno težo, odvisno od tega, ali prispe kot navodilo razvijalca ali kot vnos uporabnika. Obvladovanje te strukture je tisto, kar loči koherentnega klepetalnega robota od sistema, ki po treh izmenjavah začne odklanjati od teme.
Štiri vloge
Mistralov API prepozna štiri različne vloge, od katerih ima vsaka natančno določeno funkcijo v pogovoru.
Vloga system
Sporočilo sistema določa splošno obnašanje modela. Ker je postavljeno na prvo mesto, ga model prebere pred vsako izmenjavo. Tu določiš ton, omejitve in kontekst za svojo aplikacijo. Predstavljaj si pomočnika, zasnovanega za odvetniško pisarno; sporočilo sistema je enakovredno informativnemu zapisniku, ki bi ga predal novemu sodelavcu pred njegovim prvim primerom.
messages = [
{
"role": "system",
"content": "You are a legal assistant specializing in French law. "
"Respond precisely and cite relevant legal articles. "
"If you are unsure, state it explicitly."
}
]
To sporočilo upravlja razvijalec, nikoli končni uporabnik, in se nikoli ne prikaže v vmesniku tvoje aplikacije.
Vloga user
Naslednje je sporočilo človeškega uporabnika: vprašanje, navodilo ali besedilo za obdelavo. To je edini del pogovora, ki ga tvoji uporabniki neposredno nadzorujejo.
messages.append({
"role": "user",
"content": "What are the statutes of limitations in civil law?"
})
Vloga assistant
Ta vloga hrani prejšnje odgovore modela. Postane bistvena, ko pogovor preseže en krog. Brez nje bi uporabnik, ki vpraša „Kaj pa komercialni dolg?”, dobil neodgovarjajoč odgovor, saj model ne bi vedel, o čem se govori.
messages.append({
"role": "assistant",
"content": "In French civil law, the standard statute of limitations is 5 years..."
})
Vloga tool
Zadnja vloga pride v poštev med klicanjem funkcij. Ko model zahteva izvedbo zunanje funkcije – na primer poizvedbo v vremenskem API-ju – to funkcijo zaženeš na svoji strani in rezultat vrneš pod to vlogo, pri čemer se sklicuješ na ID specifičnega klica:
messages.append({
"role": "tool",
"content": '{"temperature": 22, "city": "Paris"}',
"tool_call_id": "call_abc123"
})
Popolna struktura večkrožne izmenjave
Oglejmo si te vloge v akciji med resničnim pogovorom, kjer uporabnik po začetnem odgovoru izpopolni svoje zahtevo:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
conversation = [
{
"role": "system",
"content": "You are a French chef. Propose simple and tasty recipes."
},
{
"role": "user",
"content": "I want to make a dessert with apples."
}
]
# First turn
response = client.chat.complete(
model="mistral-large-latest",
messages=conversation
)
assistant_reply = response.choices[0].message.content
print(assistant_reply)
# Add response to history
conversation.append({"role": "assistant", "content": assistant_reply})
# Second turn
conversation.append({
"role": "user",
"content": "Can you adapt this recipe for 8 people?"
})
response = client.chat.complete(
model="mistral-large-latest",
messages=conversation
)
print(response.choices[0].message.content)
Opazi, kaj ta koda dejansko počne: ob vsakem koraku pošlje nazaj celotno zgodovino. Model nima trajnega spomina med zahtevami. „Ta recept” ima smisel le zato, ker je prejšnji odgovor še vedno v polju. Povsem odgovoren si za upravljanje stanja pogovora.
Strukturirana vsebina
Polje content sprejema dve obliki. Najpogostejša je preprost niz. Takoj ko pa preneseš kaj drugega kot besedilo – na primer sliko za opis – preklopiš na seznam tipiziranih blokov:
# Simple content (text)
{"role": "user", "content": "Describe this image."}
# Structured content (multimodal)
{"role": "user", "content": [
{"type": "text", "text": "Describe this image."},
{"type": "image_url", "image_url": {"url": "https://example.com/image.jpg"}}
]}
Zastavica predpone (Prefix Flag)
Mistral ponuja edinstveno funkcijo: zastavico predpone. Sam zapišeš začetek odgovora asistenta, model pa je prisiljen nadaljevati od tam. To je izjemno učinkovito, ko moraš izhod razčleniti brez najmanjše napake.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "You always respond in JSON."},
{"role": "user", "content": "List 3 European capitals."},
{"role": "assistant", "content": '{"capitals": [', "prefix": True}
]
)
Model nadaljuje generiranje za {"capitals": [, s čimer takoj odpravi tveganje, da bi se pred odpirajočim oklepajem pojavilo „Seveda, tukaj je vaš JSON:”. V proizvodnem okolju je to jamstvo za format pogosto vredno več kot navodilo, trikrat ponovljeno v sporočilu sistema.
Takoj si privadi dve navadi. Ohrani sporočilo sistema jedrnato: en dobro napisan odstavek prinese boljše rezultate kot dve strani pravil, od katerih bo model sčasoma del ignoriral. In nikoli ne izmišljuj lažnih odgovorov asistenta, da bi usmerjal model, z eno izjemo – učenje z nekaj primeri (few-shot learning), ki ga bomo obravnavali v lekciji 10. Pri dolgih pogovorih pošlji celotno zgodovino, vendar spremljaj okno konteksta in odstrani najstarejše kroge, preden ga presežeš.
Ključne ugotovitve
- Štiri vloge:
system(obnašanje),user(zahteva),assistant(odgovor),tool(rezultat funkcije) - Sporočilo sistema gre prvo in določa okvir aplikacije
- Model nima spomina: z vsako zahtevo pošlji celotno zgodovino
- Zastavica predpone vsili začetek odgovora za nadzor formata izhoda