Saruna vairākos posmos
Šajā lapā
Pāri vienreizējiem izsaukumiem
Reālā lietotnē lietotāji neuzdod vienu jautājumu un nepazūd. Viņi virknē pieprasījumus, atgriežas pie iepriekšējām tēmām un iemet mājienu tipa “ko par šo?”, ko viena teikuma kontekstā nav iespējams atrisināt. Funkciju izsaukumiem ir jādarbojas šajā sarunas vairākos posmos kontekstā, kur modelis var izsaukt funkcijas katrā dialoga solī, nekad nezaudējot pavedienu par to, kas noticis iepriekš.
Princips: Uzturi vēsturi
Atslēga slēpjas vienā teikumā: glabā visus ziņojumus sarakstā, kas aug ar katru apmaiņu. Modelim nav savas atmiņas starp API izsaukumiem; vienīgais konteksts, kas tam ir, ir tas, ko tu tam nosūti atpakaļ. Tieši šī pilnīgā vēsture ļauj tam saprast netiešas atsauces.
import os
import json
from mistralai.client import Mistral
from functools import partial
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
model = "mistral-large-latest"
# Sarunas vēsture
messages = [
{
"role": "system",
"content": "You are a payment tracking assistant. "
"Respond in concise English."
}
]
Pilns sarunas cikls
Zemāk esošais kods darbojas divos posmos. process_tool_calls izpilda visus modeļa pieprasītos izsaukumus un atsāk sarunu ar rezultātiem; chat apstrādā pilnu gājienu, sākot no lietotāja ievades līdz galīgajam tekstam.
def process_tool_calls(response, messages, available_functions, tools):
"""Apstrādā tool_calls un atgriež galīgo atbildi."""
message = response.choices[0].message
messages.append(message)
# Izpildi katru tool_call
for tool_call in message.tool_calls:
function_name = tool_call.function.name
function_params = json.loads(tool_call.function.arguments)
if function_name in available_functions:
result = available_functions[function_name](**function_params)
else:
result = json.dumps({"error": f"Unknown function {function_name}"})
messages.append({
"role": "tool",
"name": function_name,
"content": result,
"tool_call_id": tool_call.id
})
# Atkārtoti izsauc modeli ar rezultātiem
return client.chat.complete(
model=model, messages=messages, tools=tools
)
def chat(user_input: str, messages: list, tools: list,
available_functions: dict) -> str:
"""Apstrādā pilnu sarunas gājienu."""
messages.append({"role": "user", "content": user_input})
response = client.chat.complete(
model=model, messages=messages, tools=tools
)
message = response.choices[0].message
# Cikls turpinās, kamēr modelis vēlas izsaukt funkcijas
while message.tool_calls and len(message.tool_calls) > 0:
response = process_tool_calls(
response, messages, available_functions, tools
)
message = response.choices[0].message
# Modelis ir beidzis — tas atbild ar tekstu
messages.append(message)
return message.content
Cikls while ir kritiskais elements. Saņemot funkcijas rezultātu, modelis varētu pieprasīt vēl vienu: cikls turpinās, kamēr tas ģenerē tool_calls, un apstājas tikai tad, kad tas beidzot atgriež tekstu. Vienkāršs if apstrādātu tikai pirmo izsaukumu un jebkurā gadījumā, kad būtu nepieciešami divi izsaukumi, atgrieztu tukšu atbildi.
Sarunas vairākos posmos piemērs
Aplūkosim, kā šis cikls izskatās četros secīgos gājienos.
# 1. gājiens
reponse = chat("What is the status of payment T1001?",
messages, tools, available_functions)
print(f"Assistant : {reponse}")
# → "Payment T1001 status: paid."
# 2. gājiens — papildjautājums
reponse = chat("When was it made?",
messages, tools, available_functions)
print(f"Assistant : {reponse}")
# → "Payment T1001 was made on March 15, 2026."
# 3. gājiens — jauns darījums
reponse = chat("Compare with payment T1003.",
messages, tools, available_functions)
print(f"Assistant : {reponse}")
# → "Payment T1003 is pending, unlike T1001 which is paid."
# 4. gājiens — jautājums bez funkcijas
reponse = chat("Thanks, that's all for today.",
messages, tools, available_functions)
print(f"Assistant : {reponse}")
# → "You're welcome! Feel free to ask if you have other questions."
- gājiens ir tas, uz kuru jāpievērš īpaša uzmanība. “When was it made?” nesatur nekādu identifikatoru; tieši vēsture ļauj modelim saprast, ka tas joprojām attiecas uz T1001, un izsaukt
retrieve_payment_datear pareizo argumentu. Noņem ziņojumus no 1. gājiena, un šis teikums kļūst neatrisināms. 3. gājienā modelis var nolemt izsaukt vairākas funkcijas — statusu un datumu priekš T1003 —, lai izveidotu salīdzinājumu ar rezultātiem, kas jau iegūti priekš T1001. 4. gājiens neizraisa nevienu izsaukumu: modelis zina arī tad, kad atturēties.
Secīgu izsaukumu virknēšana
Daži pieprasījumi prasa, lai modelis pagaidītu vienu rezultātu, pirms tas zina, ko jautāt tālāk. Cikls while funkcijā chat() apstrādā šo gadījumu bez nevienas papildu koda rindiņas.
# Lietotājs lūdz kaut ko, kam nepieciešami 2 secīgi izsaukumi
reponse = chat(
"Show me the status and date of payment T1002.",
messages, tools, available_functions
)
# Modelis var:
# 1. Izsaukt retrieve_payment_status(T1002)
# 2. Saņemt rezultātu
# 3. Izsaukt retrieve_payment_date(T1002)
# 4. Saņemt rezultātu
# 5. Formulēt galīgo atbildi ar abiem informācijas gabaliem
Raugoties no ziņojumu vēstures viedokļa, secīgā plūsma izskatās šādi:
user → assistant(tool_call_1) → tool(result_1) → assistant(tool_call_2) → tool(result_2) → assistant(response)
Saskaiti asistenta gājienus: trīs, kas nozīmē trīs pieprasījumus, kas tiek apmaksāti API. Tāda ir secīgas izpildes cena, un iemesls, kāpēc nākamajā nodarbībā fokussēsimies uz paralēliem izsaukumiem.
Vēstures apjoma pārvaldība
Produkcijas vidē ilgstoša saruna kļūst dārga: katrs gājiens nosūta atpakaļ visu iepriekšējo ziņojumu kopu, un tokena rēķins aug kvadrātiski. Vienkārša stratēģija ir saglabāt tikai sistēmas ziņojumu un pēdējos apmaiņas brīžus.
def trim_messages(messages: list, max_messages: int = 20) -> list:
"""Saglabā sistēmas ziņojumu un pēdējos N ziņojumus."""
system_messages = [m for m in messages if hasattr(m, "role")
and m.get("role") == "system"
or (isinstance(m, dict) and m.get("role") == "system")]
non_system = [m for m in messages if m not in system_messages]
if len(non_system) > max_messages:
non_system = non_system[-max_messages:]
return system_messages + non_system
Viens piesardzības pasākums, pirms pieslēdz šo funkciju: nekad neapgriez tool_call bez tam atbilstošā tool ziņojuma. Ja apgriešana notiek starp abiem, API saņem neatbildētu izsaukuma pieprasījumu un noraida vaicājumu. Pielāgo apgriešanas punktu, lai saglabātu pilnus pārus, nevis akli skaitītu ziņojumus.
Galvenās atziņas
- Uzturi pilnīgu vēsturi no ziņojumiem, lai modelis saprastu kontekstu
- Izmanto ciklu while, lai apstrādātu secīgus funkciju izsaukumus
- Modelis saprot netiešas atsauces (“to”, “iepriekšējo”), pateicoties kontekstam
- Produkcijā ierobežo vēstures apjomu, vienlaikus saglabājot
tool_call/toolpārus neskartus - Šeit parādītā funkcija
chat()ir atkārtoti izmantojams raksts jebkurai funkciju izsaukšanas lietotnei