Mitme vooruga vestlus
Sellel lehel
Ühest päringust kaugemale
Tegelikus rakenduses ei esita kasutajad ühte küsimust ja ei kao seejärel kuhugi. Nad aheldavad päringuid, pöörduvad tagasi varasemate teemade juurde ja viskavad õhku vihjeid nagu „kuidas on lood sellega?“, mida lause üksi lahendada ei suuda. Funktsioonide kutsumine peab toimima selles mitme vooruga vestluse kontekstis, kus mudel saab dialoogi igas etapis funktsioone kutsuda, kaotamata seejuures kunagi ülevaadet eelnevast.
Põhimõte: ajaloo säilitamine
Võti taandub ühele lausele: hoia kõiki sõnumeid järjendis, mis kasvab iga vahetusega. Mudelil endal API väljakutsete vahel mälu pole; ainus kontekst, mis tal on, on see, mida sa talle tagasi saadad. Just see täielik ajalugu võimaldab tal mõista kaudseid viiteid.
import os
import json
from mistralai.client import Mistral
from functools import partial
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
model = "mistral-large-latest"
# Vestluse ajalugu
messages = [
{
"role": "system",
"content": "You are a payment tracking assistant. "
"Respond in concise English."
}
]
Täielik vestluse tsükkel
Allpool olev kood töötab kahes etapis. process_tool_calls täidab kõik mudeli poolt taotletud väljakutsed ja alustab vestlust tulemustega uuesti; chat haldab tervet vooru, alates kasutaja sisendist kuni lõpliku tekstini.
def process_tool_calls(response, messages, available_functions, tools):
"""Töötleb tool_calls ja tagastab lõpliku vastuse."""
message = response.choices[0].message
messages.append(message)
# Täida iga tool_call
for tool_call in message.tool_calls:
function_name = tool_call.function.name
function_params = json.loads(tool_call.function.arguments)
if function_name in available_functions:
result = available_functions[function_name](**function_params)
else:
result = json.dumps({"error": f"Unknown function {function_name}"})
messages.append({
"role": "tool",
"name": function_name,
"content": result,
"tool_call_id": tool_call.id
})
# Kutsu mudelit tulemustega uuesti
return client.chat.complete(
model=model, messages=messages, tools=tools
)
def chat(user_input: str, messages: list, tools: list,
available_functions: dict) -> str:
"""Haldab tervet vestluse vooru."""
messages.append({"role": "user", "content": user_input})
response = client.chat.complete(
model=model, messages=messages, tools=tools
)
message = response.choices[0].message
# Tsükelda seni, kuni mudel tahab funktsioone kutsuda
while message.tool_calls and len(message.tool_calls) > 0:
response = process_tool_calls(
response, messages, available_functions, tools
)
message = response.choices[0].message
# Mudel on valmis – ta vastab tekstiga
messages.append(message)
return message.content
Tsükkel while on kriitiline osa. Pärast funktsiooni tulemuse saamist võib mudel väga hästi taotleda veel üht: tsükkel jätkub seni, kuni see toodab tool_calls, ja peatub alles siis, kui see lõpuks teksti tagastab. Lihtne if lahendaks esimese väljakutse ja tagastaks seejärel tühja vastuse igal juhul, kui vaja oleks kahte väljakutset.
Mitme vooruga vestluse näide
Vaatan, kuidas see tsükkel välja näeb neljas aheldatud voorus.
# Voor 1
reponse = chat("What is the status of payment T1001?",
messages, tools, available_functions)
print(f"Assistant : {reponse}")
# → "Payment T1001 status: paid."
# Voor 2 – järelküsimus
reponse = chat("When was it made?",
messages, tools, available_functions)
print(f"Assistant : {reponse}")
# → "Payment T1001 was made on March 15, 2026."
# Voor 3 – uus tehing
reponse = chat("Compare with payment T1003.",
messages, tools, available_functions)
print(f"Assistant : {reponse}")
# → "Payment T1003 is pending, unlike T1001 which is paid."
# Voor 4 – küsimus ilma funktsioonita
reponse = chat("Thanks, that's all for today.",
messages, tools, available_functions)
print(f"Assistant : {reponse}")
# → "You're welcome! Feel free to ask if you have other questions."
Teine voor on see, mida tuleb tähelepanelikult uurida. „When was it made?“ ei sisalda identifikaatorit; just ajalugu võimaldab mudelil mõista, et see viitab endiselt T1001-le, ja kutsuda retrieve_payment_date õige argumendiga. Eemalda sõnumid esimesest voorust ja see lause muutub lahendamatuks. Kolmandas voorus võib mudel otsustada kutsuda mitut funktsiooni – T1003 staatust ja kuupäeva –, et luua võrdlus juba T1001 jaoks saadud tulemustega. Neljas voor ei käivita ühtegi väljakutset: mudel teab ka seda, millal tagasi hoiduda.
Järjestikuste väljakutsete aheldamine
Mõned päringud nõuavad, et mudel ootaks üht tulemust, enne kui ta teab, mida järgmiseks küsida. Tsükkel while funktsioonis chat() lahendab selle juhtumi ilma ühegi lisareata.
# Kasutaja küsib midagi, mis nõuab 2 järjestikust väljakutset
reponse = chat(
"Show me the status and date of payment T1002.",
messages, tools, available_functions
)
# Mudel võib:
# 1. Kutsuda retrieve_payment_status(T1002)
# 2. Saada tulemus
# 3. Kutsuda retrieve_payment_date(T1002)
# 4. Saada tulemus
# 5. Sõnastada lõpliku vastuse mõlema infotükiga
Sõnumite ajaloo seisukohalt näeb järjestikune voog välja selline:
user → assistant(tool_call_1) → tool(result_1) → assistant(tool_call_2) → tool(result_2) → assistant(response)
Loe assistendi voorud kokku: kolm, mis tähendab kolme API-le arvestatud päringut. See on järjestikuse täitmise hind ja põhjus, miks järgmine tund keskendub paralleelsetele väljakutsetele.
Ajaloo suuruse haldamine
Tootmises muutub pikalt kestev vestlus kalliks: iga voor saadab tagasi kogu eelmiste sõnumite komplekti ja tokenite arve kasvab ruutkeskmiselt. Lihtne strateegia on hoida alles ainult süsteemisõnum ja kõige värskemad vahetused.
def trim_messages(messages: list, max_messages: int = 20) -> list:
"""Hoiab alles süsteemisõnumi ja viimased N sõnumit."""
system_messages = [m for m in messages if hasattr(m, "role")
and m.get("role") == "system"
or (isinstance(m, dict) and m.get("role") == "system")]
non_system = [m for m in messages if m not in system_messages]
if len(non_system) > max_messages:
non_system = non_system[-max_messages:]
return system_messages + non_system
Enne selle funktsiooni kasutuselevõttu üks ettevaatusabinõu: ära kunagi lõika tool_call ilma sellele vastava tool sõnumita. Kui kärpimine satub kahe vahele, saab API vastamata väljakutse taotluse ja lükkab päringu tagasi. Kohanda lõikepunkti nii, et säiliksid terved paarid, selle asemel et sõnumeid pimesi lugeda.
Peamised punktid
- Hoia alles täielikku sõnumite ajalugu, et mudel mõistaks konteksti
- Kasuta tsüklit while, et hallata järjestikuseid funktsioonikutsunguid
- Mudel mõistab kaudseid viiteid („see“, „eelmine“) tänu kontekstile
- Tootmises piira ajaloo suurust, hoides samal ajal tool_call/tool paarid terviklikena
- Siin näidatud funktsioon
chat()on taasrakendatav muster iga funktsioonide kutsumise rakenduse jaoks