Pokalbiai keliais etapais
Šiame puslapyje
Anapus vieno kvietimo
Realiose programose vartotojai neužduoda vieno klausimo ir neišnyksta. Jie grandine jungia užklausas, grįžta prie ankstesnių temų ir meta užuominas, pavyzdžiui, „o kaip su šitu?“, kurių vien sakinys išspręsti negali. Funkcijų kvietimas turi veikti pokalbio keliais etapais kontekste, kuriame modelis gali kviesti funkcijas kiekviename dialogo žingsnyje niekada neprarandamas ankstesnės informacijos.
Principas: išlaikyti istoriją
Viskas susiveda į vieną sakinį: laikyk visus pranešimus sąraše, kuris auga su kiekvienu apsikeitimu. Modelis neturi savo atminties tarp API kvietimų; vienintelis kontekstas, kurį jis turi, yra tai, ką tu jam siunti. Būtent ši pilna istorija leidžia jam suprasti numanomas nuorodas.
import os
import json
from mistralai.client import Mistral
from functools import partial
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
model = "mistral-large-latest"
# Pokalbio istorija
messages = [
{
"role": "system",
"content": "You are a payment tracking assistant. "
"Respond in concise English."
}
]
Pilnas pokalbio ciklas
Toliau pateiktas kodas veikia dviem etapais. process_tool_calls įvykdo visus modelio prašomus kvietimus ir pratęsina pokalbį su gautais rezultatais; chat apdoroja visą etapą – nuo vartotojo įvesties iki galutinio teksto.
def process_tool_calls(response, messages, available_functions, tools):
"""Apdoroja tool_calls ir grąžina galutinį atsakymą."""
message = response.choices[0].message
messages.append(message)
# Vykdyti kiekvieną tool_call
for tool_call in message.tool_calls:
function_name = tool_call.function.name
function_params = json.loads(tool_call.function.arguments)
if function_name in available_functions:
result = available_functions[function_name](**function_params)
else:
result = json.dumps({"error": f"Unknown function {function_name}"})
messages.append({
"role": "tool",
"name": function_name,
"content": result,
"tool_call_id": tool_call.id
})
# Dar kartą iškviesti modelį su rezultatais
return client.chat.complete(
model=model, messages=messages, tools=tools
)
def chat(user_input: str, messages: list, tools: list,
available_functions: dict) -> str:
"""Apdoroja visą pokalbio etapą."""
messages.append({"role": "user", "content": user_input})
response = client.chat.complete(
model=model, messages=messages, tools=tools
)
message = response.choices[0].message
# Kartoti tol, kol modelis nori kviesti funkcijas
while message.tool_calls and len(message.tool_calls) > 0:
response = process_tool_calls(
response, messages, available_functions, tools
)
message = response.choices[0].message
# Modelis baigė – jis atsako tekstu
messages.append(message)
return message.content
while ciklas yra esminė dalis. Gavęs funkcijos rezultatą, modelis gali paprašyti kito; ciklas tęsiasi tol, kol generuojami tool_calls, ir sustoja tik tada, kai galiausiai grąžinamas tekstas. Paprastas if apdorotų tik pirmąjį kvietimą ir bet kuriuo atveju, kai reikėtų dviejų kvietimų, grąžintų tuščią atsakymą.
Pokalbio keliais etapais pavyzdys
Pažiūrėkime, kaip šis ciklas atrodo per keturis sujungtus etapus.
# 1 etapas
reponse = chat("What is the status of payment T1001?",
messages, tools, available_functions)
print(f"Assistant : {reponse}")
# → "Payment T1001 status: paid."
# 2 etapas – papildomas klausimas
reponse = chat("When was it made?",
messages, tools, available_functions)
print(f"Assistant : {reponse}")
# → "Payment T1001 was made on March 15, 2026."
# 3 etapas – nauja operacija
reponse = chat("Compare with payment T1003.",
messages, tools, available_functions)
print(f"Assistant : {reponse}")
# → "Payment T1003 is pending, unlike T1001 which is paid."
# 4 etapas – klausimas be funkcijos
reponse = chat("Thanks, that's all for today.",
messages, tools, available_functions)
print(f"Assistant : {reponse}")
# → "You're welcome! Feel free to ask if you have other questions."
Atidžiau panagrinėk 2 etapą. „When was it made?“ neturi jokio identifikatoriaus; būtent istorija leidžia modeliui suprasti, kad vis dar kalbama apie T1001, ir iškviesti retrieve_payment_date su teisingu argumentu. Pašalink 1 etapo pranešimus ir šis sakinys taps neišsprendžiamas. 3 etape modelis gali nuspręsti iškviesti kelias funkcijas – T1003 būseną ir datą – kad sudarytų palyginimą su jau gautais T1001 rezultatais. 4 etapas neiškviečia jokių funkcijų: modelis taip pat žino, kada susilaikyti.
Nuoseklių kvietimų grandinė
Kai kurioms užklausoms reikia, kad modelis palauktų vieno rezultato, prieš suprasdamas, ko klausti toliau. chat() funkcijoje esantis while ciklas šį atvejį apdoroja be jokios papildomos kodo eilutės.
# Vartotojas prašo ko nors, kam reikia 2 nuoseklių kvietimų
reponse = chat(
"Show me the status and date of payment T1002.",
messages, tools, available_functions
)
# Modelis gali:
# 1. Iškviesti retrieve_payment_status(T1002)
# 2. Gauti rezultatą
# 3. Iškviesti retrieve_payment_date(T1002)
# 4. Gauti rezultatą
# 5. Suformuluoti galutinį atsakymą su abiem informacijos dalimis
Žiūrint iš pranešimų istorijos pusės, nuosekli eiga atrodo taip:
user → assistant(tool_call_1) → tool(result_1) → assistant(tool_call_2) → tool(result_2) → assistant(response)
Suskaiciuok asistento ėjimus: trys, vadinasi, trys API apmokestintos užklausos. Tai nuoseklaus vykdymo kaina ir priežastis, kodėl kita pamoka skirta lygiagrečiams kvietimams.
Istorijos dydžio valdymas
Gamyboje ilgas pokalbis tampa brangus: kiekviename etape siunčiamas visas ankstesnių pranešimų rinkinys, o tokenų sąskaita auga kvadratiškai. Paprasta strategija – palikti tik sistemos pranešimą ir naujausius apsikeitimus.
def trim_messages(messages: list, max_messages: int = 20) -> list:
"""Palieka sistemos pranešimą ir paskutinius N pranešimų."""
system_messages = [m for m in messages if hasattr(m, "role")
and m.get("role") == "system"
or (isinstance(m, dict) and m.get("role") == "system")]
non_system = [m for m in messages if m not in system_messages]
if len(non_system) > max_messages:
non_system = non_system[-max_messages:]
return system_messages + non_system
Viena atsargumo priemonė prieš integruojant šią funkciją: niekada nenupjauk tool_call be atitinkamo tool pranešimo. Jei apkarpymas įvyks tarp jų dviejų, API gaus neatsakytą kvietimo prašymą ir atmes užklausą. Pakoreguok pjovimo tašką taip, kad išsaugotum pilnas poras, o ne aklai skaičiuotum pranešimus.
Svarbiausi punktai
- Išlaikyk pilną pranešimų istoriją, kad modelis suprastų kontekstą
- Naudok while ciklą nuosekliems funkcijų kvietimams apdoroti
- Modelis supranta numanomas nuorodas („tas“, „ankstesnis“) dėka konteksto
- Gamyboje ribok istorijos dydį, bet palik
tool_call/toolporas nepažeistas - Čia parodyta
chat()funkcija yra iš naujo naudojamas šablonas bet kuriai funkcijų kvietimo programai