Vykdyti ir grąžinti rezultatą
Šiame puslapyje
Žingsnis, kurį visiškai kontroliuoji
Gavai iš modelio tool_call. Jis nurodo, kurią funkciją iškvieti ir su kokiais argumentais – nieko daugiau. Dabar tavo kodas perima iniciatyvą: jis vykdo funkciją, gauna rezultatą ir siunčia jį atgal modeliui kaip žinutę su vaidmeniu tool. Ši pamoka apima visą šį ciklą. Tai vienintelis momentas cikle, kai priimi visus sprendimus.
Vykdyk funkciją kliento pusėje
Grįžkime prie 4 pamokoje naudoto nukreipimo žodyno ir susiekime jį su modelio atsakymu.
import json
from functools import partial
# Funkcijos jau apibrėžtos
available_functions = {
"retrieve_payment_status": partial(retrieve_payment_status, df),
"retrieve_payment_date": partial(retrieve_payment_date, df),
}
# Modelis grąžino tool_call
tool_call = response.choices[0].message.tool_calls[0]
function_name = tool_call.function.name
function_params = json.loads(tool_call.function.arguments)
# Vykdyk funkciją
if function_name in available_functions:
result = available_functions[function_name](**function_params)
print(f"Result: {result}")
# → '{"status": "paid"}'
else:
result = json.dumps({"error": f"Function {function_name} not available"})
Čia veikia du mechanizmai. Pirmasis – **function_params, kuris išpakuoja žodyną iš JSON į įvardytus argumentus: jei modelis sugeneravo {"transaction_id": "T1001"}, iškvietimas yra tiksliai lygiavertis retrieve_payment_status(transaction_id="T1001"). Antrasis – else blokas. Jis nėra toks efektingas, bet būtinas. Modelis gali „haliucinuoti“ funkcijos pavadinimą, kurio nėra tavo nukreipimo sąraše; be šio patikrinimo tavo programa išmestų KeyError ir pokalbis sustotų. Su juo klaida tampa duomenimis, kuriuos modelis gali tinkamai apdoroti.
Sukurk įrankio žinutę
Rezultatas turi būti grąžintas modeliui specifiniu formatu – kaip žinutė su vaidmeniu "tool":
tool_message = {
"role": "tool",
"name": function_name,
"content": result, # Turi būti eilutė
"tool_call_id": tool_call.id
}
| Laukas | Vaidmuo |
|---|---|
role | "tool" – identifikuoja žinutę kaip funkcijos rezultatą |
name | Vykdytos funkcijos pavadinimas |
content | Rezultatas kaip JSON eilutė |
tool_call_id | Originalaus tool_call ID – leidžia modeliui susieti rezultatą su tinkamu iškvietimu |
Siųsk rezultatą ir gauk galutinį atsakymą
Modelis neturi atminties nuo vieno iškvietimo iki kito: jis neprisimena, kad tavęs ko nors prašė. Todėl turi jam iš naujo suformuoti visą pokalbio istoriją, įskaitant jo paties prašymą iškvieti įrankį, prieš pateikdamas rezultatą.
# 1. Pridėk asistento žinutę (su tool_call)
messages.append(response.choices[0].message)
# 2. Pridėk funkcijos rezultatą
messages.append({
"role": "tool",
"name": function_name,
"content": result,
"tool_call_id": tool_call.id
})
# 3. Vėl iškviesk modelį su pilnu kontekstu
final_response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools
)
# 4. Atvaizduok galutinį atsakymą
print(final_response.choices[0].message.content)
# → "Payment T1001 status is: paid."
Dviejų append operacijų tvarka yra neprivaloma: asistento žinutė, kurioje yra tool_call, turi eiti prieš tool žinutę, kuri į ją atsako. Jų sukeitimas sukuria nenuoseklią istoriją, kurią API atmeta.
Visas srautas viename bloke
Štai visas procesas nuo naudotojo klausimo iki galutinio atsakymo:
import os
import json
from mistralai.client import Mistral
from functools import partial
# Konfigūracija
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
model = "mistral-large-latest"
# Funkcijos ir įrankiai (apibrėžti anksčiau)
available_functions = {
"retrieve_payment_status": partial(retrieve_payment_status, df),
"retrieve_payment_date": partial(retrieve_payment_date, df),
}
# 1-2 žingsniai: Naudotojo klausimas + API iškvietimas
messages = [
{"role": "user", "content": "What is the status of payment T1001?"}
]
response = client.chat.complete(
model=model, messages=messages, tools=tools
)
# 3-4 žingsniai: Ištrauk tool_call ir vykdyk
message = response.choices[0].message
if message.tool_calls:
tool_call = message.tool_calls[0]
function_name = tool_call.function.name
function_params = json.loads(tool_call.function.arguments)
# Vykdymas kliento pusėje
result = available_functions[function_name](**function_params)
# 5 žingsnis: Siųsk rezultatą atgal modeliui
messages.append(message)
messages.append({
"role": "tool",
"name": function_name,
"content": result,
"tool_call_id": tool_call.id
})
final_response = client.chat.complete(
model=model, messages=messages, tools=tools
)
print(final_response.choices[0].message.content)
else:
print(message.content)
Žinučių struktūra kiekviename žingsnyje
Verta patikrinti messages sąrašą pasibaigus ciklui, nes tai geriausias būdas derinti netinkamai veikiančius funkcijų iškvietimus. Jame yra keturios žinutės.
# 1 žinutė: Naudotojo klausimas
{"role": "user", "content": "What is the status of payment T1001?"}
# 2 žinutė: Modelio atsakymas su tool_call
{"role": "assistant", "tool_calls": [{"id": "call_abc123", ...}]}
# 3 žinutė: Funkcijos rezultatas
{"role": "tool", "name": "retrieve_payment_status",
"content": '{"status": "paid"}', "tool_call_id": "call_abc123"}
# 4 žinutė (numanoma): Galutinis modelio atsakymas
# → "Payment T1001 status is: paid."
Stebėk ID call_abc123: jis gimsta 2 žinutėje ir vėl atsiranda 3 žinutėje. Ši gija sieja prašymą su jo atsakymu. Ši struktūra yra pagrindinis funkcijų iškvietimo šablonas; kiekvienas vėlesnis variantas, nesvarbu, ar tai kelių ėjimų, ar lygiagretus vykdymas, tiesiog kartoja arba dubliuoja jį.
Stebėk turinio formatą
Viena klaida pasitaiko dažniau nei visos kitos kartu sudėjus, ir ji susijusi su content lauko tipu: jis visada turi būti eilutė.
# Teisinga – JSON eilutė
{"content": '{"status": "paid"}'}
# Teisinga – paprastas tekstas
{"content": "The status is paid"}
# Neteisinga – Python žodynas (sukels klaidą)
{"content": {"status": "paid"}}
Skirtumas tarp pirmojo ir trečiojo pavyzdžių slypi kabutėse, gaubiančiose JSON. Jei tavo funkcija grąžina žodyną, prieš siųsdamas konvertuok jį naudodamas json.dumps() – būtent todėl 4 pamokos funkcijos visada baigiasi json.dumps().
Svarbiausi punktai
- Funkcijos vykdymas vyksta kliento pusėje, tavo kode – niekada ne modelio
- Rezultatas siunčiamas atgal žinute su vaidmeniu
"tool"ir atitinkamutool_call_id - Įrankio žinutės
contentturi būti eilutė (JSON eilutė) - Išsiuntus rezultatą, vėl iškviesk
chat.complete(), kad modelis galėtų suformuluoti galutinį atsakymą - Visada patikrink, ar prašoma funkcija egzistuoja tavo nukreipimo žodyne