Käivita ja tagasta tulemus
Sellel lehel
Samm, mida sa täielikult kontrollid
Sa said mudelilt tool_calli. See ütleb sulle, millist funktsiooni kutsuda ja milliste argumentidega – mitte midagi enamat. Nüüd võtab ohjad üle sinu kood: see käivitab funktsiooni, hangib tulemuse ja saadab selle mudelile tagasi sõnumina, mille roll on tool. See tund käsitleb kogu seda tsüklit. See on ainus hetk tsüklis, kus teed kõik otsused ise.
Käivita funktsioon kliendi poolel
Vaatan uuesti läbi 4. tunnist pärit dispatch-sõnastiku ja ühendame selle mudeli vastusega.
import json
from functools import partial
# Funktsioonid on juba defineeritud
available_functions = {
"retrieve_payment_status": partial(retrieve_payment_status, df),
"retrieve_payment_date": partial(retrieve_payment_date, df),
}
# Mudel tagastas tool_call'i
tool_call = response.choices[0].message.tool_calls[0]
function_name = tool_call.function.name
function_params = json.loads(tool_call.function.arguments)
# Käivita funktsioon
if function_name in available_functions:
result = available_functions[function_name](**function_params)
print(f"Result: {result}")
# → '{"status": "paid"}'
else:
result = json.dumps({"error": f"Function {function_name} not available"})
Siin on töös kaks mehhanismi. Esimene on **function_params, mis pakib JSON-ist pärit sõnastiku lahti nimelisteks argumentideks: kui mudel genereeris {"transaction_id": "T1001"}, on väljakutse täpselt samaväärne retrieve_payment_status(transaction_id="T1001")-ga. Teine on else-plokk. See pole nii efektne, kuid hädavajalik. Mudel võib hallutsineerida funktsiooninime, mida sinu dispatch-sõnastikus ei eksisteeri; ilma selle kontrollita viskab su rakendus KeyErrori ja vestlus katkeb järsult. Sellega muutub viga andmeks, millega mudel oskab sujuvalt hakkama saada.
Loo tööriistasõnum
Tulemus tuleb mudelile tagasi saata kindlas vormingus – sõnumina, mille roll on "tool":
tool_message = {
"role": "tool",
"name": function_name,
"content": result, # Peab olema string
"tool_call_id": tool_call.id
}
| Väli | Roll |
|---|---|
role | "tool" – identifitseerib sõnumi funktsiooni tulemusena |
name | Käivitatud funktsiooni nimi |
content | Tulemus JSON-stringina |
tool_call_id | Algne tool_calli ID – võimaldab mudelil sobitada tulemuse õige väljakutsega |
Saada tulemus ja saa lõplik vastus
Mudelil ei ole ühelt väljakutselt teisele mälu: ta ei mäleta, et palus sul midagi teha. Seetõttu pead sa talle kogu vestluse uuesti üles ehitama, kaasates ka tema enda tööriistakutse taotluse, enne kui tulemuse esitad.
# 1. Lisa assistendi sõnum (koos tool_call'iga)
messages.append(response.choices[0].message)
# 2. Lisa funktsiooni tulemus
messages.append({
"role": "tool",
"name": function_name,
"content": result,
"tool_call_id": tool_call.id
})
# 3. Kutsu mudelit uuesti koos täieliku kontekstiga
final_response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools
)
# 4. Kuva lõplik vastus
print(final_response.choices[0].message.content)
# → "Payment T1001 status is: paid."
Kahe append-operatsiooni järjekord on muutumatu: tool_calli sisaldav assistendi sõnum peab eelnema sellele vastavale tool-sõnumile. Nende vahetamine loob ebajärjekindla ajaloo, mille API tagasi lükkab.
Kogu voog ühes plokis
Siin on kogu protsess alates kasutaja küsimusest kuni lõpliku vastuseni:
import os
import json
from mistralai.client import Mistral
from functools import partial
# Konfiguratsioon
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
model = "mistral-large-latest"
# Funktsioonid ja tööriistad (defineeritud varem)
available_functions = {
"retrieve_payment_status": partial(retrieve_payment_status, df),
"retrieve_payment_date": partial(retrieve_payment_date, df),
}
# Sammud 1-2: Kasutaja küsimus + API väljakutse
messages = [
{"role": "user", "content": "What is the status of payment T1001?"}
]
response = client.chat.complete(
model=model, messages=messages, tools=tools
)
# Sammud 3-4: Ekstraheeri tool_call ja käivita
message = response.choices[0].message
if message.tool_calls:
tool_call = message.tool_calls[0]
function_name = tool_call.function.name
function_params = json.loads(tool_call.function.arguments)
# Kliendi poolne teostus
result = available_functions[function_name](**function_params)
# Samm 5: Saada tulemus mudelile tagasi
messages.append(message)
messages.append({
"role": "tool",
"name": function_name,
"content": result,
"tool_call_id": tool_call.id
})
final_response = client.chat.complete(
model=model, messages=messages, tools=tools
)
print(final_response.choices[0].message.content)
else:
print(message.content)
Sõnumi struktuur igas etapis
Tsükli lõppedes tasub messages-i listi lähemalt uurida, sest see on parim viis vigase funktsioonide kutsumise silumiseks. See sisaldab nelja sõnumit.
# Sõnum 1: Kasutaja küsimus
{"role": "user", "content": "What is the status of payment T1001?"}
# Sõnum 2: Mudeli vastus koos tool_call'iga
{"role": "assistant", "tool_calls": [{"id": "call_abc123", ...}]}
# Sõnum 3: Funktsiooni tulemus
{"role": "tool", "name": "retrieve_payment_status",
"content": '{"status": "paid"}', "tool_call_id": "call_abc123"}
# Sõnum 4 (impliciitne): Mudeli lõplik vastus
# → "Payment T1001 status is: paid."
Jälgi ID-d call_abc123: see sünnib sõnumis 2 ja ilmub uuesti sõnumis 3. See niit seob taotluse selle vastusega. See struktuur on funktsioonide kutsumise põhimuster; iga variatsioon, mida hiljem kohtad, olgu siis mitmevooruline või paralleelne, kordab või dubleerib seda lihtsalt.
Jälgi sisu vormingut
Üks viga tuleb ette sagedamini kui kõik teised kokku ja see taandub content-välja tüübile: see peab alati olema string.
# Õige – JSON-string
{"content": '{"status": "paid"}'}
# Õige – lihttekst
{"content": "The status is paid"}
# Vale – Pythoni sõnastik (põhjustab vea)
{"content": {"status": "paid"}}
Erinevus esimese ja kolmanda näite vahel seisneb JSON-i ümbritsevates jutumärkides. Kui su funktsioon tagastab sõnastiku, teisenda see json.dumps()-ga enne saatmist – just seetõttu lõppesid 4. tunni kõik funktsioonid json.dumps()-iga.
Peamised punktid
- Funktsiooni teostus toimub kliendi poolel, sinu koodis – mitte kunagi mudeli poolt
- Tulemus saadetakse tagasi sõnumina, mille roll on
"tool"ja millel on vastavtool_call_id - Tööriistasõnumi
contentpeab olema string (JSON-string) - Pärast tulemuse saatmist kutsud
chat.complete()uuesti, et mudel saaks formuleerida lõpliku vastuse - Kontrolli alati, et taotletud funktsioon eksisteeriks sinu dispatch-sõnastikus