Izvedba in vrnitev rezultata
Na tej strani
Korak, ki ga popolnoma nadzoruješ
Prejel si tool_call od modela. Pove ti, katero funkcijo poklicati in s katerimi argumenti – nič več. Zdaj prevzame tvoja koda: izvede funkcijo, pridobi rezultat in ga pošlje nazaj modelu kot sporočilo z vlogo tool. Ta lekcija pokriva celoten krog tega procesa. To je edini trenutek v ciklu, ko sprejmeš vse odločitve.
Izvedba funkcije na strani odjemalca
Ponovno si oglejmo slovar za usmerjanje iz lekcije 4 in ga povežimo z odgovorom modela.
import json
from functools import partial
# Funkcije so že definirane
available_functions = {
"retrieve_payment_status": partial(retrieve_payment_status, df),
"retrieve_payment_date": partial(retrieve_payment_date, df),
}
# Model je vrnil tool_call
tool_call = response.choices[0].message.tool_calls[0]
function_name = tool_call.function.name
function_params = json.loads(tool_call.function.arguments)
# Izvedba funkcije
if function_name in available_functions:
result = available_functions[function_name](**function_params)
print(f"Result: {result}")
# → '{"status": "paid"}'
else:
result = json.dumps({"error": f"Function {function_name} not available"})
Tukaj delujeta dva mehanizma. Prvi je **function_params, ki razpakira slovar iz JSON-a v imenovane argumente: če je model ustvaril {"transaction_id": "T1001"}, je klic popolnoma enakovreden retrieve_payment_status(transaction_id="T1001"). Drugi je blok else. Ni tako spektakularen, a je nujen. Model lahko halucinira ime funkcije, ki ne obstaja v tvojem slovarju za usmerjanje; brez tega preverjanja tvoja aplikacija vrže napako KeyError in pogovor se ustavi. Z njim napaka postane podatek, s katerim se model lahko elegantno spopade.
Izgradnja sporočila orodja (Tool Message)
Rezultat se mora vrniti modelu v določeni obliki – kot sporočilo z vlogo "tool":
tool_message = {
"role": "tool",
"name": function_name,
"content": result, # Mora biti niz
"tool_call_id": tool_call.id
}
| Polje | Vloga |
|---|---|
role | "tool" – identificira sporočilo kot rezultat funkcije |
name | Ime izvedene funkcije |
content | Rezultat kot niz JSON |
tool_call_id | ID prvotnega tool_call – omogoča modelu, da poveže rezultat s pravilnim klicem |
Pošiljanje rezultata in pridobitev končnega odgovora
Model nima spomina med posameznimi klici: ne spomni se, da je kaj zahteval od tebe. Zato moraš zanj znova zgraditi celoten pogovor, vključno z njegovo lastno zahtevo za klic orodja, šele nato pa mu predstaviš rezultat.
# 1. Dodaj sporočilo asistenta (z tool_call)
messages.append(response.choices[0].message)
# 2. Dodaj rezultat funkcije
messages.append({
"role": "tool",
"name": function_name,
"content": result,
"tool_call_id": tool_call.id
})
# 3. Ponovno pokliči model s polnim kontekstom
final_response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools
)
# 4. Prikaži končni odgovor
print(final_response.choices[0].message.content)
# → "Payment T1001 status is: paid."
Vrstni red obeh operacij append je neizpodbiten: sporočilo asistenta, ki nosi tool_call, mora priti pred sporočilo tool, ki nanj odgovarja. Zamenjava vrstnega reda ustvari nedosledno zgodovino, ki jo API zavrne.
Celoten potek v enem bloku
Tukaj je celoten proces, od uporabnikovega vprašanja do končnega odgovora:
import os
import json
from mistralai.client import Mistral
from functools import partial
# Konfiguracija
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
model = "mistral-large-latest"
# Funkcije in orodja (definirana prej)
available_functions = {
"retrieve_payment_status": partial(retrieve_payment_status, df),
"retrieve_payment_date": partial(retrieve_payment_date, df),
}
# Koraki 1-2: Uporabnikovo vprašanje + klic API-ja
messages = [
{"role": "user", "content": "What is the status of payment T1001?"}
]
response = client.chat.complete(
model=model, messages=messages, tools=tools
)
# Koraki 3-4: Izloči tool_call in ga izvedi
message = response.choices[0].message
if message.tool_calls:
tool_call = message.tool_calls[0]
function_name = tool_call.function.name
function_params = json.loads(tool_call.function.arguments)
# Izvedba na strani odjemalca
result = available_functions[function_name](**function_params)
# Korak 5: Pošlji rezultat nazaj modelu
messages.append(message)
messages.append({
"role": "tool",
"name": function_name,
"content": result,
"tool_call_id": tool_call.id
})
final_response = client.chat.complete(
model=model, messages=messages, tools=tools
)
print(final_response.choices[0].message.content)
else:
print(message.content)
Struktura sporočil na vsakem koraku
Vredno si je ogledati seznam messages, ko se cikel zaključi, saj je to najboljši način za odpravljanje težav pri nepravilnem delovanju klicev funkcij. Vsebuje štiri sporočila.
# Sporočilo 1: Uporabnikovo vprašanje
{"role": "user", "content": "What is the status of payment T1001?"}
# Sporočilo 2: Odgovor modela z tool_call
{"role": "assistant", "tool_calls": [{"id": "call_abc123", ...}]}
# Sporočilo 3: Rezultat funkcije
{"role": "tool", "name": "retrieve_payment_status",
"content": '{"status": "paid"}', "tool_call_id": "call_abc123"}
# Sporočilo 4 (implicitno): Končni odgovor modela
# → "Payment T1001 status is: paid."
Sledi ID-ju call_abc123: rojen je v Sporočilu 2 in se ponovno pojavi v Sporočilu 3. Ta nit povezuje zahtevo z njenim odgovorom. Ta struktura je temeljni vzorec klicanja funkcij; vsaka variacija, na katero kasneje naletiš, bodisi večkratna izmenjava ali vzporedni klici, ga le ponovi ali podvoji.
Pozornost na format vsebine
Ena napaka se pojavlja pogosteje kot vse druge in izvira iz tipa polja content: biti mora vedno niz.
# Pravilno — niz JSON
{"content": '{"status": "paid"}'}
# Pravilno — navadno besedilo
{"content": "The status is paid"}
# Nepravilno — slovar Python (povzroči napako)
{"content": {"status": "paid"}}
Razlika med prvim in tretjim primerom je v narekovajih, ki obdajajo JSON. Če tvoja funkcija vrne slovar, ga pred pošiljanjem pretvori z json.dumps() – prav zato se vse funkcije v lekciji 4 končajo s json.dumps().
Ključne ugotovitve
- Izvedba funkcije poteka na strani odjemalca, v tvoji kodi – nikoli ne pri modelu
- Rezultat se pošlje nazaj v sporočilu z vlogo
"tool"in ujemajočim setool_call_id - Vsebina (
content) sporočila orodja mora biti niz (niz JSON) - Po pošiljanju rezultata ponovno pokličeš
chat.complete(), da lahko model oblikuje končni odgovor - Vedno preveri, ali zahtevana funkcija obstaja v tvojem slovarju za usmerjanje