Изпълнение и връщане на резултата
На тази страница
- Стъпката, която контролирате напълно
- Изпълнение на функцията на клиентската страна
- Изграждане на съобщението за инструмента (Tool Message)
- Изпращане на резултата и получаване на крайния отговор
- Пълният поток в един блок
- Структура на съобщенията на всяка стъпка
- Следете формата на съдържанието
- Ключови изводи
Стъпката, която контролирате напълно
Получили сте tool_call от модела. Той Ви указва коя функция да извикате и с какви аргументи – нищо повече. Сега Вашият код поема инициативата: той изпълнява функцията, извлича резултата и го изпраща обратно на модела като съобщение с роля tool. Този урок обхваща целия този цикъл. Това е единственият момент в процеса, в който Вие вземате всички решения.
Изпълнение на функцията на клиентската страна
Нека разгледаме отново речника за диспечиране от Урок 4 и го свържем с отговора на модела.
import json
from functools import partial
# Functions already defined
available_functions = {
"retrieve_payment_status": partial(retrieve_payment_status, df),
"retrieve_payment_date": partial(retrieve_payment_date, df),
}
# The model returned a tool_call
tool_call = response.choices[0].message.tool_calls[0]
function_name = tool_call.function.name
function_params = json.loads(tool_call.function.arguments)
# Execute the function
if function_name in available_functions:
result = available_functions[function_name](**function_params)
print(f"Result: {result}")
# → '{"status": "paid"}'
else:
result = json.dumps({"error": f"Function {function_name} not available"})
Тук работят два механизма. Първият е **function_params, който разпакетира речника от JSON в именувани аргументи: ако моделът е генерирал {"transaction_id": "T1001"}, извикването е напълно еквивалентно на retrieve_payment_status(transaction_id="T1001"). Вторият е блокът else. Той е по-малко впечатляващ, но съществен. Моделът може да халюцинира име на функция, което не съществува във Вашия диспечер; без тази проверка Вашето приложение ще генерира KeyError и разговорът ще прекъсне рязко. С нея грешката се превръща в данни, които моделът може да обработи коректно.
Изграждане на съобщението за инструмента (Tool Message)
Резултатът трябва да бъде върнат на модела в специфичен формат – съобщение с роля "tool":
tool_message = {
"role": "tool",
"name": function_name,
"content": result, # Must be a string
"tool_call_id": tool_call.id
}
| Поле | Роля |
|---|---|
role | "tool" – идентифицира съобщението като резултат от функция |
name | Името на изпълнената функция |
content | Резултатът като JSON низ |
tool_call_id | ID на оригиналния tool_call – позволява на модела да свърже резултата с правилното извикване |
Изпращане на резултата и получаване на крайния отговор
Моделът няма памет от едно извикване до следващото: той не помни, че Ви е поискал нещо. Затова трябва да възстановите целия разговор за него, включително собствената му заявка за извикване на инструмент, преди да представите резултата.
# 1. Add the assistant message (with the tool_call)
messages.append(response.choices[0].message)
# 2. Add the function result
messages.append({
"role": "tool",
"name": function_name,
"content": result,
"tool_call_id": tool_call.id
})
# 3. Call the model again with the full context
final_response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools
)
# 4. Display the final response
print(final_response.choices[0].message.content)
# → "Payment T1001 status is: paid."
Редът на двете операции append е задължителен: съобщението от асистента, съдържащо tool_call, трябва да предхожда съобщението tool, което му отговаря. Размяната им създава несъответстваща история, която API ще отхвърли.
Пълният поток в един блок
Ето целия процес, от въпроса на потребителя до крайния отговор:
import os
import json
from mistralai.client import Mistral
from functools import partial
# Configuration
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
model = "mistral-large-latest"
# Functions and tools (defined earlier)
available_functions = {
"retrieve_payment_status": partial(retrieve_payment_status, df),
"retrieve_payment_date": partial(retrieve_payment_date, df),
}
# Steps 1-2: User question + API call
messages = [
{"role": "user", "content": "What is the status of payment T1001?"}
]
response = client.chat.complete(
model=model, messages=messages, tools=tools
)
# Steps 3-4: Extract the tool_call and execute
message = response.choices[0].message
if message.tool_calls:
tool_call = message.tool_calls[0]
function_name = tool_call.function.name
function_params = json.loads(tool_call.function.arguments)
# Client-side execution
result = available_functions[function_name](**function_params)
# Step 5: Send the result back to the model
messages.append(message)
messages.append({
"role": "tool",
"name": function_name,
"content": result,
"tool_call_id": tool_call.id
})
final_response = client.chat.complete(
model=model, messages=messages, tools=tools
)
print(final_response.choices[0].message.content)
else:
print(message.content)
Структура на съобщенията на всяка стъпка
Заслужава си да инспектирате списъка messages, след като цикълът приключи, защото това е най-добрият начин за отстраняване на грешки при неправилно функциониращо извикване на функции. Той съдържа четири съобщения.
# Message 1: The user's question
{"role": "user", "content": "What is the status of payment T1001?"}
# Message 2: The model's response with the tool_call
{"role": "assistant", "tool_calls": [{"id": "call_abc123", ...}]}
# Message 3: The function result
{"role": "tool", "name": "retrieve_payment_status",
"content": '{"status": "paid"}', "tool_call_id": "call_abc123"}
# Message 4 (implicit): The model's final response
# → "Payment T1001 status is: paid."
Следете ID call_abc123: то се ражда в Съобщение 2 и се появява отново в Съобщение 3. Тази нишка свързва заявката с нейния отговор. Тази структура е фундаменталният шаблон на извикването на функции; всяка вариация, която срещнете по-късно, било то многократен диалог или паралелно изпълнение, просто го повтаря или дублира.
Следете формата на съдържанието
Една грешка се появява по-често от всички останали и се свежда до типа на полето content: то трябва винаги да бъде низ.
# Correct — JSON string
{"content": '{"status": "paid"}'}
# Correct — plain text
{"content": "The status is paid"}
# Incorrect — Python dictionary (will cause an error)
{"content": {"status": "paid"}}
Разликата между първия и третия пример се крие в кавичките, обграждащи JSON. Ако Вашата функция връща речник, конвертирайте го с json.dumps(), преди да го изпратите – точно затова всички функции в Урок 4 завършваха с json.dumps().
Ключови изводи
- Изпълнението на функцията става на клиентската страна, във Вашия код – никога от самия модел
- Резултатът се изпраща обратно в съобщение с роля
"tool"и съответстващияtool_call_id contentна съобщението за инструмента трябва да бъде низ (JSON низ)- След изпращане на резултата, отново извиквате
chat.complete(), за да може моделът да формулира крайния отговор - Винаги проверявайте дали поисканата функция съществува във Вашия речник за диспечиране