Извикване на функции чрез глас
На тази страница
Изпълнение на функции по време на гласов разговор
Извикването на функции чрез глас позволява на Вашия агент да задейства реални действия по време на разговор: заявка към база данни, подаване на поръчка, изпращане на имейл или обаждане към външно API. Агентът решава кога да извика функция въз основа на думите на потребителя.
Агентът идентифицира нуждата
Потребителят казва нещо, което изисква извикване на функция. Агентът генерира аргументите.
Вашето приложение изпълнява функцията
Получавате аргументите чрез събитието function_call_arguments.done и изпълнявате Вашата бизнес логика.
Изпращате резултата обратно
Изпратете conversation.item.create с тип function_call_output и call_id.
Агентът продължава разговора
Изпратете response.create, за да може агентът да включи резултата в своя гласов отговор.
Деклариране на функция
Декларирате функциите в масива tools на session.update:
{
"type": "session.update",
"session": {
"tools": [
{
"type": "function",
"name": "get_balance",
"description": "Gets the balance of a customer's bank account",
"parameters": {
"type": "object",
"properties": {
"client_id": {
"type": "string",
"description": "Customer ID"
}
},
"required": ["client_id"]
}
}
]
}
}
Получаване и обработка на извикване на функция
Когато агентът реши да извика функция, получавате аргументите като поток, а след това всички наведнъж:
let functionArgs = "";
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "response.function_call_arguments.delta":
functionArgs += event.delta;
break;
case "response.function_call_arguments.done":
const args = JSON.parse(event.arguments);
const callId = event.call_id;
const functionName = event.name;
// Run the function
handleFunctionCall(functionName, args, callId);
break;
}
});
async function handleFunctionCall(name, args, callId) {
let result;
switch (name) {
case "get_balance":
result = await getBalance(args.client_id);
break;
default:
result = { error: "Unknown function" };
}
// Send back the result
ws.send(JSON.stringify({
type: "conversation.item.create",
item: {
type: "function_call_output",
call_id: callId,
output: JSON.stringify(result)
}
}));
// Ask the agent to continue
ws.send(JSON.stringify({
type: "response.create"
}));
}
Паралелни извиквания на функции
Агентът може да реши да извика няколко функции едновременно. Тогава получавате няколко събития function_call_arguments.done. Правилото е:
- Разрешете всяка функция, преди да отговорите
- Изпратете всеки резултат, като използвате по едно
conversation.item.createза всеки резултат - Изпратете едно единствено
response.createв края
const pendingCalls = new Map();
let expectedCalls = 0;
case "response.function_call_arguments.done":
const result = await executeFunction(event.name, event.arguments);
pendingCalls.set(event.call_id, result);
if (pendingCalls.size === expectedCalls) {
// Every function is resolved
for (const [callId, output] of pendingCalls) {
ws.send(JSON.stringify({
type: "conversation.item.create",
item: {
type: "function_call_output",
call_id: callId,
output: JSON.stringify(output)
}
}));
}
// A single response.create for all the outputs
ws.send(JSON.stringify({ type: "response.create" }));
pendingCalls.clear();
}
break;
Най-добри практики
- Ясни описания: качеството на описанията на Вашите функции определя кога агентът ще ги използва
- Бързо изпълнение: функция, която отнема повече от 2 или 3 секунди, създава неловко мълчание
- Обработка на грешки: връщайте четимо съобщение за грешка, а не техническо изключение
- Гласово потвърждение: за чувствителни действия (плащания, изтривания), накарайте потребителя да потвърди, преди да ги изпълните
Ключови изводи
- Извикването на функции чрез глас следва четиристъпков цикъл: откриване, изпълнение, връщане на резултата, продължение
- Декларирате функциите в
session.updateсъс JSON схема за техните параметри - Резултатът трябва да бъде изпратен обратно чрез
conversation.item.createсtype: "function_call_output" - Винаги изпращайте
response.createслед подаване на резултатите - При паралелни извиквания изчакайте всеки резултат, преди да изпратите едно единствено
response.create