Pozivanje funkcija glasom
Na ovoj stranici
Pokretanje funkcija iz glasovnog razgovora
Pozivanje funkcija glasom omogućuje tvom agentu da pokreće stvarne radnje tijekom razgovora: upite u bazu podataka, kreiranje narudžbi, slanje e-pošte ili pozive vanjskim API-jima. Agent sam odlučuje kada pozvati funkciju, ovisno o tome što korisnik kaže.
Agent prepoznaje potrebu
Korisnik izgovori nešto što zahtijeva poziv funkcije. Agent generira argumente.
Tvoja aplikacija pokreće funkciju
Primaš argumente putem događaja function_call_arguments.done i pokrećeš svoju poslovnu logiku.
Vraćaš rezultat
Pošalji conversation.item.create s tipom function_call_output i odgovarajućim call_id.
Agent nastavlja razgovor
Pošalji response.create kako bi agent uključio rezultat u svoj glasovni odgovor.
Deklariranje funkcije
Funkcije deklariraš u polju tools unutar session.update:
{
"type": "session.update",
"session": {
"tools": [
{
"type": "function",
"name": "get_balance",
"description": "Gets the balance of a customer's bank account",
"parameters": {
"type": "object",
"properties": {
"client_id": {
"type": "string",
"description": "Customer ID"
}
},
"required": ["client_id"]
}
}
]
}
}
Primanje i obrada poziva funkcije
Kada agent odluči pozvati funkciju, prvo primaš argumente kao stream, a zatim sve odjednom:
let functionArgs = "";
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "response.function_call_arguments.delta":
functionArgs += event.delta;
break;
case "response.function_call_arguments.done":
const args = JSON.parse(event.arguments);
const callId = event.call_id;
const functionName = event.name;
// Pokreni funkciju
handleFunctionCall(functionName, args, callId);
break;
}
});
async function handleFunctionCall(name, args, callId) {
let result;
switch (name) {
case "get_balance":
result = await getBalance(args.client_id);
break;
default:
result = { error: "Unknown function" };
}
// Vrati rezultat
ws.send(JSON.stringify({
type: "conversation.item.create",
item: {
type: "function_call_output",
call_id: callId,
output: JSON.stringify(result)
}
}));
// Zatraži od agenta da nastavi
ws.send(JSON.stringify({
type: "response.create"
}));
}
Paralelni pozivi funkcija
Agent može odlučiti istovremeno pozvati nekoliko funkcija. Tada ćeš primiti više događaja function_call_arguments.done. Pravilo je sljedeće:
- Riješi svaku funkciju prije odgovora
- Pošalji svaki rezultat, s jednim
conversation.item.createpo rezultatu - Pošalji jedan jedini
response.createna kraju
const pendingCalls = new Map();
let expectedCalls = 0;
case "response.function_call_arguments.done":
const result = await executeFunction(event.name, event.arguments);
pendingCalls.set(event.call_id, result);
if (pendingCalls.size === expectedCalls) {
// Sve su funkcije riješene
for (const [callId, output] of pendingCalls) {
ws.send(JSON.stringify({
type: "conversation.item.create",
item: {
type: "function_call_output",
call_id: callId,
output: JSON.stringify(output)
}
}));
}
// Jedan response.create za sve izlaze
ws.send(JSON.stringify({ type: "response.create" }));
pendingCalls.clear();
}
break;
Najbolje prakse
- Jasni opisi: kvaliteta tvojih opisa funkcija određuje kada će ih agent koristiti
- Brzo izvršavanje: funkcija koja traje dulje od 2 ili 3 sekunde stvara neugodnu tišinu
- Rukovanje greškama: vrati čitku poruku o grešci umjesto tehničkog iznimnog stanja
- Glasovna potvrda: za osjetljive radnje (plaćanja, brisanja) zatraži od korisnika potvrdu prije izvršenja
Ključne točke
- Pozivanje funkcija glasom slijedi četverostepeni ciklus: detekcija, izvršenje, vraćanje rezultata, nastavak
- Funkcije deklariraš u
session.updates JSON shemom za njihove parametre - Rezultat se mora vratiti putem
conversation.item.createstype: "function_call_output" - Uvijek pošalji
response.createnakon slanja rezultata - Kod paralelnih poziva pričekaj sve rezultate prije slanja jednog
response.create