Narzędzia i wywoływanie funkcji w trybie głosowym
Na tej stronie
Agent, który działa, a nie tylko mówi
Asystent głosowy ograniczony wyłącznie do rozmowy szybko napotyka mur: grzecznie odpowiada na pytanie „Gdzie jest moje zamówienie?“, nie wiedząc absolutnie nic. Prawdziwa wartość Agenta Głosowego polega na jego zdolności do podejmowania działań w trakcie rozmowy (odpytanie bazy danych, uruchomienie wyszukiwania w sieci, wywołanie API biznesowego, połączenie z serwerem MCP) i odczytania wyniku tak, jakby nic się nie stało.
Pięć rodzajów narzędzi
Wyszukiwanie w sieci w swojej najprostszej formie nie wymaga żadnych parametrów:
{ "type": "web_search" }
Agent następnie przeprowadza wyszukiwanie w sieci na żywo, co obejmuje pytania faktograficzne, aktualności oraz wszelkie dane, które zmieniają się zbyt często, by mogły znajdować się w prompcie.
Wyszukiwanie X działa w ten sam sposób, z opcją ograniczenia go do określonych kont:
{
"type": "x_search",
"allowed_x_handles": ["corsen_ai"]
}
Parametr allowed_x_handles jest opcjonalny, ale zmienia charakter narzędzia. Bez niego agent przeszukuje całą platformę; z nim agent staje się rzecznikiem, który cytuje wyłącznie Twoje oficjalne wpisy.
Wyszukiwanie plików odpytuje kolekcje zwektoryzowanych dokumentów, takie jak Twoje podręczniki, procedury i dokumentacja produktu:
{
"type": "file_search",
"vector_store_ids": ["vs_abc123"],
"max_num_results": 10
}
Funkcje niestandardowe otwierają drzwi do Twoich własnych systemów. To rodzaj narzędzia, którego będziesz używać najczęściej, więc warto je zadeklarować z należytą starannością:
{
"type": "function",
"name": "check_order",
"description": "Checks the status of a customer order",
"parameters": {
"type": "object",
"properties": {
"order_number": {
"type": "string",
"description": "The order number, in the format CMD-XXXX"
}
},
"required": ["order_number"]
}
}
W ten sam sposób możesz podłączyć system CRM, ERP, kalendarz lub wewnętrzną bazę danych. Na koniec serwery MCP zapewniają dostęp do standaryzowanych narzędzi poprzez Model Context Protocol, dzięki czemu nie musisz przepisywać integracji dla każdej usługi:
{
"type": "mcp",
"server_url": "https://mcp.example.com/sse",
"server_label": "My MCP server"
}
Pełny cykl wywołania funkcji
Gdy agent zdecyduje się wywołać funkcję, nie uruchamia jej sam: prosi o to Ciebie, a Twoja aplikacja wykonuje pracę. Argumenty najpierw są strumieniowane przez response.function_call_arguments.delta. Następnie zdarzenie response.function_call_arguments.done oznacza koniec żądania i dostarcza call_id wraz z kompletnymi argumentami. To do Ciebie należy uruchomienie funkcji, a następnie zwrócenie wyniku jako conversation.item.create typu function_call_output:
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"delivery_date\": \"2026-04-05\"}"
}
}
Ostatni krok jest kluczowy i to właśnie o nim ludzie zapominają: wyślij response.create, aby agent mógł uwzględnić wynik w swojej wypowiedzi głosowej. Bez tego wynik trafi do konwersacji, ale nic się nie wydarzy. Użytkownik usłyszy ciszę, a Ty zaczniesz szukać błędu w złym miejscu.
Gdy kilka funkcji uruchamia się jednocześnie
Model może zdecydować się na wywołanie dwóch lub trzech funkcji naraz, na przykład w celu sprawdzenia zamówienia i harmonogramu dostawy. Otrzymasz wtedy kilka zdarzeń function_call_arguments.done, każde z własnym call_id. Uruchom je wszystkie, równolegle, jeśli to możliwe, aby opóźnienia się nie sumowały, prześlij każdy wynik w osobnym conversation.item.create, a na samym końcu wyślij pojedyncze response.create. Jedno response.create na funkcję uruchomiłoby tyle samo konkurujących ze sobą odpowiedzi głosowych, a agent zacząłby mówić sam do siebie.
// Odbierz i uruchom wszystkie funkcje
const results = await Promise.all(
pendingCalls.map(call => executeFunction(call))
);
// Prześlij wszystkie wyniki
for (const result of results) {
ws.send(JSON.stringify({
type: "conversation.item.create",
item: {
type: "function_call_output",
call_id: result.callId,
output: JSON.stringify(result.data)
}
}));
}
// Wyzwól odpowiedź
ws.send(JSON.stringify({ type: "response.create" }));
Ograniczenia specyficzne dla głosu
To, co w interfejsie tekstowym pozostaje niezauważone, w mowie staje się rażące, zaczynając od czasu. Nikt nie czeka dłużej niż trzy do pięciu sekund w środku rozmowy. Po przekroczeniu tego limitu użytkownicy myślą, że połączenie zostało zerwane, i zaczynają mówić. Jeśli Twoja funkcja odpytuje wolny system, każ agentowi wypowiedzieć frazę podtrzymującą podczas wywołania, zamiast pozostawiać martwą ciszę.
Rozmiar wyników ma równie duże znaczenie. Agent musi na głos podsumować wszystko, co mu przekażesz, a lista czterdziestu zamówień spowoduje albo nieskończony recytal, albo zbyt ogólne streszczenie. Zwracaj dane ustrukturyzowane, ale ogranicz je do tego, co istotne. Zadbaj również o opis każdej funkcji, ponieważ jest to jedyne, na czym model polega przy wyborze: niejasny opis, taki jak „obsługuje zamówienia“, sprawi, że agent będzie się wahał lub wybierze niewłaściwe narzędzie. Zaplanuj też obsługę błędów. Gdy funkcja ulegnie awarii, zwróć wyraźny komunikat o błędzie w polu output, a nie pustą wartość, w przeciwnym razie agent improwizuje odpowiedź, nie wiedząc, że wywołanie nie powiodło się.
Kluczowe wnioski
- Agent Głosowy obsługuje pięć typów narzędzi: wyszukiwanie w sieci, wyszukiwanie X, wyszukiwanie plików, funkcje i MCP
- Wywołanie funkcji przechodzi przez cztery etapy: odbiór argumentów, uruchomienie funkcji, zwrócenie wyniku i wyzwolenie odpowiedzi
- Możliwe są wywołania równoległe: uruchom wszystko, prześlij wszystko, a następnie wyślij pojedyncze
response.create - W trybie głosowym czas odpowiedzi funkcji jest krytyczny: celuj w wynik poniżej 3 sekund