Nástroje a volanie funkcií v hlasovom režime
Na tejto strane
Agent, ktorý koná, nielen rozpráva
Hlasový asistent, ktorý vie iba chatovať, rýchlo narazí na stenu: zdvorilo odpovie na otázku „Kde je moja objednávka?“, hoci o ničom nič nevie. Skutočná hodnota hlasového agenta (Voice Agent) spočíva v jeho schopnosti konať priamo uprostred konverzácie (dopytovať databázu, spustiť webové vyhľadávanie, volať firemné API alebo dosiahnuť na server MCP) a následne prečítať výsledok tak, akoby sa nič nestalo.
Päť typov nástrojov
Webové vyhľadávanie v najjednoduchšej forme nepotrebuje žiadne parametre:
{ "type": "web_search" }
Agent následne živě prehľadáva web, čo pokrýva faktografické otázky, spravodajstvo a akékoľvek údaje, ktoré sa menia príliš často na to, aby boli uložené v prompte.
Vyhľadávanie na platforme X funguje rovnakým spôsobom, s možnosťou obmedziť ho na určité účty:
{
"type": "x_search",
"allowed_x_handles": ["corsen_ai"]
}
Parameter allowed_x_handles je voliteľný, no mení podstatu nástroja. Bez neho agent prehľadáva celú platformu; s ním sa stáva hovorca, ktorý cituje iba vaše oficiálne príspevky.
Vyhľadávanie v súboroch dopytuje kolekcie vektorizovaných dokumentov, ako sú vaše manuály, procedúry a produktová dokumentácia:
{
"type": "file_search",
"vector_store_ids": ["vs_abc123"],
"max_num_results": 10
}
Vlastné funkcie otvárajú dvere k vašim vlastným systémom. Toto je typ nástroja, ktorý budete používať najčastejšie, a preto sa oplatí ho starostlivo definovať:
{
"type": "function",
"name": "check_order",
"description": "Checks the status of a customer order",
"parameters": {
"type": "object",
"properties": {
"order_number": {
"type": "string",
"description": "The order number, in the format CMD-XXXX"
}
},
"required": ["order_number"]
}
}
Rovnakým spôsobom môžeš pripojiť CRM, ERP, kalendár alebo internú databázu. Servery MCP nakoniec poskytujú prístup k štandardizovaným nástrojom prostredníctvom protokolu Model Context Protocol, takže nemusíš prepisovať integráciu pre každú službu zvlášť:
{
"type": "mcp",
"server_url": "https://mcp.example.com/sse",
"server_label": "My MCP server"
}
Úplný cyklus volania funkcie
Keď sa agent rozhodne zavolať funkciu, nespustí ju sám: požiada o to teba a tvoja aplikácia vykoná prácu. Argumenty sa najprv streamujú cez response.function_call_arguments.delta. Následne udalosť response.function_call_arguments.done označí koniec požiadavky a poskytne ti call_id spolu s kompletnými argumentmi. Je na tebe, aby si funkciu spustil a potom vrátil výsledok ako conversation.item.create typu function_call_output:
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"delivery_date\": \"2026-04-05\"}"
}
}
Posledný krok je zásadný a práve naň ľudia najčastejšie zabúdajú: pošli response.create, aby agent zahrnul výsledok do svojej hlasovej odpovede. Bez toho sa síce výsledok dostane do konverzácie, ale nič sa nestane. Používateľ počuje ticho a ty hľadáš chybu na nesprávnom mieste.
Keď sa naraz spustí viacero funkcií
Model sa môže rozhodnúť zavolať naraz dve alebo tri funkcie, napríklad na kontrolu objednávky a vyhľadanie harmonogramu doručenia. V takom prípade dostaneš niekoľko udalostí function_call_arguments.done, každú s vlastným call_id. Spusť ich všetky, ideálne paralelne, aby sa latencie nesčítavali, odovzdaj každý výsledok vo vlastnom conversation.item.create a úplne na koniec pošli jediné response.create. Jedno response.create na každú funkciu by spustilo toľko konkurenčných hlasových odpovedí, že by agent začal hovoriť sám cez seba.
// Prijatie a spustenie všetkých funkcií
const results = await Promise.all(
pendingCalls.map(call => executeFunction(call))
);
// Odovzdanie všetkých výsledkov
for (const result of results) {
ws.send(JSON.stringify({
type: "conversation.item.create",
item: {
type: "function_call_output",
call_id: result.callId,
output: JSON.stringify(result.data)
}
}));
}
// Spustenie odpovede
ws.send(JSON.stringify({ type: "response.create" }));
Obmedzenia špecifické pre hlas
To, čo v textovom rozhraní prejde bez povšimnutia, sa v reči stáva očividným, začínajúc časom. Nikto nečaká viac ako tri až päť sekúnd uprostred konverzácie. Po tomto čase si používatelia myslia, že linka vypadla, a začnú hovoriť. Ak tvoja funkcia dopytuje pomalý systém, nechaj agenta počas volania povedať vyčkávaciu frázu, namiesto toho, aby nastalo mŕtve ticho.
Veľkosť výsledkov je rovnako dôležitá. Agent musí nahlas zhrnúť všetko, čo mu dáš, a zoznam štyridsiatich objednávok vytvorí buď nekonečný recitál, alebo hrubé zhrnutie. Vracaj štruktúrované údaje, ale obmedz ich len na to podstatné. Dávaj pozor aj na popis každej funkcie, pretože je to jediné, na čo sa model spolieha pri výbere: vágny popis ako „vybavuje objednávky“ spôsobí váhanie alebo výber nesprávneho nástroja. A počítaj so zlyhaním. Keď funkcia spadne, vráť v output explicitnú chybovú správu namiesto prázdnej hodnoty, inak si agent vymyslí odpoveď, hoci nebude vedieť, že volanie zlyhalo.
Kľúčové poznatky
- Hlasový agent podporuje päť typov nástrojov: webové vyhľadávanie, vyhľadávanie na X, vyhľadávanie v súboroch, funkcie a MCP
- Volanie funkcie prechádza štyrmi krokmi: prijatie argumentov, spustenie funkcie, vrátenie výsledku a spustenie odpovede
- Paralelné volania sú možné: spusti všetko, odovzdaj všetko a potom pošli jediné
response.create - V hlasovom režime je čas odozvy funkcie kritický: cieľom je menej ako 3 sekundy