Nástroje a volání funkcí v hlasovém režimu
Na této stránce
Agent, který koná, nejen mluví
Hlasový asistent, který umí jen chatovat, brzy narazí na zeď: zdvořile odpoví na otázku „Kde je moje objednávka?“, aniž by cokoli věděl. Skutečná hodnota hlasového agenta (Voice Agent) spočívá v jeho schopnosti podnikat kroky uprostřed konverzace (dotazovat se databáze, spouštět webové vyhledávání, volat obchodní API nebo oslovovat server MCP) a následně přečíst výsledek, jako by se nic nestalo.
Pět druhů nástrojů
Webové vyhledávání v nejjednodušší formě nepotřebuje žádné parametry:
{ "type": "web_search" }
Agent poté živě prohledá web, což pokrývá faktické otázky, zprávy a jakákoli data, která se mění příliš často na to, aby byla uložena v promptu.
Vyhledávání na X funguje stejně, s možností omezit je na určité účty:
{
"type": "x_search",
"allowed_x_handles": ["corsen_ai"]
}
Parametr allowed_x_handles je volitelný, ale mění povahu nástroje. Bez něj agent prohledává celou platformu; s ním se stává mluvčím, který cituje pouze vaše oficiální příspěvky.
Vyhledávání v souborech dotazuje kolekce vektorizovaných dokumentů, jako jsou vaše manuály, postupy a produktová dokumentace:
{
"type": "file_search",
"vector_store_ids": ["vs_abc123"],
"max_num_results": 10
}
Vlastní funkce otevírají dveře k vašim vlastním systémům. Toto je typ nástroje, který budete používat nejčastěji, a stojí za to jej pečlivě definovat:
{
"type": "function",
"name": "check_order",
"description": "Checks the status of a customer order",
"parameters": {
"type": "object",
"properties": {
"order_number": {
"type": "string",
"description": "The order number, in the format CMD-XXXX"
}
},
"required": ["order_number"]
}
}
Stejným způsobem můžete připojit CRM, ERP, kalendář nebo interní databázi. Servery MCP konečně poskytují přístup ke standardizovaným nástrojům prostřednictvím protokolu Model Context Protocol, takže nemusíte přepisovat integraci pro každou službu zvlášť:
{
"type": "mcp",
"server_url": "https://mcp.example.com/sse",
"server_label": "My MCP server"
}
Kompletní cyklus volání funkce
Když se agent rozhodne zavolat funkci, nespustí ji sám: požádá o to vás a vaši aplikaci, která vykoná práci. Argumenty nejprve přicházejí proudem přes response.function_call_arguments.delta. Následně událost response.function_call_arguments.done označí konec požadavku a poskytne vám call_id spolu s kompletními argumenty. Je na vás, abyste funkci spustili a poté vrátili výsledek jako conversation.item.create typu function_call_output:
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"delivery_date\": \"2026-04-05\"}"
}
}
Poslední krok je zásadní a právě na něj lidé často zapomínají: odešlete response.create, aby agent zapracoval výsledek do své hlasové odpovědi. Bez toho se sice výsledek dostane do konverzace, ale nic se nestane. Uživatel uslyší ticho a vy budete hledat chybu na špatném místě.
Když se spustí několik funkcí najednou
Model se může rozhodnout zavolat dvě nebo tři funkce současně, například pro kontrolu objednávky a vyhledání harmonogramu doručení. Poté obdržíte několik událostí function_call_arguments.done, každou s vlastním call_id. Spusťte je všechny, ideálně paralelně, aby se latence nesčítaly, odešlete každý výsledek v jeho vlastním conversation.item.create a úplně na závěr odešlete jediné response.create. Jedno response.create na funkci by spustilo tolik soupeřících hlasových odpovědí, že by agent začal mluvit přes sebe sama.
// Přijmout a spustit všechny funkce
const results = await Promise.all(
pendingCalls.map(call => executeFunction(call))
);
// Odeslat všechny výsledky
for (const result of results) {
ws.send(JSON.stringify({
type: "conversation.item.create",
item: {
type: "function_call_output",
call_id: result.callId,
output: JSON.stringify(result.data)
}
}));
}
// Spustit odpověď
ws.send(JSON.stringify({ type: "response.create" }));
Omezení specifická pro hlas
To, co zůstane bez povšimnutí v textovém rozhraní, je v řeči glaringní, začínaje časem. Nikdo nečeká déle než tři až pět sekund uprostřed konverzace. Po této době si uživatelé myslí, že hovor přerušil, a začnou mluvit. Pokud vaše funkce dotazuje pomalý systém, nechte agenta během volání říct udržovací frázi, místo abyste nechali vzniknout mrtvému tichu.
Velikost výsledků je stejně důležitá. Agent musí nahlas shrnout cokoli, co mu poskytnete, a seznam čtyřiceti objednávek vytvoří buď nekonečný recitál, nebo hrubé shrnutí. Vracejte strukturovaná data, ale omezte je pouze na to podstatné. Dávejte si pozor také na popis každé funkce, protože je to jediná věc, na kterou se model spoléhá při výběru: vágní popis jako „zpracovává objednávky“ způsobí, že bude váhat nebo vybere špatný nástroj. A počítejte s chybovými stavy. Když funkce spadne, vraťte v output explicitní chybovou zprávu místo ničeho, jinak si agent vymyslí odpověď, aniž by věděl, že volání selhalo.
Klíčové poznatky
- Hlasový agent podporuje pět typů nástrojů: webové vyhledávání, vyhledávání na X, vyhledávání v souborech, funkce a MCP
- Volání funkce prochází čtyřmi kroky: přijetí argumentů, spuštění funkce, vrácení výsledku a spuštění odpovědi
- Paralelní volání jsou možná: spusťte vše, odešlete vše a poté odešlete jediné
response.create - U hlasu je doba odezvy funkce kritická: cílte na méně než 3 sekundy