Eszközök és függvényhívás hangalapú módban
Ezen az oldalon
Egy ügynök, amely cselekszik, nem csak beszél
Egy hangalapú asszisztens, amely csupán beszélgetni képes, hamar falba ütközik: udvariasan válaszol arra, hogy „Hol van a rendelésem?“, miközben fogalma sincs a dologról. A Voice Agent igazi értéke abban rejlik, hogy képes cselekedni a beszélgetés közepette (lekérdezni egy adatbázist, webes keresést futtatni, meghívni egy üzleti API-t vagy elérni egy MCP szervert), majd úgy felolvasni az eredményt, mintha mi sem történt volna.
Az öt eszköztípus
A webes keresés legegyszerűbb formában nem igényel paramétereket:
{ "type": "web_search" }
Az ügynök ezután élőben keres a weben, ami lefedi a ténykereső kérdéseket, a híreket és minden olyan adatot, amely túl gyakran változik ahhoz, hogy a promptban szerepeljen.
Az X keresés ugyanígy működik, azzal a lehetőséggel, hogy bizonyos fiókokra korlátozzuk:
{
"type": "x_search",
"allowed_x_handles": ["corsen_ai"]
}
Az allowed_x_handles paraméter opcionális, de megváltoztatja az eszköz jellegét. Enélkül az ügynök az egész platformon keres; ezzel a paraméterrel az ügynök szóvivővé válik, aki kizárólag a hivatalos bejegyzéseidet idézi.
A fájlkérés vektorizált dokumentumgyűjteményeket kérdez le, például kézikönyveket, eljárásrendeket és termékdokumentációkat:
{
"type": "file_search",
"vector_store_ids": ["vs_abc123"],
"max_num_results": 10
}
Az egyéni függvények kaput nyitnak a saját rendszereid felé. Ez az eszköztípus, amelyet a leggyakrabban használni fogsz, és érdemes gondosan deklarálni:
{
"type": "function",
"name": "check_order",
"description": "Checks the status of a customer order",
"parameters": {
"type": "object",
"properties": {
"order_number": {
"type": "string",
"description": "The order number, in the format CMD-XXXX"
}
},
"required": ["order_number"]
}
}
Ugyanígy csatlakoztathatsz egy CRM-et, egy ERP-rendszert, egy naptárt vagy egy belső adatbázist. Végül az MCP szerverek szabványosított eszközökhöz biztosítanak hozzáférést a Model Context Protocolon keresztül, így nem kell minden egyes szolgáltatáshoz újraírnod az integrációt:
{
"type": "mcp",
"server_url": "https://mcp.example.com/sse",
"server_label": "My MCP server"
}
A teljes függvényhívási ciklus
Amikor az ügynök úgy dönt, hogy meghív egy függvényt, nem ő futtatja le: téged kér meg rá, és a te alkalmazásod végzi el a munkát. Az argumentumok először a response.function_call_arguments.delta eseményen keresztül áramlanak be. Ezután a response.function_call_arguments.done esemény jelzi a kérés végét, és megadja a call_id azonosítót a teljes argumentumokkal együtt. Rajtad múlik, hogy lefuttasd a függvényt, majd az eredményt egy conversation.item.create üzenetként küldd vissza, function_call_output típussal:
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"delivery_date\": \"2026-04-05\"}"
}
}
Egy utolsó lépés elengedhetetlen, és ezt szokták elfelejteni: küldd el a response.create parancsot, hogy az ügynök belefoglalhassa az eredményt a szóbeli válaszába. Enélkül az eredmény ugyan eljut a beszélgetésbe, de semmi sem történik. A felhasználó csendet hall, te pedig rossz helyen keresgéled a hibát.
Amikor több függvény indul egyszerre
A modell nyugodtan dönthet úgy, hogy két vagy három függvényt hív meg egyszerre, például egy rendelés állapotának ellenőrzésére és a szállítási menetrend lekérdezésére. Ilyenkor több function_call_arguments.done eseményt kapsz, mindegyiket saját call_id azonosítóval. Futtasd le mindet – lehetőleg párhuzamosan, hogy a késleltetések ne adódjanak össze –, küldd be az egyes eredményeket saját conversation.item.create üzenetben, és a legvégén küldj el egyetlen response.create parancsot. Ha függvényenként küldenél egy-egy response.create parancsot, az annyi versengő hangválaszt indítana el, és az ügynök saját magába beszélne.
// Receive and run all the functions
const results = await Promise.all(
pendingCalls.map(call => executeFunction(call))
);
// Submit all the results
for (const result of results) {
ws.send(JSON.stringify({
type: "conversation.item.create",
item: {
type: "function_call_output",
call_id: result.callId,
output: JSON.stringify(result.data)
}
}));
}
// Trigger the response
ws.send(JSON.stringify({ type: "response.create" }));
Hangalapú felületre jellemző korlátok
Ami szöveges felületen észrevétlen marad, az beszédben szembeszökővé válik, kezdve az idővel. Senki sem vár három-öt másodpercnél tovább egy beszélgetés közepette. Ezen a ponton túl a felhasználók azt hiszik, hogy megszakadt a vonal, és beszélni kezdenek. Ha a függvényed egy lassú rendszert kérdez le, kérd meg az ügynököt, hogy mondjon egy várakoztató mondatot a hívás alatt, ahelyett, hogy holt csendet hagynál.
Az eredmények mérete ugyanilyen fontos. Az ügynöknek hangosan össze kell foglalnia bármit, amit adsz neki, és negyven rendelés listája vagy végtelen felolvasást, vagy durva összefoglalót eredményez. Küldj vissza strukturált adatokat, de csak a lényegre szorítkozz. Fordíts gondot az egyes függvények leírására is, mivel ez az egyetlen információ, amire a modell a választáshoz támaszkodik: egy olyan homályos leírás, mint hogy „kezeli a rendeléseket“, habozásra vagy rossz eszköz kiválasztására készteti. És tervezz a hibákra is. Amikor egy függvény összeomlik, küldj vissza egy egyértelmű hibaüzenetet az output mezőben a semmi helyett, különben az ügynök improvizálni fog egy választ anélkül, hogy tudná, a hívás sikertelen volt.
Főbb megállapítások
- A Voice Agent öt típusú eszközt támogat: webes keresés, X keresés, fájlkérés, függvények és MCP
- Egy függvényhívás négy lépésen megy keresztül: argumentumok fogadása, függvény futtatása, eredmény visszaadása és a válasz kiváltása
- A párhuzamos hívások lehetségesek: futtass le mindent, küldj be mindent, majd küldj el egyetlen
response.createparancsot - Hangalapú módban a függvényválasz ideje kritikus: törekedj a 3 másodperc alatti időre