Tööriistad ja funktsioonide kutsumine hääles
Sellel lehel
Agent, mis tegutseb, mitte ei räägi ainult
Hääleassistent, mis oskab vaid vestelda, põrkub peagi seinale: ta vastab viisakalt küsimusele „Kus on mu tellimus?“, teadmata asjast midagi. Hääleagendi tegelik väärtus seisneb võimes vestluse käigus tegutseda (pärida andmebaasi, teha veebiotsing, kutsuda äpi API-t või jõuda MCP-serverini) ja lugeda tulemus ette nii, nagu poleks midagi juhtunud.
Viit tüüpi tööriista
Veebiotsing ei võta oma lihtsaimal kujul mingeid parameetreid:
{ "type": "web_search" }
Agent teeb seejärel reaalajas veebiotsingu, mis katab faktilised küsimused, uudised ja kõik andmed, mis muutuvad liiga sageli, et neid promptis hoida.
X-i otsing toimib samamoodi, võimalusega piirata seda teatud kontodega:
{
"type": "x_search",
"allowed_x_handles": ["corsen_ai"]
}
Parameeter allowed_x_handles on valikuline, kuid see muudab tööriista olemust. Ilma selleta otsib agent kogu platvormi; sellega muutub agent esindajaks, kes tsiteerib ainult teie ametlikke postitusi.
Failiotsing päringustab vektoriseeritud dokumentide kogumeid, nagu käsiraamatud, protseduurid ja tootedokumentatsioon:
{
"type": "file_search",
"vector_store_ids": ["vs_abc123"],
"max_num_results": 10
}
Kohandatud funktsioonid avavad ukse teie enda süsteemidele. See on tööriist, mida kasutad kõige sagedamini, ja seda tasub hoolikalt defineerida:
{
"type": "function",
"name": "check_order",
"description": "Checks the status of a customer order",
"parameters": {
"type": "object",
"properties": {
"order_number": {
"type": "string",
"description": "The order number, in the format CMD-XXXX"
}
},
"required": ["order_number"]
}
}
Samamoodi saad ühendada CRM-i, ERP-i, kalendri või sisemise andmebaasi. Lõpuks annavad MCP-serverid juurdepääsu standardiseeritud tööriistadele läbi Model Context Protocoli, nii et sa ei pea iga teenuse jaoks integratsiooni uuesti kirjutama:
{
"type": "mcp",
"server_url": "https://mcp.example.com/sse",
"server_label": "My MCP server"
}
Funktsioonikutsumise täistsükkel
Kui agent otsustab funktsiooni kutsuda, ei käivita ta seda ise: ta palub seda sinul ja sinu rakendus teeb töö. Argumendid voogavad esmalt sisse läbi response.function_call_arguments.delta. Seejärel tähistab sündmus response.function_call_arguments.done päringu lõppu ja annab sulle call_id koos täielike argumentidega. Sinu ülesanne on funktsioon käivitada ja seejärel tagastada tulemus kui tüüpi function_call_output elemendiga conversation.item.create:
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"delivery_date\": \"2026-04-05\"}"
}
}
Viimane samm on hädavajalik ja just seda unustatakse sageli: saada response.create, et agent saaks tulemuse oma kõnevastusesse lõimida. Ilma selleta jõuab tulemus küll vestlusse, kuid midagi ei juhtu. Kasutaja kuuleb vaikust ja sina hakkad viga valest kohast otsima.
Kui mitu funktsiooni käivituvad korraga
Mudel võib otsustada kutsuda korraga kahte või kolme funktsiooni, näiteks tellimuse kontrollimiseks ja tarneplaani uurimiseks. Seejärel saad mitu function_call_arguments.done sündmust, igaüks oma call_id-ga. Käivita need kõik, võimalusel paralleelselt, et latentsus ei kuhjuks, esita iga tulemus omaette conversation.item.create-ga ja saada lõpus üksainus response.create. Üks response.create iga funktsiooni kohta käivitaks sama palju konkureerivaid häälevastuseid ja agent hakkaks iseendaga rääkima.
// Võta vastu ja käivita kõik funktsioonid
const results = await Promise.all(
pendingCalls.map(call => executeFunction(call))
);
// Esita kõik tulemused
for (const result of results) {
ws.send(JSON.stringify({
type: "conversation.item.create",
item: {
type: "function_call_output",
call_id: result.callId,
output: JSON.stringify(result.data)
}
}));
}
// Käivita vastus
ws.send(JSON.stringify({ type: "response.create" }));
Häälele omased piirangud
See, mis tekstiliideses märkamatuks jääb, muutub kõnes silmatorkavaks, alates ajast. Keegi ei oota vestluse keskel kauem kui kolm kuni viis sekundit. Üle selle piiri arvavad kasutajad, et ühendus on katkenud, ja hakkavad rääkima. Kui su funktsioon päringustab aeglast süsteemi, pane agent kõne ajal ütlema ootefraasi, selle asemel et jätta õhku surnud vaikus.
Tulemuste suurus on sama oluline. Agent peab valjusti kokku võtma kõik, mida talle annad, ja neljakümne tellimuse nimekiri toodab kas lõputu ettelugemise või ebamäärase kokkuvõtte. Tagasta struktureeritud andmed, kuid piirdu sellega, mis on oluline. Pööra tähelepanu ka iga funktsiooni kirjeldusele, kuna see on ainus, millele mudel valikul tugineb: ebamäärane kirjeldus nagu „haldab tellimusi“ paneb ta kõhklemas või valima vale tööriista. Mõtle ka läbikukkumisele. Kui funktsioon kukub, tagasta väljundis output selge veateade, mitte midagi, muidu improviseerib agent vastuse, teadmata, et kutse ebaõnnestus.
Peamised punktid
- Hääleagent toetab viit tüüpi tööriistu: veebiotsing, X-i otsing, failiotsing, funktsioonid ja MCP
- Funktsioonikutsumine läbib neli sammu: argumentide vastuvõtmine, funktsiooni käivitamine, tulemuse tagastamine ja vastuse käivitamine
- Paralleelsed kutsed on võimalikud: käivita kõik, esita kõik ja saada seejärel üksainus
response.create - Hääles on funktsiooni vastamisaeg kriitiline: püüa jääda alla 3 sekundi