Rīki un funkciju izsaukumi balsī
Šajā lapā
Aģents, kas rīkojas, ne tikai runā
Balss asistents, kas prot tikai čatoties, drīz vien sasniedz robežu: tas pieklājīgi atbild uz jautājumu „Kur ir mans pasūtījums?”, pat neko nezinot. Patiesā balss aģenta vērtība slēpjas tā spējā veikt darbības sarunas vidū (veikt vaicājumu datubāzei, palaist meklēšanu tīmeklī, izsaukt biznesa API vai sasniegt MCP serveri) un nolasīt rezultātu tā, it kā nekas nebūtu noticis.
Pieci rīku veidi
Tīmekļa meklēšana vienkāršākajā formā neprasa parametrus:
{ "type": "web_search" }
Aģents tad veic tiešsaistes meklēšanu tīmeklī, kas aptver faktoloģiskus jautājumus, jaunumus un jebkurus datus, kas mainās pārāk bieži, lai tos glabātu promptā.
X meklēšana darbojas līdzīgi, ar iespēju to ierobežot līdz konkrētiem kontiem:
{
"type": "x_search",
"allowed_x_handles": ["corsen_ai"]
}
Parametrs allowed_x_handles ir neobligāts, taču tas maina rīka būtību. Bez tā aģents meklē visā platformā; ar to aģents kļūst par pārstāvi, kas citē tikai jūsu oficiālos ierakstus.
Failu meklēšana veic vaicājumus vektorizētu dokumentu kolekcijās, piemēram, jūsu rokasgrāmatās, procedūrās un produktu dokumentācijā:
{
"type": "file_search",
"vector_store_ids": ["vs_abc123"],
"max_num_results": 10
}
Pielāgotas funkcijas atver durvis uz tavām paša sistēmām. Šis ir rīka veids, ko izmantosi visbiežāk, un ir vērts to deklarēt rūpīgi:
{
"type": "function",
"name": "check_order",
"description": "Checks the status of a customer order",
"parameters": {
"type": "object",
"properties": {
"order_number": {
"type": "string",
"description": "The order number, in the format CMD-XXXX"
}
},
"required": ["order_number"]
}
}
Tādā pašā veidā vari pieslēgt CRM, ERP, kalendāru vai iekšējo datubāzi. Visbeidzot, MCP serveri nodrošina piekļuvi standartizētiem rīkiem, izmantojot Modeļa Konteksta Protokolu (Model Context Protocol), lai tev nebūtu jāpārraksta integrācija katram servisam atsevišķi:
{
"type": "mcp",
"server_url": "https://mcp.example.com/sse",
"server_label": "My MCP server"
}
Pilns funkciju izsaukuma cikls
Kad aģents nolemj izsaukt funkciju, tas to nepalina pats: tas lūdz to darīt tev, un tava lietotne veic darbu. Argumenti vispirms plūst caur response.function_call_arguments.delta. Tad notikums response.function_call_arguments.done iezīmē pieprasījuma beigas un nodrošina call_id kopā ar pilniem argumentiem. Tava ziņa ir palaist funkciju un pēc tam atgriezt rezultātu kā conversation.item.create ar tipu function_call_output:
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_abc123",
"output": "{\"status\": \"shipped\", \"delivery_date\": \"2026-04-05\"}"
}
}
Viens pēdējais solis ir būtisks, un tieši to cilvēki bieži aizmirst: nosūti response.create, lai aģents iekļautu rezultātu savā mutiskajā atbildē. Bez tā rezultāts nonāk sarunā, bet nekas nenotiek. Lietotājs dzird klusumu, un tu sāc meklēt kļūdu nepareizajā vietā.
Kad vienlaikus tiek aktivizētas vairākas funkcijas
Modelis var izlemt izsaukt divas vai trīs funkcijas vienlaikus, piemēram, lai pārbaudītu pasūtījumu un sameklētu piegādes grafiku. Tad tu saņem vairākus function_call_arguments.done notikumus, katram ar savu call_id. Palaid tās visas, ja iespējams, paralēli, lai latentie kavējumi nesummētos, iesniedz katru rezultātu savā conversation.item.create un pašās beigās nosūti vienu response.create. Viens response.create uz katru funkciju izraisītu tikpat daudz konkurējošu balss atbilžu, un aģents sāktu runāt pats pāri sev.
// Saņem un palaid visas funkcijas
const results = await Promise.all(
pendingCalls.map(call => executeFunction(call))
);
// Iesniedz visus rezultātus
for (const result of results) {
ws.send(JSON.stringify({
type: "conversation.item.create",
item: {
type: "function_call_output",
call_id: result.callId,
output: JSON.stringify(result.data)
}
}));
}
// Aktivizē atbildi
ws.send(JSON.stringify({ type: "response.create" }));
Ierobežojumi, kas specifiski balsij
Tas, kas teksta saskarnē paliek nepamanīts, runā kļūst acīmredzams, sākot ar laiku. Neviens sarunas vidū negaida ilgāk par trim līdz piecām sekundēm. Pārsniedzot šo laiku, lietotāji domā, ka līnija ir pārtraukta, un sāk runāt. Ja tava funkcija veic vaicājumu lēnai sistēmai, liec aģentam izsaukuma laikā pateikt kādu gaidīšanas frāzi, nevis atstāt tukšu klusumu.
Arī rezultātu apjomam ir liela nozīme. Aģentam ir jāapkopo un jānolasa viss, ko tam nodod, un četrdesmit pasūtījumu saraksts radīs vai nu bezgalīgu recitālu, vai arī aptuvenu kopsavilkumu. Atgriez strukturētus datus, bet saglabā tikai to, kas ir svarīgi. Pievērs uzmanību arī katra funkcijas aprakstam, jo tas ir vienīgais, uz ko modelis paļaujas, izvēloties rīku: neskaidrs apraksts, piemēram, „apstrādā pasūtījumus”, liek tam vilcināties vai izvēlēties nepareizo rīku. Un paredzēti kļūmes. Kad funkcija izgāžas, atgriez skaidru kļūdas ziņojumu laukā output, nevis neko, pretējā gadījumā aģents improvizēs atbildi, nezinot, ka izsaukums neizdevās.
Galvenās atziņas
- Balss aģents atbalsta piecus rīku veidus: tīmekļa meklēšanu, X meklēšanu, failu meklēšanu, funkcijas un MCP
- Funkcijas izsaukums iziet cauri četriem soļiem: argumentu saņemšana, funkcijas palaišana, rezultāta atgriešana un atbildes aktivizēšana
- Paralēli izsaukumi ir iespējami: palaid visu, iesniedz visu un tad nosūti vienu
response.create - Balsī funkcijas atbildes laiks ir kritisks: tiecies uz laiku zem 3 sekundēm