Паралелни извиквания
На тази страница
Няколко инструмента в един отговор
Една от най-мощните функции на извикването на функции в Grok е способността да връща няколко извиквания на инструменти в един единствен отговор. Вместо да се прави отделно пътуване до сървъра за всяка функция, моделът идентифицира цялата необходима информация и генерира всички извиквания паралелно.
Параметърът parallel_tool_calls
Паралелните извиквания са активирани по подразбиране. Параметърът parallel_tool_calls контролира това поведение:
# Активирано по подразбиране (няма нужда да се указва)
response = client.chat.completions.create(
model="grok-4.5",
messages=messages,
tools=tools,
parallel_tool_calls=True # Това е стойността по подразбиране
)
Когато потребителят попита: „Какво е времето в Париж и Лион?“, моделът връща две tool_calls в същия отговор:
{
"tool_calls": [
{
"id": "call_001",
"function": {
"name": "get_weather",
"arguments": "{\"city\": \"Paris\"}"
}
},
{
"id": "call_002",
"function": {
"name": "get_weather",
"arguments": "{\"city\": \"Lyon\"}"
}
}
]
}
Обработка на паралелни извиквания
Вашият код трябва да обработва масив от tool_calls, а не само едно:
import json
import asyncio
message = response.choices[0].message
if message.tool_calls:
# Изпълнете всички функции
tool_results = []
for tool_call in message.tool_calls:
args = json.loads(tool_call.function.arguments)
result = execute_function(tool_call.function.name, args)
tool_results.append({
"role": "tool",
"tool_call_id": tool_call.id,
"content": json.dumps(result)
})
# Изпратете ВСИЧКИ резултати обратно към модела
messages = [
{"role": "user", "content": "What's the weather in Paris and Lyon?"},
message,
*tool_results # Всички резултати
]
final = client.chat.completions.create(
model="grok-4.5",
messages=messages,
tools=tools
)
Критично важно е: трябва да върнете всички резултати от инструментите, а не само първия. Всеки резултат е свързан със съответния си tool_call_id.
Истинско паралелно изпълнение на клиента
Моделът връща извикванията паралелно, но Вашият код трябва да ги изпълни паралелно. В Python използвайте asyncio или concurrent.futures:
import concurrent.futures
def execute_parallel(tool_calls):
results = []
with concurrent.futures.ThreadPoolExecutor() as executor:
futures = {}
for tc in tool_calls:
args = json.loads(tc.function.arguments)
future = executor.submit(execute_function, tc.function.name, args)
futures[future] = tc.id
for future in concurrent.futures.as_completed(futures):
call_id = futures[future]
result = future.result()
results.append({
"role": "tool",
"tool_call_id": call_id,
"content": json.dumps(result)
})
return results
Паралелното изпълнение значително намалява общата латентност. Ако всяко API извикване отнема 200 ms, две последователни извиквания = 400 ms, докато две паралелни извиквания = ~200 ms.
Деактивиране на паралелни извиквания
В някои случаи ще искате последователни извиквания:
response = client.chat.completions.create(
model="grok-4.5",
messages=messages,
tools=tools,
parallel_tool_calls=False
)
Деактивирайте паралелизма, когато независимостта на извикванията не е гарантирана. Най-очевидният случай е зависимостта от данни: ако резултатът от един инструмент се използва като аргумент за следващия – например търсене на ID на клиент преди извличане на неговите поръчки – изпълнението им паралелно в най-добрия случай ще предизвика грешка, а в най-лошия ще доведе до тиха, но некоректна резултатност. Логиката на бизнеса налага същото ограничение: създаването на потребител преди присвояването на роля е задължително и само последователният режим гарантира това. Още две практически причини допълват картината: външно API, подложено на ограничения за едновременни заявки, няма да се справи добре с взрив от паралелни извиквания, а по време на разработка последователният режим прави проследяването на извикванията безкрайно по-четимо – едно извикване, един резултат, един запис в дневника, подредени последователно.
Паралелни извиквания с различни инструменти
Моделът може също да извиква различни инструменти паралелно:
# Заявка: "Резервирай маса и ми кажи как ще е времето тази вечер"
# Моделът връща:
# - tool_call_1 : book_table(restaurant="Le Petit Bistrot", time="20:00")
# - tool_call_2 : get_weather(city="Paris", time="tonight")
Това е особено полезно за универсални асистенти, които трябва да събират информация от различни източници.
Обработка на грешки при паралелно изпълнение
Когато едно извикване се провали, но други успеят, все пак върнете всички резултати. Моделът се справя с индивидуалните грешки:
results = []
for tc in message.tool_calls:
try:
result = execute_function(tc.function.name, args)
results.append({
"role": "tool",
"tool_call_id": tc.id,
"content": json.dumps(result)
})
except Exception as e:
results.append({
"role": "tool",
"tool_call_id": tc.id,
"content": json.dumps({"error": str(e)})
})
Ключови изводи
- Паралелните извиквания са активирани по подразбиране (
parallel_tool_calls: true) - Моделът връща множество
tool_callsв един единствен отговор - Трябва да върнете всички резултати, като всеки е свързан със своя
tool_call_id - Внедрете паралелно изпълнение на страна на клиента, за да намалите латентността
- Деактивирайте паралелизма, когато съществуват зависимости между извикванията
- Обработвайте грешките индивидуално – не блокирайте всичко заради една единствена неуспешна операция