Петте стъпки на изпълнение
На тази страница
Как Grok решава дали да използва инструмент
Когато активирате един или повече инструменти във вашето API заявка, моделът не ги използва непременно. Той следва структуриран процес на вземане на решения от пет стъпки, за да определи дали е необходим инструмент, кой точно да използва и как да интегрира резултатите в своя отговор.
Разбирането на този поток Ви помага да предвидите поведението на модела и да оптимизирате своите подкани (prompts) за постигане на точни резултати.
Петте стъпки на потока
Стъпка 1: Анализ на заявката
Моделът започва с анализ на съобщението на потребителя, за да идентифицира какво се иска. Той оценява естеството на въпроса: става ли въпрос за фактологична заявка, изискваща скорошни данни? Сложно изчисление? Въпрос за мнение, който не изисква инструменти?
Този анализ е от критично значение. Ако моделът вече разполага с необходимата информация в своите обучаващи данни и не са нужни данни в реално време, той може да избере да отговори директно, без да активира инструмент.
Стъпка 2: Решение за извикване
Въз основа на своя анализ моделът решава дали да извика инструмент или да отговори директно. Това решение зависи от три фактора. Първо, естеството на въпроса: запитване за текущи събития естествено насочва към Web Search, докато въпрос за това какво говорят хората в момента по дадена тема насочва към X Search. Второ, дефинираният от Вас обхват: моделът избира само от инструментите, активирани във Вашия масив tools – липсващ инструмент просто не съществува за него. И накрая, собствената му увереност: ако вярва, че може да отговори правилно от паметта си, той спестява извикването, което е желаното поведение в повечето случаи.
Вие запазвате контрол над това решение чрез подканата: „Потърсете най-новата информация за…“ ясно насочва към Web Search, докато неутралната формулировка оставя модела да реши сам.
Стъпка 3: Изпълнение
Обработката се различава според категорията на инструмента:
- Вграден инструмент: Изпълнението е автоматично и прозрачно. Сървърът на xAI извършва търсенето или изпълнението на код, а резултатът се предава директно на модела. Не виждате тази стъпка в API отговора.
- Function Calling: Моделът връща обект, описващ функцията за извикване и нейните аргументи. Вашият код трябва да изпълни функцията и да върне резултата чрез нова заявка.
Стъпка 4: Обработка на резултатите
След получаване на резултатите, моделът ги оценява, преди да отговори – и тук потокът става наистина агентен. Ако резултатите са достатъчни, той преминава директно към формулиране на крайния отговор. Ако са недостатъчни – търсенето е твърде тясно, резултатите са извън темата – той може да издаде ново извикване с коригирани параметри, разширявайки или прецизирайки заявката си, без да се намесвате. А за наистина сложен въпрос той верижно свързва няколко инструмента: например уеб търсене за събиране на цифри, последвано от Code Execution за техния анализ.
Това итеративно поведение е ценно за качеството на отговора, но има пряко следствие върху фактурата: всяко извикване на инструмент се таксува отделно и въпрос, който задейства три търсения, струва три инвокации. Имайте предвид този механизъм, когато оценявате разходите си.
Стъпка 5: Краен отговор
Моделът формулира своя отговор, интегрирайки събраната информация. Ако са консултирани източници от уеб или X, отговорът автоматично включва цитати с оригиналните URL адреси. Тези цитати са достъпни в полето citations на обекта с отговора.
Практически последици
Кумулативни разходи
Моделът може да направи множество извиквания на инструменти за една единствена потребителска заявка. Всяко извикване се таксува независимо в допълнение към потреблението на токени. Неясна подкана може да генерира ненужни извиквания и да увеличи разходите Ви.
Контрол чрез подкана
Не можете да принудите модела да използва конкретен инструмент, но можете силно да го насочите чрез системната си подкана или потребителското съобщение. Ясните инструкции намаляват ненужните извиквания.
Недетерминирано поведение
Изборът дали да се използва инструмент или не, може да варира между две идентични извиквания, особено при високи настройки на температурата. За възпроизводими резултати използвайте ниска температура (от 0.0 до 0.3).
Ключови изводи
- Моделът следва поток от 5 стъпки: анализ, решение, изпълнение, обработка, отговор
- Той иска инструмент само ако го счита за необходим – това не е автоматично
- Възможни са множество извиквания, които увеличават разходите
- Точната подкана намалява ненужните извиквания и подобрява релевантността
- Цитатите се включват автоматично, когато са консултирани източници