Агенти срещу чатботове: Кога ви е необходим агент?
На тази страница
Чатботът не винаги е достатъчен
Вероятно вече сте използвали Mistral Chat Completions API, за да изградите разговорни асистенти. За много случаи на употреба това е напълно достатъчно. Изкушението да преминете всичко към агенти само защото технологията е по-нова, може да ви струва скъпо както по отношение на латентността, така и на токена. Въпреки това, някои задачи изискват повече от обикновен текстов отговор. Този урок ви предоставя критериите за вземане на решение: как да разпознаете ситуациите, в които извикването на chat.complete() върши работа, и тези, които наистина оправдават преминаването към Agents API.
Chat Completions — Класическият модел
С chat.complete() изпращате списък със съобщения и получавате отговор. Механизмът е без състояние (stateless): моделът няма памет между извикванията и трябва да реконструирате историята за всяка заявка.
from mistralai.client import Mistral
client = Mistral(api_key="your-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "What is the capital of France?"}
]
)
print(response.choices[0].message.content)
Този шаблон остава правилният избор за прости въпроси и отговори, общо генериране на текст — обобщения, преводи, писане — класификация, извличане на информация и еднократно извикване на функции. Тези задачи споделят обща черта: те са трансформации текст-към-текст, решени в един цикъл на разсъждение, без моделът да се нуждае да извлича каквото и да е от външния свят.
Agents API — Автономният модел
С Agents API създавате постоянен агент, оборудван с инструкции, инструменти и поведение, дефинирани веднъж завинаги. Агентът поддържа своето състояние през разговорите и може да действа автономно.
agent = client.beta.agents.create(
model="mistral-large-latest",
name="Research Assistant",
instructions="You are a research assistant. Use web search to answer with sources.",
tools=[{"type": "web_search"}]
)
Кога да преминете към агенти?
Всеки от следните сигнали оправдава преминаването. Най-честият е нуждата от инструменти: щом вашият асистент трябва да търси в уеб, да изпълнява код или да прави заявки към корпус от документи, Chat Completions ви принуждава сами да свържете изпълнението. Следва постоянството на състоянието: ако искате моделът да помни предишните размени, без вие да изпращате отново цялата нишка с всяка заявка, агентът обработва това нативно. Броят на стъпките също има значение: отговор, изискващ верига от разсъждения с междинни действия, подразбира цикъл, а Agents API реализира точно този цикъл. Множеството специалности тласкат в същата посока: финансов агент, делегиращ на агент за уеб търсене, а след това на агент за изчисления, попада под оркестрация на множество агенти. Накрая, помислете за средата за изпълнение — при агентите инструментите работят в облака на Mistral, а не във вашата инфраструктура.
Обратно, придържайте се към класически чатбот, ако задачата е проста трансформация текст-към-текст, ако вече управлявате историята на клиентската страна по начин, който ви устройва, ако не са необходими вградени инструменти и ако един цикъл на разсъждение е достатъчен за получаване на очаквания отговор.
Спектърът на сложността
Полезно е да разглеждате тези избори като континуум, а не като бинарна алтернатива. На първо ниво има прост чат: въпрос, отговор, чрез Chat Completions. На второ, чат с инструменти: въпросът задейства извикване на функция преди отговора, все още използвайки Chat Completions и извикване на функции. На трето, единичен агент: заявката води до планиране, след това до множество действия и след това до отговор — това е областта на Agents API. На четвърто, множество агенти: агент-рутер разпределя заявката към специализирани агенти, чиито изходи след това се синтезират, което изисква Agents API и предаване на контрола (handoffs).
Правилото, изведено от този спектър, е просто: използвайте най-простото ниво, което удовлетворява вашата нужда. Не разполагайте система с множество агенти, за да отговаряте на често задавани въпроси (FAQ).
Сравнителен пример
Разликата е по-ясна с конкретен пример. С Chat Completions вие управлявате всичко ръчно, а моделът остава ограничен до знанията си от обучението.
# You manage everything manually
messages = [{"role": "user", "content": "What is the weather in Paris?"}]
response = client.chat.complete(model="mistral-large-latest", messages=messages)
# The model CANNOT search the web—it hallucinates or says it doesn't know
С агент, оборудван с уеб търсачка, същият въпрос задейства реално търсене и отговор с източници, без да пишете нито ред код за оркестрация.
# The agent has access to web search
agent = client.beta.agents.create(
model="mistral-large-latest",
name="Weather Agent",
instructions="Answer weather questions using web search.",
tools=[{"type": "web_search"}]
)
response = client.beta.conversations.start(
agent_id=agent.id,
inputs="What is the weather in Paris?"
)
# The agent automatically searches the web and cites its sources
Разходи и латентност
Тази мощ има своята цена и трябва да я предвидите преди внедряване в продукция. Латентността се увеличава, защото агентът може да извърши множество вътрешни обороти — търсене, след това разсъждение, след това изготвяне на отговор, — докато Chat Completions извършва само един. Консумацията на токени също нараства, тъй като системните инструкции и контекстът на разговора се изпращат обратно към модела при всеки оборот. Накрая, разговорите се запазват от страна на Mistral, поведение, което можете да деактивирате с store=False, ако вашите изисквания за поверителност го налагат.
Тези допълнителни разходи са напълно оправдани, когато задачата го изисква. За прост чатбот с често задавани въпроси това не е така: придържайте се към Chat Completions.
Ключови изводи
- Chat Completions е без състояние и е достатъчен за прости задачи
- Agents API добавя постоянство, вградени инструменти и оркестрация на множество агенти
- Винаги използвайте най-ниското ниво на сложност, което удовлетворява вашата нужда
- Преминаването към агенти е оправдано, когато се нуждаете от инструменти, постоянство или множество агенти