Ügynökök vagy chatbotok: Mikor van szükséged ügynökre?
Ezen az oldalon
Egy chatbot nem mindig elég
Valószínűleg használtad már a Mistral Chat Completions API-t beszélgető asszisztensek építéséhez. Sok felhasználási esetben ez teljesen elegendő. Kísértésbe eshetsz, hogy mindent ügynökökre állíts át pusztán azért, mert újabb technológiáról van szó, de ez késleltetés és tokenfelhasználás szempontjából is költséges lehet. Vannak azonban olyan feladatok, amelyekhez több kell egy egyszerű szöveges válasznál. Ez a lecke segít eldönteni, mikor elég a chat.complete() hívás, és mikor indokolt valóban az Agents API-ra váltani.
Chat Completions – A klasszikus modell
A chat.complete() segítségével üzenetek listáját küldöd el, és választ kapsz. A mechanizmus állapot nélküli: a modellnek nincs memóriája a hívások között, ezért minden kérésnél újra fel kell építened az előzményeket.
from mistralai.client import Mistral
client = Mistral(api_key="your-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "What is the capital of France?"}
]
)
print(response.choices[0].message.content)
Ez a minta továbbra is a helyes választás egyszerű kérdés-felelet típusú feladatokhoz, általános szöveggeneráláshoz (összefoglalók, fordítások, írás), osztályozáshoz, információkinyeréshez és egyszeri függvényhívásokhoz. Ezeket a feladatokat közös tulajdonság jellemzi: szöveg-szöveg transzformációk, amelyek egyetlen következtetési lépésben megoldhatók, anélkül, hogy a modellnek külső forrásból kellene adatot lekérnie.
Agents API – Az autonóm modell
Az Agents API segítségével egy tartós ügynököt hozol létre, amelyet egyszer és mindenkorra meghatározott utasításokkal, eszközökkel és viselkedéssel látsz el. Az ügynök megőrzi állapotát a beszélgetések során, és képes autonóm cselekvésre.
agent = client.beta.agents.create(
model="mistral-large-latest",
name="Research Assistant",
instructions="You are a research assistant. Use web search to answer with sources.",
tools=[{"type": "web_search"}]
)
Mikor válts ügynökre?
Bármelyik alábbi jel indokolja a váltást. A leggyakoribb az eszközök szükségessége: amint az asszisztensednek webet kell keresnie, kódot futtatnia vagy dokumentumtárat lekérdeznie, a Chat Completions esetén neked kell manuálisan megoldanod a végrehajtást. Ezt követi az állapotmegőrzés: ha azt szeretnéd, hogy a modell emlékezzen a korábbi exchanges-ekre anélkül, hogy minden kérésnél újra elküldenéd a teljes beszélgetési szálat, az ügynök ezt natívan kezeli. A lépések száma ugyanilyen fontos: ha a válaszhoz több lépésből álló következtetési lánc szükséges köztes műveletekkel, az egy ciklust implikál, amit az Agents API pontosan megvalósít. Több specializáció is ebbe az irányba hat: egy pénzügyi ügynök, amely delegál egy webkereső ügynöknek, majd egy számoló ügynöknek, a többügynökös orchestráció hatáskörébe tartozik. Végül vedd figyelembe a végrehajtási környezetet is: az ügynököknél az eszközök a Mistral felhőjében futnak, nem a saját infrastruktúrádon.
Ezzel szemben maradj a klasszikus chatbotnál, ha a feladat egyszerű szöveg-szöveg transzformáció, ha már magad kezeled az előzményeket a kliens oldalon úgy, ahogy szeretnéd, ha nincs szükség beépített eszközökre, és ha egyetlen következtetési lépés elegendő a várt válasz előállításához.
A komplexitás spektruma
Hasznos, ha ezeket a választásokat nem bináris alternatívaként, hanem folytonosságként szemléled. Az első szinten az egyszerű chat áll: egy kérdés, egy válasz a Chat Completions segítségével. A második szinten az eszközökkel felszerelt chat: a kérdés függvényhívást vált ki, mielőtt a válasz megszületik, még mindig a Chat Completions és a függvényhívás használatával. A harmadik szinten az egyetlen ügynök: a kérés tervezéshez, majd több művelethez, végül pedig egy válaszhoz vezet – ez az Agents API területe. A negyedik szinten a többügynökös rendszer: egy útvonalválasztó ügynök osztja szét a kérést specializált ügynökök között, amelyek kimeneteit aztán szintetizálják; ehhez az Agents API-ra és a kézbesítési mechanizmusokra (handoffs) van szükség.
Ebből a spektrumból levont szabály egyszerű: használd a szükségletedet kielégítő legegyszerűbb szintet. Ne telepíts többügynökös rendszert FAQ-k megválaszolására.
Összehasonlító példa
A különbség egy konkrét példán keresztül világosabb. Chat Completions esetén mindent manuálisan kezelsz, és a modell a tanítási tudására korlátozódik.
# You manage everything manually
messages = [{"role": "user", "content": "What is the weather in Paris?"}]
response = client.chat.complete(model="mistral-large-latest", messages=messages)
# The model CANNOT search the web—it hallucinates or says it doesn't know
Egy webkereséssel felszerelt ügynök esetén ugyanerre a kérdésre valós keresés történik, és forrásmegjelöléssel ellátott választ kapsz, anélkül, hogy egyetlen sor orchestrációs kódot írnál.
# The agent has access to web search
agent = client.beta.agents.create(
model="mistral-large-latest",
name="Weather Agent",
instructions="Answer weather questions using web search.",
tools=[{"type": "web_search"}]
)
response = client.beta.conversations.start(
agent_id=agent.id,
inputs="What is the weather in Paris?"
)
# The agent automatically searches the web and cites its sources
Költség és késleltetés
Ennek a hatalomnak ára van, amit gyártásba helyezés előtt anticipálnod kell. A késleltetés nő, mert az ügynök több belső kört is végrehajthat – keresés, majd következtetés, majd szövegezés –, míg a Chat Completions csak egyet végez. A tokenfelhasználás is nő, mivel a rendszerutasítások és a beszélgetési kontextus minden körben visszakerül a modellhez. Végül a beszélgetések a Mistral oldalán maradnak tárolva; ezt a viselkedést kikapcsolhatod a store=False paraméterrel, ha az adatvédelmi követelményeid ezt megkövetelik.
Ez a többlet teljesen indokolt, ha a feladat megköveteli. Egy egyszerű FAQ chatbot esetén azonban nem: ott maradj a Chat Completionsnél.
Főbb megállapítások
- A Chat Completions állapot nélküli, és egyszerű feladatokhoz elegendő
- Az Agents API hozzáadja az állapotmegőrzést, a beépített eszközöket és a többügynökös orchestrációt
- Mindig a szükségletedet kielégítő legalacsonyabb komplexitási szintet használd
- Az ügynökökre való váltás akkor indokolt, ha eszközökre, állapotmegőrzésre vagy többügynökös működésre van szükséged