Agendid vs vestlusrobotid: millal on sul agenti vaja?
Sellel lehel
Vestlusrobotist ei piisa alati
Oled tõenäoliselt juba kasutanud Mistrali vestluse lõpuleviimise API-t (Chat Completions API), et luua vestlusabilisi. Paljude kasutusjuhtude puhul on sellest enam kui küll. Kiusatus viia kõik süsteemid agentidele üle pelgalt seetõttu, et tegemist on uuema tehnoloogiaga, võib osutuda kulukaks nii latentsuse kui ka tokenite mõttes. Siiski on ülesandeid, mis nõuavad enamat kui lihtsat tekstivastust. See õppetund annab sulle otsustuskriteeriumid: kuidas ära tunda olukordi, kus chat.complete() väljakutse teeb töö ära, ja neid, mis õigustavad tegelikult üleminekut Agents API-le.
Vestluse lõpuleviimine – klassikaline mudel
Kasutades chat.complete(), saadad sõnumite loendi ja saad vastu vastuse. Mehhanism on olekuta (stateless): mudelil pole päringute vahel mälu ja sa pead iga päringu jaoks ajaloo uuesti üles ehitama.
from mistralai.client import Mistral
client = Mistral(api_key="your-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "What is the capital of France?"}
]
)
print(response.choices[0].message.content)
See muster jääb õigeks valikuks lihtsate küsimuste ja vastuste, üldise teksti genereerimise (kokkuvõtted, tõlked, kirjutamine), klassifitseerimise, info ekstraheerimise ja üksikute funktsioonide kutsumise jaoks. Nendel ülesannetel on ühine joon: need on tekstist-tekstiks teisendused, mis lahendatakse ühe arutluskäigu ehk „mõtlemise“ läbimisega, ilma et mudel peaks väljastpoolt midagi hankima.
Agents API – autonoomne mudel
Agents API abil lood püsiva agendi, millel on juhised, tööriistad ja käitumine, mis on defineeritud üks kord ja igaveseks. Agent säilitab oma oleku vestluste vältel ja suudab tegutseda autonoomselt.
agent = client.beta.agents.create(
model="mistral-large-latest",
name="Research Assistant",
instructions="You are a research assistant. Use web search to answer with sources.",
tools=[{"type": "web_search"}]
)
Millal agentidele üle minna?
Ükskõik milline järgmistest signaalidest õigustab üleminekut. Kõige sagedasem on vajadus tööriistade järele: niipea kui sinu assistent peab veebi otsima, koodi käivitama või dokumentide korpusest päringuid tegema, sunnib Chat Completions sind täitmise ise juhtmega ühendama. Järgmisena tuleb oleku püsivus: kui soovid, et mudel mäletaks eelmisi vahetusi ilma, et sa peaksid iga päringuga kogu lõime uuesti saatma, haldab agent seda loomupäraselt. Samuti loeb sammude arv: vastus, mis nõuab vahepealsete tegevustega arutluskäigu ahelat, eeldab tsüklit ja Agents API rakendab täpselt seda tsüklit. Mitmed erialad suruvad samas suunas: finantsagent, kes delegeerib ülesande veebiotsingu agendile ja seejärel arvutusagendile, kuulub mitme agendi orkestreerimise alla. Lõpuks mõtle täitmiskeskkonnale – agentide puhul käivituvad tööriistad Mistrali pilves, mitte sinu taristus.
Vastupidisel juhul jää klassikalise vestlusroboti juurde, kui ülesanne on lihtne tekstist-tekstiks teisendus, kui haldad ajaloo klientpoolel endale meelepärasel viisil, kui sisseehitatud tööriistu pole vaja ja kui oodatava vastuse saamiseks piisab ühest arutluskäigust.
Komplekssuse spekter
Abiks on vaadata neid valikuid pigem kontiinuumina kui binaarse alternatiivina. Esimesel tasemel lihtne vestlus: küsimus, vastus, kasutades Chat Completionsi. Teisel tasemel tööriistadega vestlus: küsimus käivitab enne vastust funktsioonikutse, kasutades endiselt Chat Completionsi ja funktsioonide kutsumist. Kolmandal tasemel üksik agent: päring viib planeerimiseni, seejärel mitme tegevuseni ja lõpuks vastuseni – see on Agents API domeen. Neljandal tasemel mitu agenti: ruuteragent jaotab päringu spetsialiseerunud agentide vahel, kelle väljundid seejärel sünteesitakse, mis nõuab Agents API-t ja üleandmisi (handoffs).
Sellest spektrist tuletatav reegel on lihtne: kasuta oma vajaduse rahuldamiseks kõige lihtsamat taset. Ära kasuta mitme agendi süsteemi KKK-dele vastamiseks.
Võrdlev näide
Erinevus on konkreetse näite varal selgem. Chat Completionsi puhul haldad kõike käsitsi ja mudel jääb piiratuks oma treeningu käigus omandatud teadmistega.
# You manage everything manually
messages = [{"role": "user", "content": "What is the weather in Paris?"}]
response = client.chat.complete(model="mistral-large-latest", messages=messages)
# The model CANNOT search the web—it hallucinates or says it doesn't know
Veebiotsinguga varustatud agendi puhul käivitab sama küsimus tegeliku otsingu ja allikatega vastuse, ilma et peaksid kirjutama ühtegi orkestreerimiskoodi rida.
# The agent has access to web search
agent = client.beta.agents.create(
model="mistral-large-latest",
name="Weather Agent",
instructions="Answer weather questions using web search.",
tools=[{"type": "web_search"}]
)
response = client.beta.conversations.start(
agent_id=agent.id,
inputs="What is the weather in Paris?"
)
# The agent automatically searches the web and cites its sources
Kulud ja latentsus
See võimsus maksab raha ja sa pead seda enne tootmisse viimist arvestama. Latentsus kasvab, sest agent võib sooritada mitu sisemist pööret – otsing, seejärel arutlus, seejärel mustandi koostamine –, samas kui Chat Completions teeb vaid ühe. Ka tokenite tarbimine kasvab, kuna süsteemi juhised ja vestluse kontekst saadetakse mudelile iga pöörde juures tagasi. Lõpuks püsivad vestlused Mistrali poolel, käitumise, mille saad vajadusel privaatsusnõuete tõttu keelata parameetriga store=False.
See ülekulu on täiesti õigustatud, kui ülesanne seda nõuab. Lihtsa KKK vestlusroboti puhul see nii ei ole: jää Chat Completionsi juurde.
Peamised punktid
- Chat Completions on olekuta ja piisab lihtsate ülesannete jaoks
- Agents API lisab püsivuse, sisseehitatud tööriistad ja mitme agendi orkestreerimise
- Kasuta alati oma vajaduse rahuldamiseks kõige madalamat komplekssuse taset
- Üleminek agentidele on õigustatud, kui vajad tööriistu, püsivust või mitut agenti