Agentai prieš pokalbių robotus: kada jums reikia agento?
Šiame puslapyje
Pokalbių roboto ne visada pakanka
Tikriausiai jau naudojai „Mistral Chat Completions“ API pokalbių asistentams kurti. Daugeliu atvejų to visiškai užtenka. Pagunda pereiti prie agentų vien todėl, kad tai naujesnė technologija, gali brangiai kainuoti tiek delsos, tiek tokenų sąskaita. Tačiau kai kurioms užduotims reikia daugiau nei paprasto teksto atsakymo. Šioje pamokoje pateikiami sprendimų kriterijai: kaip atpažinti situacijas, kai pakanka iškvietimo chat.complete(), ir tas, kurios tikrai pateisina perėjimą prie Agents API.
„Chat Completions“ – klasikinis modelis
Naudojant chat.complete(), siunčiamas pranešimų sąrašas ir gaunamas atsakymas. Mechanizmas yra be būsenos (stateless): modelis neturi atminties tarp kvietimų, todėl kiekvienam prašymui turi iš naujo suformuoti istoriją.
from mistralai.client import Mistral
client = Mistral(api_key="your-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "What is the capital of France?"}
]
)
print(response.choices[0].message.content)
Šis šablonas lieka tinkamu pasirinkimu paprastiems klausimams ir atsakymams, bendram teksto generavimui (santraukos, vertimai, rašymas), klasifikavimui, informacijos gavybai ir vienkartiniam funkcijų kvietimui. Šioms užduotims būdinga tai, kad jos yra teksto į tekstą transformacijos, išsprendžiamos vienu samprotavimo ciklu, modeliui nereikiant nieko gauti iš išorės.
Agents API – autonominis modelis
Naudojant Agents API, sukuriate nuolatinį agentą, aprūpintą instrukcijomis, įrankiais ir elgsena, apibrėžta vieną kartą ir visiems laikams. Agentas išlaiko savo būseną per pokalbius ir gali veikti autonomiškai.
agent = client.beta.agents.create(
model="mistral-large-latest",
name="Research Assistant",
instructions="You are a research assistant. Use web search to answer with sources.",
tools=[{"type": "web_search"}]
)
Kada pereiti prie agentų?
Bet kuris iš šių signalų pateisina perėjimą. Dažniausias – įrankių poreikis: kai tik jūsų asistentas turi ieškoti internete, vykdyti kodą arba užklausti dokumentų rinkinį, „Chat Completions“ verčia jus pačius sujungti vykdymą. Kitas – būsenos išsaugojimas: jei norite, kad modelis prisimintų ankstesnius mainus, nesiųsdami visos gijos su kiekvienu prašymu, agentas tai tvarko natūraliai. Žingsnių skaičius taip pat svarbus: atsakymui, reikalaujančiam samprotavimo grandinės su tarpiniais veiksmais, reikia ciklo, o Agents API būtent tą ciklą ir įgyvendina. Kelios specialybės stumia ta pačia kryptimi: finansų agentas, deleguojantis užduotį interneto paieškos agentui, o tada skaičiavimo agentui, patenka į kelių agentų orkestracijos sritį. Galiausiai, įvertinkite vykdymo aplinką – naudojant agentus, įrankiai veikia „Mistral“ debesyje, o ne jūsų infrastruktūroje.
Priešingai, laikykitės klasikinio pokalbių roboto, jei užduotis yra paprasta teksto į tekstą transformacija, jei jau valdote istoriją kliento pusėje taip, kaip jums patinka, jei nereikia integruotų įrankių ir jei vienam samprotavimo ciklui pakanka gauti laukiamą atsakymą.
Sudėtingumo spektras
Šiuos pasirinkimus naudinga vertinti kaip tęstinumą, o ne kaip dvejetainę alternatyvą. Pirmame lygmenyje – paprastas pokalbis: klausimas, atsakymas per „Chat Completions“. Antrame – įrankiais aprūpintas pokalbis: klausimas suaktyvina funkcijos kvietimą prieš atsakymą, vis dar naudojant „Chat Completions“ ir funkcijų kvietimą. Trečiame – vienas agentas: prašymas veda prie planavimo, tada kelių veiksmų, tada atsakymo – tai Agents API sritis. Ketvirtame – keli agentai: maršrutizavimo agentas paskirsto prašymą specializuotiems agentams, kurių išvestys vėliau sintezuojamos; tam reikia Agents API ir perdavimo mechanizmų.
Iš šio spektro išplaukianti taisyklė paprasta: naudokite paprasčiausią lygmenį, kuris patenkina jūsų poreikį. Nenaudokite kelių agentų sistemos DUK atsakymams.
Lyginamasis pavyzdys
Skirtumas aiškesnis pateikus konkretų pavyzdį. Naudojant „Chat Completions“, viską valdote rankiniu būdu, o modelis lieka apribotas savo mokymo žiniomis.
# You manage everything manually
messages = [{"role": "user", "content": "What is the weather in Paris?"}]
response = client.chat.complete(model="mistral-large-latest", messages=messages)
# The model CANNOT search the web—it hallucinates or says it doesn't know
Naudojant agentą, aprūpintą interneto paieška, tas pats klausimas suaktyvina tikrą paiešką ir atsakymą su šaltiniais, jums nerašant nė vienos orkestracijos kodo eilutės.
# The agent has access to web search
agent = client.beta.agents.create(
model="mistral-large-latest",
name="Weather Agent",
instructions="Answer weather questions using web search.",
tools=[{"type": "web_search"}]
)
response = client.beta.conversations.start(
agent_id=agent.id,
inputs="What is the weather in Paris?"
)
# The agent automatically searches the web and cites its sources
Kaina ir delsa
Ši galia turi savo kainą, kurią turite numatyti prieš diegdami į gamybą. Delsa didėja, nes agentas gali atlikti kelis vidinius ciklus – paiešką, tada samprotavimą, tada rengimą, – tuo tarpu „Chat Completions“ atlieka tik vieną. Tokenų suvartojimas taip pat didėja, nes sistemos instrukcijos ir pokalbio kontekstas siunčiami modeliui atgal kiekviename cikle. Galiausiai, pokalbiai išsaugomi „Mistral“ pusėje; šią elgseną galite išjungti naudodami store=False, jei to reikalauja jūsų privatumo apribojimai.
Šios papildomos išlaidos yra visiškai pateisinamos, kai to reikalauja užduotis. Paprastam DUK pokalbių robotui tai nėra taip: laikykitės „Chat Completions“.
Svarbiausi punktai
- „Chat Completions“ yra be būsenos ir pakanka paprastoms užduotims
- Agents API suteikia išsaugojimą, integruotus įrankius ir kelių agentų orkestraciją
- Visada naudokite mažiausią sudėtingumo lygmenį, kuris patenkina jūsų poreikį
- Perėjimas prie agentų yra pateisinamas, kai reikia įrankių, išsaugojimo arba kelių agentų