Aģenti pret čatbotiem: kad jums ir nepieciešams aģents?
Šajā lapā
Čatbots ne vienmēr ir pietiekams
Tu, iespējams, jau esi izmantojis Mistral Chat Completions API, lai izveidotu sarunu asistentus. Daudziem lietojumiem tas ir vairāk nekā pietiekami. Kārdinājums pāriet uz aģentiem tikai tāpēc, ka tehnoloģija ir jaunāka, var dārgi izmaksāt gan attiecībā uz latentumu, gan tokeniem. Tomēr dažiem uzdevumiem ir nepieciešams vairāk nekā vienkārša teksta atbilde. Šī nodarbība sniedz tev lēmumu pieņemšanas kritērijus: kā atpazīt situācijas, kurās pietiek ar izsaukumu chat.complete(), un tās, kas patiesi attaisno pāreju uz Agents API.
Chat Completions — klasiskais modelis
Izmantojot chat.complete(), tu nosūta ziņojumu sarakstu un saņem atbildi. Mehānisms ir bez stāvokļa: modelim nav atmiņas starp izsaukumiem, un tev ir jārekonstruē vēsture katram pieprasījumam.
from mistralai.client import Mistral
client = Mistral(api_key="your-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "What is the capital of France?"}
]
)
print(response.choices[0].message.content)
Šis modelis joprojām ir pareizā izvēle vienkāršiem jautājumiem un atbildēm, vispārīgai teksta ģenerēšanai — kopsavilkumiem, tulkojumiem, rakstīšanai — klasifikācijai, informācijas ieguvei un vienreizējiem funkciju izsaukumiem. Šiem uzdevumiem ir kopīga iezīme: tie ir teksta uz tekstu pārveidojumi, kas tiek atrisināti vienā spriešanas ciklā, un modelim nav jāsaņem nekādi dati no ārpuses.
Agents API — autonomais modelis
Izmantojot Agents API, tu izveido pastāvīgu aģentu, kas aprīkots ar instrukcijām, rīkiem un uzvedību, kas definēta vienreiz un uz visiem laikiem. Aģents uztur savu stāvokli visā sarunu gaitā un var darboties autonomi.
agent = client.beta.agents.create(
model="mistral-large-latest",
name="Research Assistant",
instructions="You are a research assistant. Use web search to answer with sources.",
tools=[{"type": "web_search"}]
)
Kad pāriet uz aģentiem?
Jebkurš no šiem signāliem attaisno pāreju. Visbiežākais ir rīku nepieciešamība: tiklīdz tavam asistentam ir jāmeklē informācija tīmeklī, jāizpilda kods vai jāveic vaicājums dokumentu kopai, Chat Completions liek tev pašam nodrošināt izpildi. Nākamais ir stāvokļa saglabāšana: ja vēlies, lai modelis atcerētos iepriekšējās apmaiņas, nepārsūtot visu pavedienu ar katru pieprasījumu, aģents to apstrādā dabiski. Tikpat svarīgs ir soļu skaits: atbildei, kurai nepieciešama spriešanas ķēde ar starpdarbībām, ir nepieciešams cikls, un Agents API tieši to ievieš. Vairākas specializācijas virza tajā pašā virzienā: finanšu aģents, kas deleģē uzdevumus tīmekļa meklēšanas aģentam un pēc tam aprēķinu aģentam, ietilpst vairāku aģentu orķestrācijā. Visbeidzot, ņem vērā izpildes vidi — ar aģentiem rīki darbojas Mistral mākonī, nevis tavā infrastruktūrā.
Turpretī paliec pie klasiska čatbota, ja uzdevums ir vienkārša teksta uz tekstu pārveidošana, ja jau pārvaldi vēsturi klienta pusē pēc savām vēlmēm, ja nav nepieciešami iebūvēti rīki un ja vienam spriešanas ciklam pietiek, lai iegūtu paredzēto atbildi.
Sarežģītības spektrs
Ir lietderīgi uz šīm izvēlēm skatīties kā uz kontinuumu, nevis bināru alternatīvu. Pirmajā līmenī ir vienkāršs čats: jautājums, atbilde, izmantojot Chat Completions. Otrajā līmenī — čats ar rīkiem: jautājums pirms atbildes izraisa funkcijas izsaukumu, joprojām izmantojot Chat Completions un funkciju izsaukumus. Trešajā līmenī — viens aģents: pieprasījums noved pie plānošanas, tad vairākām darbībām un tad atbildes — šī ir Agents API joma. Ceturtajā līmenī — vairāki aģenti: maršrutētāja aģents sadala pieprasījumu specializētiem aģentiem, kuru izejas dati tiek pēc tam sintezēti, kam nepieciešams Agents API un nodošana (handoffs).
No šī spektra izrietošais noteikums ir vienkāršs: izmanto vienkāršāko līmeni, kas apmierina tavu vajadzību. Neizvērš vairāku aģentu sistēmu, lai atbildētu uz bieži uzdotajiem jautājumiem (FAQ).
Salīdzinošs piemērs
Atšķirība ir skaidrāka ar konkrētu piemēru. Izmantojot Chat Completions, tu visu pārvaldi manuāli, un modelis paliek ierobežots ar savām apmācības zināšanām.
# You manage everything manually
messages = [{"role": "user", "content": "What is the weather in Paris?"}]
response = client.chat.complete(model="mistral-large-latest", messages=messages)
# The model CANNOT search the web—it hallucinates or says it doesn't know
Izmantojot aģentu, kas aprīkots ar tīmekļa meklēšanu, tas pats jautājums izraisa reālu meklēšanu un atbildi ar atsaucēm, un tev nav jāuzraksta neviens orķestrācijas koda rindiņa.
# The agent has access to web search
agent = client.beta.agents.create(
model="mistral-large-latest",
name="Weather Agent",
instructions="Answer weather questions using web search.",
tools=[{"type": "web_search"}]
)
response = client.beta.conversations.start(
agent_id=agent.id,
inputs="What is the weather in Paris?"
)
# The agent automatically searches the web and cites its sources
Izmaksas un latentums
Šī jauda ir par cenu, un tev tā ir jāparedz pirms izvēršanas ražošanā. Latentums palielinās, jo aģents var veikt vairākus iekšējos apgriezienus — meklēšanu, tad spriešanu, tad sagatavošanu — turpretī Chat Completions veic tikai vienu. Arī tokenu patēriņš pieaug, jo sistēmas instrukcijas un sarunu konteksts tiek nosūtīti atpakaļ modelim katrā apgriezienā. Visbeidzot, sarunas tiek saglabātas Mistral pusē; šo uzvedību vari atspējot ar store=False, ja to prasa tavas privātuma prasības.
Šīs pieskaitāmās izmaksas ir pilnībā attaisnotas, ja uzdevums to prasa. Vienkāršam FAQ čatbotam tās nav: paliec pie Chat Completions.
Galvenās atziņas
- Chat Completions ir bez stāvokļa un pietiekams vienkāršiem uzdevumiem
- Agents API pievieno pastāvīgumu, iebūvētus rīkus un vairāku aģentu orķestrāciju
- Vienmēr izmanto zemāko sarežģītības līmeni, kas apmierina tavu vajadzību
- Pāreja uz aģentiem ir attaisnota, ja tev ir nepieciešami rīki, pastāvīgums vai vairāki aģenti