Geriausios praktikos ir tolesni žingsniai
Šiame puslapyje
Kurso apžvalga
Išnaišiojai visus „Mistral API“ naudojimo pagrindus: paskyros kūrimą, raktų valdymą, plano pasirinkimą, „Python“ ir „TypeScript“ SDK diegimą, srautinį perdavimą, daugiažingsnes pokalbių sesijas, migraciją iš V1 į V2 ir diegimą pagrindinėse debesijos platformose. Toliau eisime ne apie paties API mokymąsi, o apie skirtumą tarp veikiančio scenarijaus ir programos, atlaikančios eksploatacines apkrovas.
API raktų saugumas
Tai dažniausia incidentų gamybinėje aplinkoje priežastis, beveik visada dėl tos pačios priežasties: raktas įkoduojamas tiesiai į kodą „tik testavimui“ ir pamirštamas įvykdžius commit. API raktas niekada neturi atsirasti源代码; jis turi būti saugomas aplinkos kintamajame arba, dar geriau, paslapčių valdyklėje, tokioje kaip „AWS Secrets Manager“, „Azure Key Vault“ arba „HashiCorp Vault“.
Kitas žingsnis – atskyrimas. Naudokite po vieną raktą kiekvienai aplinkai – kūrimo, testavimo, gamybos – kad nepavykęs testas nesuvartotų jūsų veikiančios paslaugos kvotos. Naudokite po vieną raktą kiekvienai programai, kad apribotumėte galimos žalos mastą: jei raktas nuteka, atšaukiate tik tą, kuris skirtas pažeistai programai. Gamybinėje aplinkoje numatykite raktų rotaciją kas 90 dienų ir „Mistral Console“ sukonfigūruokite įspėjimus apie neįprastą naudojimą: kompromituotas raktas pirmiausia pasireiškia staigiu naudojimo kreivės šuoliu be jokios priežasties.
Klaidų valdymas
Gamybinėje aplinkoje kiekvienas API užklausimas gali nepavykti. Klausimas ne ar tai įvyks, o kada. Keturi būsenos kodai apima daugumą situacijų, su kuriomis susidursite:
| Kodas | Reikšmė | Veiksmas |
|---|---|---|
| 401 Unauthorized | Neteisingas arba nebegaliojantis API raktas | Patikrinkite aplinkos kintamąjį |
| 429 Too Many Requests | Pasiektas užklausų limitas | Kartokite su eksponentine pauze |
| 500 Internal Server Error | Problema „Mistral“ pusėje | Automatinis kartojimas po kelių sekundžių |
| 503 Service Unavailable | Laikinas perkrovimas | Kartokite su pauze |
Skirtumas svarbus: 401 klaidos niekada neišspręsite kartodami užklausą; kaltas jūsų konfigūravimas. Kitos trys klaidos yra laikinos, ir teisingas atsakas – kartoti užklausą didinant laukimo laiką – vieną sekundę, tada dvi, tada keturias. Momentalus kartojimas cikle gavus 429 klaidą tik dar labiau padidins perkrovą, kurią jau patiriate.
Štai šablonas „Python“ kalba: daugiausia trys bandymai, jei paskutinis nepavyksta – išmetama išimtis, o laukimo laikas po kiekvienos nesėkmės dvigubinamas naudojant 2 ** attempt.
import time
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def call_with_retry(messages, max_retries=3):
for attempt in range(max_retries):
try:
response = client.chat.complete(
model="mistral-small-latest",
messages=messages,
)
return response
except Exception as e:
if attempt == max_retries - 1:
raise
waitTime = 2 ** attempt # 1s, 2s, 4s
print(f"Error: {e}. Retrying in {waitTime}s...")
time.sleep(waitTime)
„TypeScript“ versija laikosi tos pačios logikos, tik laukimo laikas išreiškiamas milisekundėmis, o pauzė realizuojama naudojant „promise“ ir setTimeout:
async function callWithRetry(
client: Mistral,
messages: Array<{ role: string; content: string }>,
maxRetries = 3
) {
for (let attempt = 0; attempt < maxRetries; attempt++) {
try {
return await client.chat.complete({
model: 'mistral-small-latest',
messages,
});
} catch (error) {
if (attempt === maxRetries - 1) throw error;
const waitTime = Math.pow(2, attempt) * 1000;
console.log(`Error. Retrying in ${waitTime}ms...`);
await new Promise((r) => setTimeout(r, waitTime));
}
}
}
Darbas su užklausų limitais
Užklausų limitai saugo API nuo piktnaudžiavimo, ir vien tik kartojimo logikos nepakanka jiems gerbti: ji tik taiso pasekmes. Patikrinkite savo limitus „Mistral Console“ – užklausos per sekundę, tokenai per minutę – tada įdiekite kliento pusės ribotuvą (throttling), kad jų neviršytumėte. Perteklinės užklausos turi būti eiliuojamos, o ne atmestos: vartotojas greičiau palauks dvi sekundes nei gaus klaidą.
Kai nepaisant visų pastangų vis tiek gaunama 429 klaida, atsakyme pateikiama antraštė Retry-After, nurodanti, kada bandyti iš naujo; ją nuskaityti geriau nei spėlioti. O jei jūsų teisėtas naudojimas nuolat viršija „Scale“ plano limitus, prašykite padidinti kvotą per palaikymo tarnybą, o ne dauginkite apėjimo būdus.
Išlaidų kontrolė
Pirmas ir efektyviausias svertas – modelio pasirinkimas. Klasifikavimui, laukų ištraukimui ar perfrazavimui nereikia sudėtingo samprotavimo: „mistral-small-latest“ su tuo puikiai susitvarko. „mistral-large-latest“ palikite užduotims, kur samprotavimo kokybė lemia rezultatą – analizei, sudėtingai sintezei, ilgų tekstų rašymui – o kodui generuoti naudokite „codestral-latest“. Nemokėkite už „Mistral Large 3“, kad atliktų tai, ką „Mistral Small“ gali padaryti taip pat gerai: gamybos apimtimis skirtumas matuojamas eilėmis.
Antras svertas – keičiamų tokenų skaičius. Glaustas raginimas (prompt), išvalytas nuo perteklinių instrukcijų, sukauptų iteracijų metu, kainuoja mažiau kiekvieno užklausos metu. Daugiažingsnėse pokalbių sesijose siųskite tik būtinus pranešimus: kiekvienam klausimui siunčiant trisdešimties mainų istoriją, sąskaita išauga labai greitai. Priderinkite max_tokens prie to, ko iš tikrųjų tikitės, ir talpykloje saugokite pasikartojančius atsakymus – pigiausia užklausa yra ta, kurios neatlikote.
Stebėsena
Gamybinėje aplinkoje registruokite kiekvieną užklausą. Be to nežinosite, kodėl atsakymas buvo nutrauktas arba kuris naudojimas lėmė mėnesio sąskaitą. Toliau pateikta funkcija apgaubia užklausą dviem įrašais: kas išsiunčiama ir kas gaunama atgal, įskaitant bendrą tokenų skaičių ir sustojimo priežastį.
import logging
logger = logging.getLogger("mistral")
def logged_call(client, messages, model="mistral-small-latest"):
logger.info(f"API Call — model: {model}, messages: {len(messages)}")
response = client.chat.complete(model=model, messages=messages)
logger.info(
f"Response — tokens: {response.usage.total_tokens}, "
f"finish: {response.choices[0].finish_reason}"
)
return response
Šios dvi eilutės atsako į daugumą klausimų, kurių vėliau sau kelsite. finish_reason, signalizuojantis apie ilgio limitą, paaiškina viduryje nutrauktą atsakymą; besikeičiantis vidutinis tokenų skaičius atskleidžia išaugusį raginimą arba netinkamai išvalytą istoriją.
Kas toliau
Turint pagrindus, atsiveria keli keliai. Funkcijų kvietimas leidžia modeliui kviesti jūsų pačių funkcijas ir API. RAG (Retrieval-Augmented Generation) praturtina atsakymus jūsų vidiniais duomenimis, o įterpiniai (embeddings), paverčiantys tekstą vektoriais, sudaro semantinės paieškos pagrindą. Derinimas (fine-tuning) pritaiko modelį jūsų domenui, kai raginimų nebeužtenka, agentai grandine jungia užklausas kuriant autonomines sistemas, o vertinimas suteikia būdą išmatuoti atsakymų kokybę, o ne ją įvertinti „iš akies“.
Kiekviena iš šių temų turi atskirus kursus „Corsen Academy“ kataloge.
Svarbiausi punktai
- Apsaugokite API raktus naudodami paslapčių valdyklę ir reguliariai juos keiskite
- Sistemingai įdiekite kartojimą su eksponentine pauze
- Pasirinkite lengviausią modelį, pajėgų atlikti jūsų užduotį
- Registruokite kiekvieną API užklausą diagnostikai ir išlaidų optimizavimui
- „Mistral API“ yra jūsų pagrindas – tolesni žingsniai (funkcijų kvietimas, RAG, agentai) remiasi viskuo, ką išmokote
Patikrinkite savo žinias
Konsole, SDK, debesijos tiekėjai: ar API pagrindas jau sukurtas?
1. Kokių refleksų turėtumėte imtis sukūrę API raktą?
Atsakymas: Saugiai jį išsaugokite (rodomas tik vieną kartą), nelaikykite kode – naudokite aplinkos kintamuosius, naudokite po vieną raktą kiekvienai aplinkai ir pakeiskite jį kilus abejonių.
2. Kuo skiriasi „Experiment“ ir „Scale“ planai?
Atsakymas: Kvotomis ir kainodara: „Experiment“ skirtas pažinčiai ir prototipams, „Scale“ – gamybai – prieš planuodami pajėgumus, patikrinkite savo limitus konsolėje.
3. Kokia yra pirmojo „Python“ užklausos struktūra?
Atsakymas: Klientas inicializuojamas su raktu, vykdomas pokalbio užklausimas nurodant modelį ir pranešimų sąrašą, nuskaitytas atsakymo turinys – o srautinis perdavimas įjungiamas laipsniškam rodymui.
4. Kaip per API valdoma daugiažingsnė pokalbio sesija?
Atsakymas: Istoriją tvarkote patys: kiekvienoje užklausoje siunčiamas visas pranešimų sąrašas (vartotojo ir asistento) – API neturi būsenos.
5. Ką turėtumėte žinoti apie diegimą per „Azure“, „Vertex“ ar „Bedrock“?
Atsakymas: „Mistral“ modeliai ten prieinami naudojant pasirinktos debesijos platformos autentifikavimą ir atsiskaitymą – ta pati modelių šeima, kitas prieigos taškas, naudinga infrastruktūros apribojimams.
Raktas apsaugotas, istorija valdoma, planas pritaikytas: galutinės geriausios praktikos šį pagrindą paverčia tvirta gamybine baze.