Labākā prakse un turpmākie soļi
Šajā lapā
Kursu kopsavilkums
Tu esi apguvis Mistral API izmantošanas pamatus: konta izveidi, atslēgu pārvaldību, tarifu plāna izvēli, Python un TypeScript SDK instalēšanu, datu plūsmas (streaming) apstrādi, daudzpakāpju sarunas, migrāciju no V1 uz V2 un izvietošanu galvenajos mākoņu pakalpojumu sniedzējos. Turpmākais vairs nav par paša API apguvi, bet gan par atšķirību starp skriptu, kas strādā, un lietotni, kas noturīga ražošanas vidē.
API atslēgu drošība
Šis ir visbiežākais ražošanas incidentu cēlonis, gandrīz vienmēr viena iemesla dēļ: atslēga ir iekodēta „tikai testēšanai” un pēc tam aizmirsta commitā. API atslēgai nekad nevajadzētu parādīties pirmkoda; tai jābūt vides mainīgajā vai, vēl labāk, noslēpumu pārvaldniekā, piemēram, AWS Secrets Manager, Azure Key Vault vai HashiCorp Vault.
Nākamais solis ir nodalīšana. Izmanto vienu atslēgu katrai videi — izstrādei, starpposma testēšanai, ražošanai — lai novērstu situāciju, kad neveiksmīgs tests iztērē tavu dzīvās darbības kvotu. Izmanto vienu atslēgu katrai lietotnei, lai ierobežotu bojājumu apmēru: ja atslēga tiek nopludināta, tu atsaki tikai konkrētās lietotnes atslēgu. Ražošanas vidē plāno atslēgu rotāciju ik pēc 90 dienām un konfigurē brīdinājumus Mistral Console par neparastu lietojumu: kompromitēta atslēga vispirms izpaužas kā lietojuma līkne, kas bez iemesla strauji pieaug.
Kļūdu apstrāde
Ražošanas vidē katrs API izsaukums var neizdoties. Jautājums nav par to, vai tas notiks, bet gan kad. Četri statusa kodi aptver lielāko daļu situāciju, ar kurām saskarsies:
| Kods | Nozīme | Darbība |
|---|---|---|
| 401 Unauthorized | Nederīga vai beigusies API atslēga | Pārbaudi savu vides mainīgo |
| 429 Too Many Requests | Sasniegts pieprasījumu limits | Mēģini vēlreiz ar eksponenciālu pauzi |
| 500 Internal Server Error | Problēma Mistral pusē | Automātisks mēģinājums pēc dažām sekundēm |
| 503 Service Unavailable | Pagaidu pārslodze | Mēģini vēlreiz ar pauzi |
Atšķirībai ir nozīme: tu nekad nelabosi 401 kļūdu, mēģinot vēlreiz; pie vainas ir tava konfigurācija. Pārējie trīs ir pārejoši, un pareizā reakcija ir mēģināt vēlreiz ar pakāpeniski garākām aizturēm — vienu sekundi, tad divas, tad četras. Tūlītēja mēģināšana ciklā pie 429 kļūdas tikai pasliktina piesātinājumu, ko piedzīvo.
Lūk, šis modelis Python valodā: maksimāli trīs mēģinājumi, izņēmuma izraisīšana, ja pēdējais neizdodas, un gaidīšanas laika dubultošana pēc katras neveiksmes, izmantojot 2 ** attempt.
import time
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def call_with_retry(messages, max_retries=3):
for attempt in range(max_retries):
try:
response = client.chat.complete(
model="mistral-small-latest",
messages=messages,
)
return response
except Exception as e:
if attempt == max_retries - 1:
raise
waitTime = 2 ** attempt # 1s, 2s, 4s
print(f"Error: {e}. Retrying in {waitTime}s...")
time.sleep(waitTime)
TypeScript versija seko tieši tai pašai loģikai, izņemot to, ka gaidīšanas laiks ir izteikts milisekundēs un pauze tiek veidota, izmantojot solījumu un setTimeout:
async function callWithRetry(
client: Mistral,
messages: Array<{ role: string; content: string }>,
maxRetries = 3
) {
for (let attempt = 0; attempt < maxRetries; attempt++) {
try {
return await client.chat.complete({
model: 'mistral-small-latest',
messages,
});
} catch (error) {
if (attempt === maxRetries - 1) throw error;
const waitTime = Math.pow(2, attempt) * 1000;
console.log(`Error. Retrying in ${waitTime}ms...`);
await new Promise((r) => setTimeout(r, waitTime));
}
}
}
Dzīve ar pieprasījumu limitiem
Pieprasījumu limiti aizsargā API no ļaunprātīgas izmantošanas, un tikai atkārtošanas loģika nav pietiekama, lai tos ievērotu: tā lietas sakārto tikai pēc fakta. Pārbaudi savus limitus Mistral Console — pieprasījumi sekundē, tokeni minūtē — pēc tam ievies klienta puses regulēšanu (throttling), lai nepārsniegtu tos. Pārmērīgiem pieprasījumiem jābūt rindā, nevis izmestiem: lietotājs drīzāk pagaidīs divas sekundes, nekā saņems kļūdu.
Ja, neskatoties uz visiem centieniem, rodas 429 kļūda, atbildē ir iekļauta Retry-After galvene, kas norāda, kad mēģināt vēlreiz; tās nolasīšana ir labāk nekā minēšana. Un ja tavs likumīgais lietojums konsekventi pārsniedz Scale plāna limitus, pieprasī kvotas palielinājumu, sazinoties ar atbalsta dienestu, nevis vairot apvedceļus.
Izmaksu kontrole
Pirmais un tālu efektīvākais svira ir modeļa izvēle. Klasifikācijai, lauku ekstrakcijai vai pārfrazēšanai nav nepieciešami sarežģīti spriedumi: mistral-small-latest tos apstrādā ļoti labi. Atstāj mistral-large-latest uzdevumiem, kur spriešanas kvalitāte ir izšķiroša — analīzei, sarežģītai sintēzei, garu tekstu rakstīšanai — un izmanto codestral-latest koda ģenerēšanai. Nemaksā par Mistral Large 3, lai veiktu to, ko Mistral Small var izdarīt tikpat labi: ražošanas apjomos starpība mērāma kārtās.
Otrā svira attiecas uz apmainīto tokeni skaitu. Kodols, kas atbrīvots no liekām instrukcijām, kas uzkrājušās iterāciju gaitā, maksā mazāk katrā izsaukumā. Daudzpakāpju sarunās sūti tikai nepieciešamos ziņojumus: trīsdesmit apmaiņu vēstures atkārtošana katram jautājumam ļoti ātri uzdzen rēķinu. Pielāgo max_tokens tam, ko patiesībā sagaidi, un kešo atkārtotas atbildes — lētākais pieprasījums ir tas, ko neveic.
Notiekošā novērošana
Ražošanas vidē reģistrē katru izsaukumu. Bez tā tu neuzzināsi, kāpēc atbilde tika apgriezta vai kurš lietojums izskaidro mēneša rēķinu. Zemāk esošā funkcija aptver izsaukumu ar diviem izsekošanas ierakstiem: kas tiek nosūtīts un kas tiek saņemts atpakaļ, ieskaitot kopējo tokeni skaitu un apturēšanas iemeslu.
import logging
logger = logging.getLogger("mistral")
def logged_call(client, messages, model="mistral-small-latest"):
logger.info(f"API Call — model: {model}, messages: {len(messages)}")
response = client.chat.complete(model=model, messages=messages)
logger.info(
f"Response — tokens: {response.usage.total_tokens}, "
f"finish: {response.choices[0].finish_reason}"
)
return response
Šīs divas rindas atbild uz lielāko daļu jautājumu, ko sev uzdosi vēlāk. finish_reason, kas signalizē garuma limitu, izskaidro atbildi, kas pārtraukta vidū; mainīgs vidējais tokeni skaits norāda uz kodolu, kas ir pieaudzis, vai vēsturi, kas nav pienācīgi attīrīta.
Kas tālāk
Kad pamati ir nostiprināti, atveras vairāki ceļi. Funkciju izsaukšana ļauj modelim izsaukt tavas pašas funkcijas un API. RAG (Retrieval-Augmented Generation) bagātina atbildes ar taviem iekšējiem datiem, savukārt iegulšanas (embeddings), kas pārveido tekstu vektoros, veido semantiskās meklēšanas pamatakmens. Smalkā noregulēšana (fine-tuning) pielāgo modeli tavai jomai, kad kodola veidošana vairs nepietiek, aģenti ķēdē izsaukumus, lai veidotu autonomas sistēmas, un novērtēšana dod iespēju izmērīt atbilžu kvalitāti, nevis to aplēst acīmredzami.
Katrai no šīm tēmām Corsen Academy katalogā ir veltīti atsevišķi kursi.
Galvenās atziņas
- Nodrošini savu API atslēgu drošību, izmantojot noslēpumu pārvaldnieku un regulāru rotāciju
- Sistemātiski ievies atkārtošanu ar eksponenciālu pauzi
- Izvēlies vieglo modeli, kas spēj veikt tavu uzdevumu
- Reģistrē katru API izsaukumu diagnostikai un izmaksu optimizācijai
- Mistral API ir tavs pamats — turpmākie soļi (funkciju izsaukšana, RAG, aģenti) balstās uz visu, ko esi apguvis
Pārbaudi savas zināšanas
Console, SDK, mākoņu pakalpojumu sniedzēji: vai API pamats ir nostiprināts?
1. Kādi refleksi tev jābūt attiecībā uz API atslēgu tūlīt pēc tās izveides?
Atbilde: Glabā to droši (tā tiek parādīta tikai vienreiz), glabā to ārpus koda, izmantojot vides mainīgos, izmanto vienu atslēgu katrai videi un rotē to, ja rodas šaubas.
2. Kas atšķir Experiment un Scale plānus?
Atbilde: Kvotas un cenas: Experiment ir paredzēts iepazīšanās un prototipēšanas posmam, Scale — ražošanai; pirms kapacitātes plānošanas pārbaudi savus limitus konsolē.
3. Kāds ir pirmā Python izsaukuma skelets?
Atbilde: Klients inicializēts ar atslēgu, sarunas izsaukums ar modeli un ziņojumu sarakstu, atbildes satura nolasīšana — un datu plūsma ir iespējota pakāpeniskai attēlošanai.
4. Kā caur API apstrādā daudzpakāpju sarunu?
Atbilde: Uzturot vēsturi pats: katrs pieprasījums nosūta pilnu ziņojumu sarakstu (lietotājs un asistents) — API ir bezstāvokļa.
5. Kas jāzina par izvietošanu, izmantojot Azure, Vertex vai Bedrock?
Atbilde: Mistral modeļi ir pieejami tur ar izvēlētā mākoņa autentifikāciju un rēķinu sagatavošanu — tā pati modeļu saime, atšķirīgs piekļuves punkts, noderīgi infrastruktūras ierobežojumu gadījumā.
Atslēga nodrošināta, vēsture pārvaldīta, plāns pielāgots: galīgā labākā prakse pārvērš šo pamatu ražošanas bāzē.