Parimad tavad ja järgmised sammud
Sellel lehel
Kursuse kokkuvõte
Oled läbinud kõik Mistral API kasutamise põhialused: konto loomine, võtmete haldamine, paketi valik, Pythoni ja TypeScripti SDK-de paigaldamine, voogedastus, mitmekäigulised vestlused, V1/V2 migratsioon ja juurutamine suurtes pilveteenustes. Edasine ei puuduta enam API enda õppimist, vaid erinevust toimiva skripti ja tootmiskeskkonnas vastupidava rakenduse vahel.
API-võtmete turvamine
See on tootmisintsidentide kõige levinum põhjus, peaaegu alati samal põhjusel: võti on kodeeritud „lihtsalt testimiseks“ ja seejärel unustatud committi. API-võti ei tohi kunagi ilmuda lähtekoodi; see kuulub keskkonnamuutujasse või, veel parem, saladuste haldurisse nagu AWS Secrets Manager, Azure Key Vault või HashiCorp Vault.
Järgmine samm on eraldamine. Kasuta iga keskkonna jaoks eraldi võtit – arendus, test, tootmine –, et vältida olukorda, kus ebaõnnestunud test tarbib sinu live-teenuse kvooti. Kasuta iga rakenduse jaoks eraldi võtit, et piirata kahju ulatust: kui võti lekib, tühistad vaid mõjutatud rakenduse võtme. Planeeri tootmises võtmete vahetamist iga 90 päeva tagant ja seadista Mistrali konsoolis hoiatused ebanormaalse kasutuse kohta: kompromiteeritud võti annab endast märku kasutuskõveraga, mis tõuseb ilma põhjuseta.
Vigade käsitlemine
Tootmiskeskkonnas võib iga API-kõne ebaõnnestuda. Küsimus pole selles, kas see juhtub, vaid millal. Neli olekukoodi katavad enamiku olukordadest, millega kokku puutud:
| Kood | Tähendus | Tegevus |
|---|---|---|
| 401 Unauthorized | Vigane või aegunud API-võti | Kontrolli keskkonnamuutujat |
| 429 Too Many Requests | Kiirusepiirang saavutatud | Proovi uuesti eksponentsiaalse viivitusega |
| 500 Internal Server Error | Probleem Mistrali poolt | Automaatne uuestiproovimine mõne sekundi pärast |
| 503 Service Unavailable | Ajutine ülekoormus | Proovi uuesti viivitusega |
Erinevus on oluline: 401 viga ei lahenda sa kunagi uuestiproovimisega; süüdi on sinu konfiguratsioon. Ülejäänud kolm on ajutised ja õige reaktsioon on proovida uuesti järk-järgult pikenevate viivitustega – üks sekund, siis kaks, siis neli. 429 vea korral kohe tsüklis uuesti proovimine ainult süvendab ülekoormust, mida koged.
Siin on muster Pythonis: maksimaalselt kolm katset, erandi edasiandmine, kui viimane ebaõnnestub, ja ooteaja kahekordistamine pärast iga ebaõnnestumist, kasutades 2 ** attempt.
import time
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def call_with_retry(messages, max_retries=3):
for attempt in range(max_retries):
try:
response = client.chat.complete(
model="mistral-small-latest",
messages=messages,
)
return response
except Exception as e:
if attempt == max_retries - 1:
raise
waitTime = 2 ** attempt # 1s, 2s, 4s
print(f"Error: {e}. Retrying in {waitTime}s...")
time.sleep(waitTime)
TypeScripti versioon järgib täpselt sama loogikat, välja arvatud see, et ooteaeg väljendatakse millisekundites ja paus luuakse promise’i ja setTimeout abil:
async function callWithRetry(
client: Mistral,
messages: Array<{ role: string; content: string }>,
maxRetries = 3
) {
for (let attempt = 0; attempt < maxRetries; attempt++) {
try {
return await client.chat.complete({
model: 'mistral-small-latest',
messages,
});
} catch (error) {
if (attempt === maxRetries - 1) throw error;
const waitTime = Math.pow(2, attempt) * 1000;
console.log(`Error. Retrying in ${waitTime}ms...`);
await new Promise((r) => setTimeout(r, waitTime));
}
}
}
Kiirusepiirangutega kohanemine
Kiirusepiirangud kaitsevad API-d kuritarvitamise eest ja pelgalt uuestiproovimise loogikast ei piisa nende austamiseks: see parandab asju alles tagantjärele. Kontrolli oma piiranguid Mistrali konsoolis – päringuid sekundis, tokeneid minutis – ja seejärel rakenda kliendipoolne kuritegevuse vähendamine (throttling), et vältida nende ületamist. Liigsed päringud tuleks järjekorda panna, mitte kõrvaldada: kasutaja eelistab pigem kaks sekundit oodata kui veateadet saada.
Kui 429 viga siiski tekib, hoolimata sinu parimatest pingutustest, sisaldab vastus päist Retry-After, mis näitab, millal uuesti proovida; selle lugemine on parem kui arvamine. Ja kui sinu legitiimne kasutus ületab järjepidevalt Scale paketi piiranguid, taotle kvoodi suurendamist tugiteenuse kaudu, selle asemel et korrutada möödaminemisi.
Kulude kontrollimine
Esimene ja kaugelt tõhusaim hoob on mudeli valik. Klassifitseerimine, väljade ekstraktsioon või ümberformuleerimine ei nõua keerulist arutluskäiku: mistral-small-latest saab nendega väga hästi hakkama. Jäta mistral-large-latest ülesannetele, kus arutluskäigu kvaliteet teeb otsustava erinevuse – analüüs, keeruline süntees, pikad tekstid – ja kasuta codestral-latest koodi genereerimiseks. Ära maksa Mistral Large 3 eest selle tegemise eest, millega Mistral Small sama hästi hakkama saab: tootmismahus mõõdetakse erinevust suurusjärkudes.
Teine hoob puudutab vahetatavate tokenite arvu. Kokkuvõtlik viip, mis on puhastatud iteratsioonide käigus kogunenud üleliigsetest juhistest, maksab iga kõne pealt vähem. Mitmekäigulistes vestlustes saada vaid vajalikud sõnumid: kolmekümne vahetuse ajaloo kordamine iga küsimuse jaoks tõstab arvet väga kiiresti. Kohanda max_tokens sellele, mida tegelikult ootad, ja vahemällu salvesta korduvad vastused – odavaim päring on see, mida sa ei tee.
Toimuva jälgimine
Tootmiskeskkonnas logi iga kõne. Ilma selleta ei tea sa kunagi, miks vastus katkes või milline kasutus seletab kuu arvet. Allpool olev funktsioon mähib kõne kahte jälitusse: mis läheb välja ja mis tuleb tagasi, kaasates kogu tokenite arvu ja lõpetamise põhjuse.
import logging
logger = logging.getLogger("mistral")
def logged_call(client, messages, model="mistral-small-latest"):
logger.info(f"API Call — model: {model}, messages: {len(messages)}")
response = client.chat.complete(model=model, messages=messages)
logger.info(
f"Response — tokens: {response.usage.total_tokens}, "
f"finish: {response.choices[0].finish_reason}"
)
return response
Need kaks rida vastavad enamikule küsimustele, mida end hiljem küsid. Pikkusepiirangule viitav finish_reason seletab keset lauset katkenud vastust; kõrvalekaldunud keskmine tokenite arv paljastab viiba, mis on kasvanud, või ajaloo, mida pole korralikult puhastatud.
Mis edasi?
Kui põhialused on paigas, avanevad mitmed teed. Funktsioonide kutsumine võimaldab mudelil kutsuda sinu enda funktsioone ja API-sid. RAG (Retrieval-Augmented Generation) rikastab vastuseid sinu sisemiste andmetega, samas kui manused (embeddings), mis teisendavad teksti vektoriteks, moodustavad semantilise otsingu ehitusploki. Peenhäälestus kohandab mudeli sinu domeeniga, kui viipamisest enam ei piisa; agendid aheldavad kõnesid autonoomsete süsteemide loomiseks ja hindamine annab sulle võimaluse mõõta vastuste kvaliteeti, selle asemel et seda silmaga hinnata.
Igaühele neist teemadest on Corsen Academy kataloogis pühendatud kursused.
Peamised punktid
- Turva oma API-võtmed saladuste halduri ja regulaarse vahetamisega
- Rakenda süstemaatiliselt uuestiproovimine eksponentsiaalse viivitusega
- Vali oma ülesande lahendamiseks võimeline kõige kergem mudel
- Logi iga API-kõne diagnostika ja kulude optimeerimise jaoks
- Mistral API on sinu alus – järgmised sammud (funktsioonide kutsumine, RAG, agendid) ehitavad kõigele, mida oled õppinud
Testi oma teadmisi
Konsool, SDK, pilveteenused: kas API alus on paigas?
1. Millised refleksid peaksid sul API-võtme suhtes olema kohe pärast selle loomist?
Vastus: Salvesta see turvaliselt (seda kuvatakse ainult üks kord), hoia see koodist eemal keskkonnamuutujate kaudu, kasuta iga keskkonna jaoks eraldi võtit ja vaheta see kahtluse korral.
2. Mis eristab Experiment ja Scale pakette?
Vastus: Kvoovid ja hinnakujundus: Experiment avastamiseks ja prototüüpimiseks, Scale tootmiseks – kontrolli oma piiranguid konsoolis enne mahutamist.
3. Milline on esimese Pythoni kõne skelett?
Vastus: Klient initsialiseeritakse võtmega, vestluskõne mudeli ja sõnumite loendiga, vastuse sisu lugemine – ja voogedastus on lubatud progressiivseks kuvamiseks.
4. Kuidas käsitleda mitmekäigulist vestlust API kaudu?
Vastus: Hoides ajalugu ise: iga päring saadab kogu sõnumite loendi (kasutaja ja assistent) – API on olekuta.
5. Mida peaksid teadma juurutamise kohta Azure'i, Vertexi või Bedrocki kaudu?
Vastus: Mistrali mudelid on seal saadaval valitud pilve autentimise ja arveldusega – sama mudelipere, erinev juurdepääsupunkt, kasulik taristupiirangute korral.
Võti turvatud, ajalugu hallatud, pakett kohandatud: lõplikud parimad tavad muudavad selle aluse tootmisbaasiks.