Jūsų pirmasis API užklausimas naudojant Python
Šiame puslapyje
Jūsų pirmasis bendravimas su „Mistral“ modeliu
SDK įdiegtas, o jūsų API raktas paruoštas: metas siųsti tikrą užklausą ir, svarbiausia, suprasti, kas grįžta atgal. Daugelis kūrėjų sustoja ties pirmąja atsakymo eilute ir ignoruoja likusią grąžinamo objekto dalį. Tai klaida, nes išlaidų stebėjimas ir sutrumpintų atsakymų diagnostika slypi būtent tuose likusiuose duomenyse. Pradėsime nuo minimalaus kodo ir palaipsniui pereisime prie pilnos struktūros.
Kliento inicializavimas
Klientas yra įėjimo taškas visiems jūsų sąveikos su API veiksmams:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
Jis tvarko HTTP ryšius, kartotinius bandymus esant tinklo klaidoms ir užklausų serializavimą. Sukurkite jį vieną kartą programos paleidimo metu. Kliento kūrimas kiekvienam kvietimui verčia jus be reikalo mokėti už ryšio nustatymą ir yra viena iš subtiliausių per didelės delsos priežasčių.
Užklausos siuntimas naudojant chat.complete()
Dažniausiai naudosite metodą chat.complete(). Jis išsiunčia jūsų žinutes ir laukia pilno modelio atsakymo, prieš grąžindamas valdymą:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": "Explain the concept of tokenization in three sentences."
}
]
)
print(response.choices[0].message.content)
Čia pakanka dviejų parametrų. model nurodo modelio ID: mistral-small-latest visada nukreipia į naujausią „Mistral Small“ versiją, todėl tai natūralus pasirinkimas pradedant, nes jis greitas ir ekonomiškas. messages tikisi struktūrizuotų žinučių sąrašo, kur kiekviena turi role – system, user arba assistant – ir content lauką, kuriame yra tekstas. Ši struktūra gali atrodyti pernelyg sudėtinga vienam klausimui, tačiau ji turi puikią prasmę, kai pasieksite pamoką apie daugkartinio keitimosi pokalbius.
Grąžinamo objekto skaitymas
Objektas response turi daug daugiau nei tik sugeneruotą tekstą:
# Atsakymo tekstas
text = response.choices[0].message.content
# Vaidmuo (atsakymui visada „assistant“)
role = response.choices[0].message.role
# Sustojimo priežastis
finish = response.choices[0].finish_reason # „stop“, „length“ ir kt.
# Tokenų statistika
input_tokens = response.usage.prompt_tokens
output_tokens = response.usage.completion_tokens
total_tokens = response.usage.total_tokens
print(f"Response ({output_tokens} tokens): {text}")
print(f"Total tokens consumed: {total_tokens}")
Nuo pat pirmos dienos atkreipkite didelį dėmesį į lauką usage. Jo registravimas kiekvieno kvietimo metu tiksliai parodo, kuri jūsų programos funkcija „sudegina“ biudžetą, nereikia atvirkštinės inžinerijos būdu analizuoti sąskaitos mėnesio pabaigoje.
Kalbant apie finish_reason, jis nurodo, kodėl modelis sustojo, ir gali įgyti vieną iš šių reikšmių:
stop: modelis natūraliai baigė savo atsakymąlength: atsakymas buvo nutrauktas, nes pasiekėmax_tokensribąmodel_length: bendras kontekstas (įvestis + išvestis) pasiekė modelio ribą
Atsakymas, besibaigiantis sakinio viduryje, nėra modelio klaida: tai finish_reason reikšmė length, kurios niekas nepatikrino. Visada patikrinkite tai, prieš darydami išvadą, kad yra kokybės problema.
Modelio elgsenos koregavimas
Trys papildomi parametrai leidžia nukreipti generavimą:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": "Propose three names for an educational AI startup."
}
],
temperature=0.7,
max_tokens=500,
top_p=0.95,
)
Temperature valdo modelio laisvės laipsnį. Esant 0.0, atsakymai yra deterministiniai: tas pats raginimas visada sukuria tą patį tekstą, ko ir norite ekstrakcijos ar klasifikavimo atveju. Tarp 0.3 ir 0.5 gaunate gerą pusiausvyrą faktiniams uždaviniams. Tarp 0.7 ir 1.0 atsakymai tampa kūrybiškesni ir įvairesni – tai diapazonas, naudojamas aukščiau pateiktame pavyzdyje, nes prašome sugalvoti pavadinimų idėjas, ir būtų beprasmiška tris kartus matyti tą pačią idėją. Viršijus 1.0, generavimas tampa labai atsitiktinis ir retai turi praktinės naudos.
max_tokens nustato atsakymo ilgio ribą, kas padeda kontroliuoti išlaidas ir išlaikyti išvestį valdomą. Tiesiog atminkite, kad jei modelis bus nutrauktas, finish_reason bus "length". top_p veikia įvairovę kitokiu mechanizmu: jis atfiltruoja mažiausiai tikėtinus tokenus. Reikšmė 0.95 reiškia, kad modelis svarsto tik tuos tokenus, kurie sudaro 95 % kaupiamosios tikimybės.
Gamtai pritaikytas kvietimas
Realiose sąlygose tinklas gali nutrūkti, raktai gali nebegalioti, o kvotos – išsekti. Visada apgaubkite savo kvietimus klaidų apdorojimu:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
try:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "What is the capital of France?"}
],
max_tokens=100,
)
text = response.choices[0].message.content
print(f"Response: {text}")
print(f"Tokens used: {response.usage.total_tokens}")
except Exception as e:
print(f"API call error: {e}")
Naudokite šį karkasą savo eksperimentams, tiesiog pakeisdami žinutės turinį. Tai yra atspirties taškas viskam, kas seka šiame kurse.
Svarbiausi punktai
client.chat.complete()yra pagrindinis metodas sąveikai su modeliais- Atsakymo tekstas yra
response.choices[0].message.content response.usagenurodo, kiek tokenų buvo sunaudota (naudinga išlaidų stebėjimui)temperaturevaldo kūrybiškumą;max_tokensriboja ilgį- Pradėkite nuo
mistral-small-latest: jis greitas, ekonomiškas ir našus