Sinu esimene API-kõne Pythonis
Sellel lehel
Sinu esimene suhtlus Mistrali mudeliga
SDK on paigaldatud ja sinu API-võti valmis: aeg on saata tegelik päring ja, mis veelgi olulisem, mõista, mida vastu saad. Paljud arendajad peatuvad vastuse esimesel real ja ignoreerivad tagastatud objekti ülejäänud osa. See on viga, sest kulude jälgimine ja lühendatud vastuste diagnostika peituvad just selles ülejäänud andmestikus. Alustame minimaalsest koodist ja liigume edasi täieliku struktuuri juurde.
Kliendi initsialiseerimine
Klient on kõigi sinu API-ga suhtlemiste sisenemispunkt:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
See haldab HTTP-ühendusi, korduskatseid võrguvigade korral ja päringute serialiseerimist. Loo see rakenduse käivitamisel ainult üks kord. Kliendi iga kõne jaoks uuesti loomine sunnib sind asjatult maksma ühenduse loomise eest ja on üks peenemaid liigse latentsuse põhjuseid.
Päringu saatmine meetodiga chat.complete()
Kõige sagedamini kasutad meetodit chat.complete(). See saadab sinu sõnumid ja ootab mudeli täielikku vastust enne juhtimise tagastamist:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": "Selgita tokeniseerimise mõistet kolmes lauses."
}
]
)
print(response.choices[0].message.content)
Siin piisab kahest parameetrist. model määrab mudeli ID: mistral-small-latest viitab alati Mistral Smalli uusimale versioonile, muutes selle loomulikuks valikuks alustamiseks, kuna see on kiire ja ökonoomne. messages eeldab struktureeritud sõnumite loendit, millest ühel on role – system, user või assistant – ja content väli, mis sisaldab teksti. See struktuur võib ühe küsimuse jaoks tunduda raske, kuid see saab täiuslikult arusaadavaks, kui jõuad mitme vooruga vestluste tundini.
Tagastatud objekti lugemine
Objekt response sisaldab palju enamat kui ainult genereeritud teksti:
# Vastuse tekst
text = response.choices[0].message.content
# Roll (vastuse puhul alati "assistant")
role = response.choices[0].message.role
# Peatumise põhjus
finish = response.choices[0].finish_reason # "stop", "length" jne
# Tokenite statistika
input_tokens = response.usage.prompt_tokens
output_tokens = response.usage.completion_tokens
total_tokens = response.usage.total_tokens
print(f"Vastus ({output_tokens} tokenit): {text}")
print(f"Tarbitud tokeneid kokku: {total_tokens}")
Pööra algusest peale suurt tähelepanu väljale usage. Selle logimine iga kõne puhul ütleb sulle täpselt, milline sinu rakenduse funktsioon eelarvet kulutab, ilma et peaksid kuu lõpus arvet tagantjärele mõistatama.
Mis puutub finish_reason-i, siis see näitab, miks mudel peatus, ja võtab ühe järgmistest väärtustest:
stop: mudel lõpetas vastuse loomulikul teellength: vastus katkestati, kuna see jõudis piirangunimax_tokensmodel_length: kogu kontekst (sisend + väljund) jõudis mudeli piiranguni
Keset lauset lõppev vastus ei ole mudeli viga: see on kontrollimata jäänud finish_reason väärtusega length. Enne kvaliteediprobleemi järeldamist kontrolli seda alati.
Mudeli käitumise kohandamine
Kolm täiendavat parameetrit võimaldavad sul genereerimist suunata:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": "Paku välja kolm nime haridusliku tehisintellekti idufirmale."
}
],
temperature=0.7,
max_tokens=500,
top_p=0.95,
)
Temperature kontrollib mudeli vabadusastet. Väärtusel 0.0 on vastused deterministlikud: sama vihje annab alati sama teksti, mida soovid ekstraheerimisel või klassifitseerimisel. Vahemikus 0.3 kuni 0.5 saad faktiliste ülesannete jaoks hea tasakaalu. Vahemikus 0.7 kuni 1.0 muutuvad vastused loomingulisemaks ja mitmekesisemaks – see on vahemik, mida ülaltoodud näites kasutati, kuna küsime nimeideid ja sama idee kolm kord nägemine oleks mõttetu. Üle 1.0 muutub genereerimine äärmiselt juhuslikuks ja harva praktilist kasu pakkuvaks.
max_tokens piirab vastuse pikkust, mis aitab kontrollida kulusid ja hoida väljundeid hallatavana. Pea lihtsalt meeles, et kui mudel katkestatakse, on finish_reason väärtuseks "length". top_p mõjutab mitmekesisust teise mehhanismi kaudu: see filtreerib välja vähemtõenäolised tokenid. Väärtus 0.95 tähendab, et mudel arvestab ainult tokeneid, mis moodustavad 95% kumulatiivsest tõenäosusest.
Tootmiskeskkonda sobiv kõne
Reaalsetes tingimustes katkeb võrk, aeguvad võtmed ja täituvad kvoodid. Mähi oma kõned alati veakäitlusesse:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
try:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "Mis on Prantsusmaa pealinn?"}
],
max_tokens=100,
)
text = response.choices[0].message.content
print(f"Vastus: {text}")
print(f"Kasutatud tokeneid: {response.usage.total_tokens}")
except Exception as e:
print(f"API-kõne viga: {e}")
Kasuta seda skeletti oma katsetuste jaoks, asendades lihtsalt sõnumi sisu. See on lähtepunktiks kõigele, mis selles kursuses edasi tuleb.
Peamised punktid
client.chat.complete()on peamine meetod mudelitega suhtlemiseks- Vastuse tekst asub aadressil
response.choices[0].message.content response.usageütleb, kui palju tokeneid tarbiti (kasulik kulude jälgimiseks)temperaturekontrollib loovust;max_tokenspiirab pikkust- Alusta
mistral-small-latest-ist: see on kiire, ökonoomne ja jõudluslik