Tavs pirmais API izsaukums Python valodā
Šajā lapā
Tava pirmā saruna ar Mistral modeli
SDK ir instalēts un tavs API atslēga ir gatava: ir laiks nosūtīt īstu pieprasījumu un, vēl svarīgāk, saprast, kas tiek atgriezts. Daudzi izstrādātāji apstājas pie pirmās atbildes rindas un ignorē pārējo atgrieztā objekta daļu. Tā ir kļūda, jo izmaksu izsekošana un diagnosticēšana apgrieztām atbildēm slēpjas tieši šajos atlikušajos datos. Mēs sāksim ar minimālu kodu un pakāpeniski pāriesim uz pilnu struktūru.
Klienta inicializēšana
Klients ir ieejas punkts visām tavām mijiedarbībām ar API:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
Tas pārvalda HTTP savienojumus, atkārtotus mēģinājumus tīkla kļūdu gadījumā un pieprasījumu serializāciju. Izveido to vienu reizi lietotnes startēšanas brīdī. Klienta izveide katram izsaukumam no jauna liek tev maksāt par savienojuma iestatīšanu nevajadzīgi un ir viens no smalkākajiem pārmērīga latentuma cēloņiem.
Pieprasījuma nosūtīšana, izmantojot chat.complete()
Visbiežāk izmantosi metodi chat.complete(). Tā nosūta tavus ziņojumus un gaida modeļa pilnu atbildi, pirms atgriež kontroli:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": "Explain the concept of tokenization in three sentences."
}
]
)
print(response.choices[0].message.content)
Šeit pietiek ar diviem parametriem. model norāda modeļa ID: mistral-small-latest vienmēr norāda uz jaunāko Mistral Small versiju, padarot to par dabisko izvēli iesācējiem, jo tas ir ātrs un ekonomisks. messages sagaida strukturētu ziņojumu sarakstu, kur katram ir role — system, user vai assistant — un content lauks, kas satur tekstu. Šī struktūra var šķist smaga vienam jautājumam, taču tai ir pilnīga jēga, tiklīdz nonāksi pie nodarbības par daudzpakāpju sarunām.
Atgrieztā objekta nolasīšana
Objekts response satur daudz vairāk nekā tikai ģenerēto tekstu:
# Atbildes teksts
text = response.choices[0].message.content
# Loma (vienmēr "assistant" atbildei)
role = response.choices[0].message.role
# Apturēšanas iemesls
finish = response.choices[0].finish_reason # "stop", "length" utt.
# Tokenu statistika
input_tokens = response.usage.prompt_tokens
output_tokens = response.usage.completion_tokens
total_tokens = response.usage.total_tokens
print(f"Response ({output_tokens} tokens): {text}")
print(f"Total tokens consumed: {total_tokens}")
Pievērs īpašu uzmanību laukam usage jau no pirmās dienas. Tā reģistrēšana katrā izsaukumā precīzi norāda, kura tava lietotnes funkcija „sadzina” tavu budžetu, nevajadzējot veikt reverso inženieriju rēķinam mēneša beigās.
Kas attiecas uz finish_reason, tas norāda, kāpēc modelis apstājās, un pieņem vienu no šīm vērtībām:
stop: modelis dabiski pabeidza savu atbildilength: atbilde tika apgriezta, jo tā sasniedzamax_tokensmodel_length: kopējais konteksts (ievade + izvade) sasniedza modeļa limitu
Atbilde, kas beidzas teikuma vidū, nav modeļa kļūda: tas ir finish_reason ar vērtību length, ko neviens nav pārbaudījis. Vienmēr pārbaudi to, pirms secini, ka pastāv kvalitātes problēma.
Modeļa uzvedības pielāgošana
Trīs papildu parametri ļauj virzīt ģenerēšanu:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": "Propose three names for an educational AI startup."
}
],
temperature=0.7,
max_tokens=500,
top_p=0.95,
)
Temperature kontrolē modeļa brīvības pakāpi. Pie 0.0 atbildes ir deterministiskas: viens un tas pats uzvednis vienmēr rada vienu un to pašu tekstu, kas ir vajadzīgs ekstrakcijai vai klasifikācijai. Robežās no 0.3 līdz 0.5 iegūsti labu līdzsvaru faktoloģiskiem uzdevumiem. Robežās no 0.7 līdz 1.0 atbildes kļūst radošākas un daudzveidīgākas — tas ir diapazons, kas izmantots iepriekšējā piemērā, jo, prasot nosaukumu idejas, būtu bezjēdzīgi trīs reizes redzēt vienu un to pašu ideju. Virs 1.0 ģenerēšana kļūst ļoti nejauša un reti ir praktiski noderīga.
max_tokens ierobežo atbildes garumu, kas palīdz kontrolēt izmaksas un uztur izvades pārvaldāmas. Tikai atceries, ka, ja modelis tiks apgriezts, finish_reason būs "length". top_p ietekmē daudzveidību, izmantojot citu mehānismu: tas filtrē mazāk ticamos tokenus. Vērtība 0.95 nozīmē, ka modelis ņem vērā tikai tokenus, kas veido 95% no kumulatīvās varbūtības.
Izsaukums, kas gatavs ražošanas videi
Reālos apstākļos tīkls pazūd, atslēgas beidzas un kvotas tiek aizpildītas. Vienmēr aptver savus izsaukumus ar kļūdu apstrādi:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
try:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "What is the capital of France?"}
],
max_tokens=100,
)
text = response.choices[0].message.content
print(f"Response: {text}")
print(f"Tokens used: {response.usage.total_tokens}")
except Exception as e:
print(f"API call error: {e}")
Izmanto šo skeletu saviem eksperimentiem, vienkārši nomainot ziņojuma saturu. Tas ir sākumpunkts visam, kas šajā kursā sekos.
Galvenās atziņas
client.chat.complete()ir galvenā metode mijiedarbībai ar modeļiem- Atbildes teksts atrodas
response.choices[0].message.content response.usagenorāda, cik tokeni tika izlietoti (noderīgi izmaksu izsekošanai)temperaturekontrolē radošumu;max_tokensierobežo garumu- Sāc ar
mistral-small-latest: tas ir ātrs, ekonomisks un veiktspējīgs