Első API-hívásod Pythonban
Ezen az oldalon
Első kommunikációd egy Mistral modellel
Az SDK telepítve van, az API-kulcsod pedig készen áll: itt az idő egy valódi kérés elküldésére, és ami még fontosabb, a válasz megértésére. Sok fejlesztő megáll a válasz első soránál, és figyelmen kívül hagyja a visszakapott objektum többi részét. Ez hiba, mert a költségek nyomon követése és a csonkolt válaszok diagnosztikája pontosan ebben a maradék adatban rejlik. Minimális kóddal indulunk, és lépésről lépésre építjük fel a teljes struktúrát.
A kliens inicializálása
A kliens minden API-val való interakciód belépési pontja:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
Ez kezeli a HTTP-kapcsolatokat, a hálózati hibák miatti újrapróbálkozásokat és a kérések szerializálását. A példányosítást egyszer végezd el az alkalmazás indításakor. Ha minden híváshoz újra létrehozod a klienst, feleslegesen fizetsz a kapcsolatfelépítésért, ami a túlzott késleltetés egyik legfinomabb oka.
Kérés küldése a chat.complete() metódussal
A legtöbb esetben a chat.complete() metódust fogod használni. Ez elküldi az üzeneteidet, és megvárja a modell teljes válaszát, mielőtt visszaadná az irányítást:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": "Három mondatban magyarázd el a tokenizálás fogalmát."
}
]
)
print(response.choices[0].message.content)
Itt két paraméter is elég. A model megadja a modell azonosítóját: a mistral-small-latest mindig a Mistral Small legfrissebb verziójára mutat, így ez a természetes választás a kezdéshez, mivel gyors és gazdaságos. A messages paraméter strukturált üzenetek listáját várja, amelyek mindegyike rendelkezik egy role („system“, „user“ vagy „assistant“) és egy szöveget tartalmazó content mezővel. Ez a struktúra egyetlen kérdés esetén túlzottnak tűnhet, de teljesen logikussá válik, amikor elérsz a többfordulós beszélgetésekről szóló leckéhez.
A visszakapott objektum olvasása
A response objektum sokkal többet tartalmaz, mint csupán a generált szöveget:
# Válasz szövege
text = response.choices[0].message.content
# Szerep (válasz esetén mindig "assistant")
role = response.choices[0].message.role
# Leállási ok
finish = response.choices[0].finish_reason # "stop", "length" stb.
# Token statisztikák
input_tokens = response.usage.prompt_tokens
output_tokens = response.usage.completion_tokens
total_tokens = response.usage.total_tokens
print(f"Válasz ({output_tokens} token): {text}")
print(f"Összes felhasznált token: {total_tokens}")
Már az első naptól kezdve fordíts nagy figyelmet a usage mezőre. Ha minden hívásnál naplózod, pontosan látni fogod, melyik alkalmazásfunkció égeti a költségkeretedet anélkül, hogy a hónap végén visszafejtenéd a számládat.
A finish_reason azt jelzi, miért állt le a modell, és az alábbi értékek egyikét veheti fel:
stop: a modell természetesen befejezte a választlength: a válasz le lett vágva, mert elérte amax_tokenslimitetmodel_length: a teljes kontextus (bemenet + kimenet) elérte a modell limitjét
Ha egy válasz mondat közben szakad meg, az nem modellhiba: hanem egy length típusú finish_reason, amit senki sem ellenőrzött. Mielőtt minőségi problémára következtetnél, mindig ellenőrizd ezt.
A modell viselkedésének hangolása
Három további paraméterrel irányíthatod a generálást:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": "Javasolj három nevet egy oktatási AI startupnak."
}
],
temperature=0.7,
max_tokens=500,
top_p=0.95,
)
A Temperature (hőmérséklet) a modell szabadságfokát szabályozza. 0.0 értéknél a válaszok determinisztikusak: ugyanaz a prompt mindig ugyanazt a szöveget produces, ami kinyeréshez vagy osztályozáshoz szükséges. 0.3 és 0.5 között jó egyensúlyt kapsz tényalapú feladatokhoz. 0.7 és 1.0 között a válaszok kreatívabbá és változatosabbá válnak – ezt a tartományt használtuk a fenti példában is, mivel neveket keresünk, és felesleges lenne háromszor ugyanazt az ötletet látni. 1.0 felett a generálás erősen véletlenszerűvé válik, és ritkán van gyakorlati haszna.
A max_tokens korlátozza a válasz hosszát, ami segít a költségek kordában tartásában és a kimenetek kezelhető szinten tartásában. Ne feledd: ha a modell le van vágva, a finish_reason értéke "length" lesz. A top_p egy másik mechanizmuson keresztül befolyásolja a változatosságot: kiszűri a legkevésbé valószínű tokeneket. A 0.95 érték azt jelenti, hogy a modell csak azokat a tokeneket veszi figyelembe, amelyek a kumulatív valószínűség 95%-át képviselik.
Éles környezetben is működő hívás
Valós körülmények között a hálózat leáll, a kulcsok lejárnak, és a kvóták betelnek. Mindig láss el hibakezeléssel minden hívást:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
try:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "Mi Franciaország fővárosa?"}
],
max_tokens=100,
)
text = response.choices[0].message.content
print(f"Válasz: {text}")
print(f"Felhasznált tokenek: {response.usage.total_tokens}")
except Exception as e:
print(f"API-hívási hiba: {e}")
Használd ezt a vázat saját kísérleteidhez, egyszerűen cseréld le az üzenet tartalmát. Ez a kiindulópontja mindannak, ami ezután következik ebben a tanfolyamban.
Főbb megállapítások
- A
client.chat.complete()a modellekkel való kommunikáció elsődleges metódusa - A válasz szövege a
response.choices[0].message.contentmezőben található - A
response.usagemegmutatja, hány tokent használtál fel (hasznos a költségek nyomon követéséhez) - A
temperaturea kreativitást szabályozza; amax_tokenskorlátozza a hosszt - Kezdésnek a
mistral-small-latestmodellt válaszd: gyors, gazdaságos és teljesítményorientált