Tvoj prvi API poziv u Pythonu
Na ovoj stranici
Tvoja prva razmjena s Mistral modelom
SDK je instaliran, a tvoj API ključ spreman: vrijeme je da pošalješ stvarni zahtjev i, što je još važnije, razumiješ što dobivaš zauzvrat. Mnogi programeri stanu na prvom retku odgovora i ignoriraju ostatak vraćenog objekta. To je greška jer praćenje troškova i dijagnostika odsječenih odgovora nalaze se upravo u tom preostalom dijelu podataka. Počet ćemo s minimalnim kodom i postupno doći do pune strukture.
Inicijalizacija klijenta
Klijent je ulazna točka za sve tvoje interakcije s API-jem:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
On upravlja HTTP vezama, ponovnim pokušajima kod mrežnih pogrešaka i serializacijom zahtjeva. Instanciraj ga jednom pri pokretanju aplikacije. Ponovno kreiranje klijenta za svaki poziv prisiljava te da nepotrebno plaćaš postavku veze i jedan je od najpodmuklijih uzroka prekomjerne latencije.
Slanje zahtjeva s chat.complete()
Najčešće ćeš koristiti metodu chat.complete(). Ona šalje tvoje poruke i čeka potpuni odgovor modela prije nego što vrati kontrolu:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": "Objasni koncept tokenizacije u tri rečenice."
}
]
)
print(response.choices[0].message.content)
Ovdje su dovoljna dva parametra. model specificira ID modela: mistral-small-latest uvijek pokazuje na najnoviju verziju Mistral Smalla, što ga čini prirodnim izborom za početak jer je brz i ekonomičan. messages očekuje popis strukturiranih poruka, od kojih svaka ima role – system, user ili assistant – i polje content koje sadrži tekst. Ova struktura može se činiti preglomaznom za jedno pitanje, ali ima savršenog smisla čim dođeš do lekcije o razgovorima s više okreta.
Čitanje vraćenog objekta
Objekt response sadrži mnogo više od samo generiranog teksta:
# Tekst odgovora
text = response.choices[0].message.content
# Uloga (uvijek "assistant" za odgovor)
role = response.choices[0].message.role
# Razlog zaustavljanja
finish = response.choices[0].finish_reason # "stop", "length", itd.
# Statistika tokena
input_tokens = response.usage.prompt_tokens
output_tokens = response.usage.completion_tokens
total_tokens = response.usage.total_tokens
print(f"Odgovor ({output_tokens} tokena): {text}")
print(f"Ukupno utrošenih tokena: {total_tokens}")
Od samog početka obrati posebnu pozornost polju usage. Bilježenjem ovog podatka pri svakom pozivu točno znaš koja značajka tvoje aplikacije troši tvoj budžet, bez potrebe da na kraju mjeseca rekonstruiraš svoj račun.
Što se tiče finish_reason, on označava zašto se model zaustavio i poprima jednu od ovih vrijednosti:
stop: model je prirodno završio svoj odgovorlength: odgovor je odsječen jer je dosegnuomax_tokensmodel_length: ukupni kontekst (ulaz + izlaz) dosegnuo je ograničenje modela
Odgovor koji završi usred rečenice nije greška modela: to je finish_reason vrijednost length koju nitko nije provjerio. Uvijek to provjeri prije nego što zaključiš da postoji problem s kvalitetom.
Prilagodba ponašanja modela
Tri dodatna parametra omogućuju ti usmjeravanje generiranja:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": "Predloži tri imena za startup za obrazovnu umjetnu inteligenciju."
}
],
temperature=0.7,
max_tokens=500,
top_p=0.95,
)
Temperature kontrolira stupanj slobode modela. Pri 0.0, odgovori su deterministički: isti upit uvijek proizvodi isti tekst, što želiš za ekstrakciju ili klasifikaciju. Između 0.3 i 0.5 dobivaš dobru ravnotežu za činjenične zadatke. Između 0.7 i 1.0, odgovori postaju kreativniji i raznovrsniji – to je raspon korišten u gornjem primjeru jer tražimo ideje za imena, a vidjeti istu ideju tri puta bilo bi besmisleno. Iznad 1.0, generiranje postaje izrazito nasumično i rijetko ima praktičnu korisnost.
max_tokens ograničava duljinu odgovora, što pomaže u kontroli troškova i održava izlaze upravljivima. Samo imaj na umu da ako se model odsječe, finish_reason bit će "length". top_p utječe na raznolikost kroz drugačiji mehanizam: filtrira najmanje vjerojatne tokene. Vrijednost od 0.95 znači da model razmatra samo tokene koji predstavljaju 95 % kumulativne vjerojatnosti.
Poziv spreman za produkciju
U stvarnim uvjetima mreža puca, ključevi istječu, a kvote se popunjavaju. Uvijek omotaj svoje pozive u obradu pogrešaka:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
try:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "Koji je glavni grad Francuske?"}
],
max_tokens=100,
)
text = response.choices[0].message.content
print(f"Odgovor: {text}")
print(f"Utrošeni tokeni: {response.usage.total_tokens}")
except Exception as e:
print(f"Pogreška API poziva: {e}")
Koristi ovaj kostur za vlastite eksperimente jednostavnom zamjenom sadržaja poruke. To je polazište za sve što slijedi u ovom tečaju.
Ključne točke
client.chat.complete()je primarna metoda za interakciju s modelima- Tekst odgovora nalazi se u
response.choices[0].message.content response.usagegovori ti koliko je tokena utrošeno (korisno za praćenje troškova)temperaturekontrolira kreativnost;max_tokensograničava duljinu- Započni s
mistral-small-latest: brz je, ekonomičan i performantan