Tvůj první volání API v Pythonu
Na této stránce
Tvá první výměna s modelem Mistral
SDK je nainstalované a tvůj API klíč připravený: je čas poslat skutečný požadavek a co je důležitější, pochopit, co přijde zpět. Mnoho vývojářů se zastaví u prvního řádku odpovědi a ignoruje zbytek vráceného objektu. To je chyba, protože sledování nákladů a diagnostika oříznutých odpovědí se nachází právě v těchto zbývajících datech. Začneme s minimálním kódem a postupně se propracujeme k plné struktuře.
Inicializace klienta
Klient je vstupním bodem pro všechny tvé interakce s API:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
Stará se o HTTP připojení, opakované pokusy při chybách sítě a serializaci požadavků. Vytvoř jeho instanci jednou při spuštění aplikace. Opakované vytváření klienta pro každý požadavek tě nutí zbytečně platit za nastavení připojení a je jednou z nejzákeřnějších příčin nadměrné latence.
Odeslání požadavku pomocí chat.complete()
Nejčastěji budeš používat metodu chat.complete(). Odešle tvé zprávy a počká na úplnou odpověď modelu, než vrátí řízení:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": "Vysvětli koncept tokenizace ve třech větách."
}
]
)
print(response.choices[0].message.content)
Zde stačí dva parametry. model určuje ID modelu: mistral-small-latest vždy odkazuje na nejnovější verzi Mistral Small, což z něj dělá přirozenou volbu pro začátek, protože je rychlý a úsporný. messages očekává seznam strukturovaných zpráv, z nichž každá má role – system, user nebo assistant – a pole content obsahující text. Tato struktura se může pro jednu otázku zdát těžkopádná, ale dává dokonalý smysl, jakmile se dostaneš k lekci o vícekolových konverzacích.
Čtení vráceného objektu
Objekt response obsahuje mnohem více než jen vygenerovaný text:
# Text odpovědi
text = response.choices[0].message.content
# Role (pro odpověď vždy "assistant")
role = response.choices[0].message.role
# Důvod ukončení
finish = response.choices[0].finish_reason # "stop", "length" atd.
# Statistika tokenů
input_tokens = response.usage.prompt_tokens
output_tokens = response.usage.completion_tokens
total_tokens = response.usage.total_tokens
print(f"Odpověď ({output_tokens} tokenů): {text}")
print(f"Celkem spotřebovaných tokenů: {total_tokens}")
Od prvního dne věnuj velkou pozornost poli usage. Jeho logování při každém volání ti přesně řekne, která funkce tvé aplikace spaluje tvůj rozpočet, aniž bys musel na konci měsíce zpětně luštít svůj účet.
Pokud jde o finish_reason, indikuje, proč model přestal, a nabývá jedné z těchto hodnot:
stop: model přirozeně dokončil svou odpověďlength: odpověď byla přerušena, protože dosáhla limitumax_tokensmodel_length: celkový kontext (vstup + výstup) dosáhl limitu modelu
Odpověď, která končí uprostřed věty, není chybou modelu: je to hodnota finish_reason rovna length, kterou nikdo nezkontroloval. Vždy si to ověř, než dojdeš k závěru, že jde o problém s kvalitou.
Úprava chování modelu
Tři další parametry ti umožní řídit generování:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": "Navrhni tři názvy pro vzdělávací startup zaměřený na AI."
}
],
temperature=0.7,
max_tokens=500,
top_p=0.95,
)
Temperature (teplota) řídí míru volnosti modelu. Při hodnotě 0.0 jsou odpovědi deterministické: stejný prompt vždy vytvoří stejný text, což je žádoucí pro extrakci nebo klasifikaci. Mezi 0.3 a 0.5 získáš dobrou rovnováhu pro faktické úkoly. Mezi 0.7 a 1.0 se odpovědi stávají kreativnějšími a rozmanitějšími – to je rozsah použitý v příkladu výše, protože žádáme o nápady na názvy a vidět třikrát stejný nápad by bylo zbytečné. Nad 1.0 se generování stává vysoce náhodným a málokdy má praktické využití.
max_tokens omezuje délku odpovědi, což pomáhá kontrolovat náklady a udržovat výstupy přehledné. Jen pamatuj, že pokud je model přerušen, finish_reason bude "length". top_p ovlivňuje rozmanitost prostřednictvím jiného mechanismu: filtruje nejméně pravděpodobné tokeny. Hodnota 0.95 znamená, že model zvažuje pouze tokeny reprezentující 95 % kumulativní pravděpodobnosti.
Volání připravené pro produkci
V reálných podmínkách síť vypadává, klíče vyprší a kvóty se naplní. Svá volání vždy obal zpracováním chyb:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
try:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "Jaké je hlavní město Francie?"}
],
max_tokens=100,
)
text = response.choices[0].message.content
print(f"Odpověď: {text}")
print(f"Použité tokeny: {response.usage.total_tokens}")
except Exception as e:
print(f"Chyba volání API: {e}")
Použij tuto kostru pro své vlastní experimenty jednoduchou záměnou obsahu zprávy. Je to výchozí bod pro vše, co následuje v tomto kurzu.
Klíčové poznatky
client.chat.complete()je hlavní metoda pro interakci s modely- Text odpovědi je v
response.choices[0].message.content response.usageti řekne, kolik tokenů bylo spotřebováno (užitečné pro sledování nákladů)temperatureřídí kreativitu;max_tokensomezuje délku- Začni s
mistral-small-latest: je rychlý, úsporný a výkonný