Twoje pierwsze wywołanie API w Pythonie
Na tej stronie
Twoja pierwsza wymiana danych z modelem Mistral
SDK jest zainstalowane, a Twój klucz API gotowy: czas wysłać prawdziwe żądanie i, co ważniejsze, zrozumieć, co otrzymasz w odpowiedzi. Wielu deweloperów poprzestaje na pierwszej linijce odpowiedzi i ignoruje resztę zwracanego obiektu. To błąd, ponieważ śledzenie kosztów i diagnostyka uciętych odpowiedzi kryją się właśnie w tych pozostałych danych. Zacznijmy od minimalnego kodu i stopniowo przejdźmy do pełnej struktury.
Inicjalizacja klienta
Klient jest punktem wejścia dla wszystkich Twoich interakcji z API:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
Zarządza on połączeniami HTTP, ponawia próby w przypadku błędów sieciowych i serializuje żądania. Utwórz jego instancję raz podczas uruchamiania aplikacji. Ponowne tworzenie klienta dla każdego wywołania zmusza Cię do niepotrzebnego płacenia za nawiązywanie połączenia i jest jedną z najbardziej podstępnych przyczyn nadmiernych opóźnień.
Wysyłanie żądania za pomocą chat.complete()
Najczęściej będziesz używać metody chat.complete(). Wysyła ona Twoje wiadomości i czeka na pełną odpowiedź modelu, zanim zwróci sterowanie:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": "Wyjaśnij koncepcję tokenizacji w trzech zdaniach."
}
]
)
print(response.choices[0].message.content)
Tutaj wystarczą dwa parametry. model określa identyfikator modelu: mistral-small-latest zawsze wskazuje na najnowszą wersję Mistral Small, co czyni go naturalnym wyborem na start, ponieważ jest szybki i ekonomiczny. messages oczekuje listy ustrukturyzowanych wiadomości, z których każda posiada role – system, user lub assistant – oraz pole content zawierające tekst. Ta struktura może wydawać się ciężka w przypadku pojedynczego pytania, ale nabiera pełnego sensu, gdy dojdziesz do lekcji o rozmowach wieloturowych.
Odczyt zwracanego obiektu
Obiekt response zawiera znacznie więcej niż tylko wygenerowany tekst:
# Tekst odpowiedzi
text = response.choices[0].message.content
# Rola (zawsze "assistant" dla odpowiedzi)
role = response.choices[0].message.role
# Powód zatrzymania
finish = response.choices[0].finish_reason # "stop", "length" itp.
# Statystyki tokenów
input_tokens = response.usage.prompt_tokens
output_tokens = response.usage.completion_tokens
total_tokens = response.usage.total_tokens
print(f"Odpowiedź ({output_tokens} tokenów): {text}")
print(f"Łączna liczba zużytych tokenów: {total_tokens}")
Zwracaj szczególną uwagę na pole usage od samego początku. Logowanie go przy każdym wywołaniu mówi Ci dokładnie, która funkcja Twojej aplikacji „przepala“ budżet, bez konieczności odwrotnego inżynierowania rachunku na koniec miesiąca.
Jeśli chodzi o finish_reason, wskazuje ono, dlaczego model się zatrzymał, i przyjmuje jedną z następujących wartości:
stop: model naturalnie zakończył swoją odpowiedźlength: odpowiedź została ucięta, ponieważ osiągnięto limitmax_tokensmodel_length: całkowity kontekst (wejście + wyjście) osiągnął limit modelu
Odpowiedź urywająca się w połowie zdania nie jest błędem modelu: to finish_reason o wartości length, którego nikt nie sprawdził. Zawsze weryfikuj to, zanim stwierdzisz problem z jakością.
Dostosowanie zachowania modelu
Trzy dodatkowe parametry pozwalają sterować generowaniem:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": "Zaproponuj trzy nazwy dla startupu edukacyjnego AI."
}
],
temperature=0.7,
max_tokens=500,
top_p=0.95,
)
Temperature kontroluje stopień swobody modelu. Przy wartości 0.0 odpowiedzi są deterministyczne: to samo polecenie zawsze generuje ten sam tekst, co jest pożądane przy ekstrakcji lub klasyfikacji. Między 0.3 a 0.5 uzyskujesz dobry balans dla zadań faktograficznych. Między 0.7 a 1.0 odpowiedzi stają się bardziej kreatywne i zróżnicowane – jest to zakres użyty w powyższym przykładzie, ponieważ prosimy o pomysły na nazwy i widzenie trzykrotnie tego samego pomysłu byłoby bezcelowe. Powyżej 1.0 generowanie staje się wysoce losowe i rzadko ma praktyczne zastosowanie.
max_tokens ogranicza długość odpowiedzi, co pomaga kontrolować koszty i utrzymać wyniki w rozsądnych granicach. Pamiętaj tylko, że jeśli model zostanie ucięty, finish_reason będzie miało wartość "length". top_p wpływa na różnorodność za pomocą innego mechanizmu: filtruje najmniej prawdopodobne tokeny. Wartość 0.95 oznacza, że model bierze pod uwagę tylko tokeny reprezentujące 95% skumulowanego prawdopodobieństwa.
Wywołanie gotowe do środowiska produkcyjnego
W rzeczywistych warunkach sieć pada, klucze wygasają, a limity się wyczerpują. Zawsze opakowuj swoje wywołania w obsługę błędów:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
try:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "Jaka jest stolica Francji?"}
],
max_tokens=100,
)
text = response.choices[0].message.content
print(f"Odpowiedź: {text}")
print(f"Zużyte tokeny: {response.usage.total_tokens}")
except Exception as e:
print(f"Błąd wywołania API: {e}")
Użyj tego szkieletu do własnych eksperymentów, po prostu podmieniając treść wiadomości. To punkt wyjścia dla wszystkiego, co następuje w tym kursie.
Kluczowe wnioski
client.chat.complete()to główna metoda interakcji z modelami- Tekst odpowiedzi znajduje się w
response.choices[0].message.content response.usageinformuje, ile tokenów zostało zużytych (przydatne do śledzenia kosztów)temperaturekontroluje kreatywność;max_tokensogranicza długość- Zacznij od
mistral-small-latest: jest szybki, ekonomiczny i wydajny