Първото ви API обаждане с Python
На тази страница
Първият ви обмен с модел на Mistral
SDK е инсталиран и вашият API ключ е готов: време е да изпратите реална заявка и, което е по-важно, да разберете какво се връща като отговор. Много разработчици спират до първия ред на отговора и игнорират останалата част от върнатия обект. Това е грешка, защото проследяването на разходите и диагностиката на съкратени отговори се намират точно в тези останали данни. Ще започнем с минимален код и постепенно ще стигнем до пълната структура.
Инициализиране на клиента
Клиентът е входната точка за всички ваши взаимодействия с API:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
Той управлява HTTP връзките, повторните опити при мрежови грешки и сериализацията на заявките. Инстанцирайте го веднъж при стартиране на приложението. Създаването на нов клиент за всяко обаждане ви кара да плащате ненужно за настройка на връзката и е една от най-коварните причини за прекомерна латентност.
Изпращане на заявка с chat.complete()
Най-често ще използвате метода chat.complete(). Той изпраща вашите съобщения и изчаква пълния отговор на модела, преди да върне контрола:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": "Explain the concept of tokenization in three sentences."
}
]
)
print(response.choices[0].message.content)
Тук са достатъчни два параметъра. model определя ID на модела: mistral-small-latest винаги сочи към най-новата версия на Mistral Small, което го прави естествения избор за начало, тъй като е бърз и икономичен. messages очаква списък от структурирани съобщения, всяко от които има role – system, user или assistant – и поле content, съдържащо текста. Тази структура може да изглежда тежка за един единствен въпрос, но има перфектен смисъл, щом стигнете до урока за разговорите в няколко тура.
Четене на върнатия обект
Обектът response съдържа много повече от просто генерирания текст:
# Response text
text = response.choices[0].message.content
# Role (always "assistant" for a response)
role = response.choices[0].message.role
# Stop reason
finish = response.choices[0].finish_reason # "stop", "length", etc.
# Token statistics
input_tokens = response.usage.prompt_tokens
output_tokens = response.usage.completion_tokens
total_tokens = response.usage.total_tokens
print(f"Response ({output_tokens} tokens): {text}")
print(f"Total tokens consumed: {total_tokens}")
Обърнете специално внимание на полето usage още от първия ден. Регистрирането му при всяко обаждане ви казва точно коя функция на вашето приложение изразходва бюджета ви, без да се налага да анализирате обратното сметката си в края на месеца.
Що се отнася до finish_reason, то показва защо моделът е спрял и приема една от следните стойности:
stop: моделът е завършил отговора си естественоlength: отговорът е бил съкратен, защото е достигналmax_tokensmodel_length: общият контекст (вход + изход) е достигнал лимита на модела
Отговор, който завършва по средата на изречението, не е бъг на модела: това е finish_reason със стойност length, който никой не е проверил. Винаги проверявайте това, преди да заключите, че има проблем с качеството.
Коригиране на поведението на модела
Три допълнителни параметъра ви позволяват да насочвате генерирането:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": "Propose three names for an educational AI startup."
}
],
temperature=0.7,
max_tokens=500,
top_p=0.95,
)
Temperature контролира степента на свобода на модела. При 0.0 отговорите са детерминирани: една и съща подкана винаги произвежда един и същи текст, което е желателно за извличане или класификация. Между 0.3 и 0.5 получавате добър баланс за фактологични задачи. Между 0.7 и 1.0 отговорите стават по-креативни и разнообразни – това е диапазонът, използван в горния пример, тъй като искаме идеи за имена и няма смисъл да виждаме една и съща идея три пъти. Над 1.0 генерирането става силно случайно и рядко има практическа полза.
max_tokens ограничава дължината на отговора, което помага за контрол на разходите и поддържа изходите управляеми. Просто помнете, че ако моделът бъде прекъснат, finish_reason ще бъде "length". top_p влияе на разнообразието чрез различен механизъм: той филтрира най-малко вероятните токени. Стойност от 0.95 означава, че моделът разглежда само токени, представляващи 95% от кумулативната вероятност.
Обаждане, готово за продукция
В реални условия мрежата прекъсва, ключовете изтичат, а квотите се запълват. Винаги обгръщайте вашите обаждания в обработка на грешки:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
try:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "What is the capital of France?"}
],
max_tokens=100,
)
text = response.choices[0].message.content
print(f"Response: {text}")
print(f"Tokens used: {response.usage.total_tokens}")
except Exception as e:
print(f"API call error: {e}")
Използвайте този скелет за собствените си експерименти, като просто замените съдържанието на съобщението. Това е отправната точка за всичко, което следва в този курс.
Ключови изводи
client.chat.complete()е основният метод за взаимодействие с моделите- Текстът на отговора се намира в
response.choices[0].message.content response.usageви информира колко токена са използвани (полезно за проследяване на разходите)temperatureконтролира креативността;max_tokensограничава дължината- Започнете с
mistral-small-latest: той е бърз, икономичен и производителен