Snowflake, IBM watsonx и Outscale
На тази страница
Три допълващи се платформи
В допълнение към големите хиперскейлъри (Azure, GCP, AWS), Mistral е достъпен на още три платформи, които отговарят на специфични нужди: Snowflake Cortex за екипи, работещи с данни, IBM watsonx за предприятия в регулирани сектори и Outscale за европейски суверенитет на данните. Никоя от тях не цели да замени платформите с общо предназначение; вместо това всяка от тях блести в конкретен сценарий. Този урок Ви предоставя ясен преглед и на трите.
Snowflake Cortex
Snowflake Cortex вгражда AI модели директно в платформата Snowflake. Основното ѝ предимство може да се обобщи в едно изречение: извиквате Mistral директно от SQL заявките си, без никога да изнасяте данни извън Snowflake. Налични са два модела: Mistral Large 2 под идентификатора mistral-large2 за разширено логическо мислене и Mistral 7B – лека сървърна опция. Предпоставките включват акаунт в Snowflake в регион, съвместим с Cortex, и активирана роля CORTEX_USER.
Най-елегантната интеграция е чисто SQL извикване:
-- Директно извикване в рамките на SQL заявка
SELECT SNOWFLAKE.CORTEX.COMPLETE(
'mistral-large2',
'Summarize the main trends in this dataset.'
) AS summary;
Истинската стойност се проявява, когато комбинирате модела със съществуващите си таблици. Представете си таблица reviews, съдържаща милиони потребителски отзиви: вместо да пишете скрипт за експорт, да изграждате пайплайн за API извиквания и да реимпортирате резултатите, можете да генерирате колона за настроението с една единствена заявка.
-- Анализ на всеки ред в таблица
SELECT
id,
description,
SNOWFLAKE.CORTEX.COMPLETE(
'mistral-large2',
CONCAT('Classify this text (positive/negative/neutral): ', description)
) AS sentiment
FROM reviews
LIMIT 100;
LIMIT 100 в този пример не е просто декорация: винаги започвайте с извадка, за да оцените разходите и да проверите форматите на отговорите, преди да стартирате обработка върху цялата таблица. Същата логика е достъпна и чрез Python с помощта на Snowpark, което Ви позволява да интегрирате извикванията в съществуващ пайплайн:
from snowflake.cortex import Complete
# Просто извикване
completion = Complete(
model="mistral-large2",
prompt="What are Snowflake's advantages for AI?"
)
print(completion)
Cortex блести при мащабна класификация на текст, обогатяване на данни директно в SQL пайплайни, генериране на обобщения върху масивни набори от данни и извършване на анализ на настроението, без никога да се изнасят данни.
IBM watsonx.ai
IBM watsonx.ai е корпоративната AI платформа на IBM, проектирана за регулирани индустрии като банкиране, застраховане и здравеопазване. Моделите на Mistral, включително Mistral Large, са достъпни както като SaaS, така и on-premise, което ги прави силен избор, когато вътрешните одити забраняват изпращането на данни до публични облачни услуги. Достъпът изисква IBM watsonx проект (IBM_CLOUD_PROJECT_ID), Service ID с достъп до Watson Machine Learning и роля EDITOR, както и API ключ за IBM Cloud (IBM_CLOUD_API_KEY).
Избраният от Вас регион определя URL адреса на крайната точка (endpoint), който предавате на клиента:
| Регион | Код |
|---|---|
| Dallas | us-south |
| London | eu-gb |
| Frankfurt | eu-de |
| Tokyo | jp-tok |
Инсталацията включва три пакета:
pip install httpx ibm-watsonx-ai mistral-common
Третият пакет заслужава специално внимание. Пакетът mistral-common е от съществено значение за правилното форматиране на подканите (prompts). Без него токенизаторът може да доведе до тихи грешки – отговори, които изглеждат правдоподобни, но се базират на неправилно токенизирани подкани. Това е най-лошият сценарий, тъй като нищо не сигнализира, че съществува проблем.
След като удостоверителните данни са налице, самото извикване остава просто:
from ibm_watsonx_ai.foundation_models import ModelInference
import os
model = ModelInference(
model_id="mistralai/mistral-large",
credentials={
"url": "https://eu-de.ml.cloud.ibm.com",
"apikey": os.environ["IBM_CLOUD_API_KEY"]
},
project_id=os.environ["IBM_CLOUD_PROJECT_ID"]
)
response = model.generate_text(
prompt="What are the GDPR requirements for AI data processing?"
)
print(response)
Избягвайте изпращането на сурови низове: използвайте токенизатора на Mistral, за да предотвратите споменатите по-рано тихи грешки при токенизация.
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from mistral_common.protocol.instruct.messages import UserMessage
from mistral_common.protocol.instruct.request import ChatCompletionRequest
tokenizer = MistralTokenizer.from_model("mistral-large-latest")
request = ChatCompletionRequest(
messages=[UserMessage(content="Your prompt here")]
)
tokens = tokenizer.encode_chat_completion(request)
Outscale
Outscale е европейски облачен доставчик, дъщерно дружество на Dassault Systèmes. Това е предпочитаният избор за организации, изискващи пълен суверенитет на данните в рамките на Европейския съюз. Налични са три модела: Mistral Small (24.09), Codestral (24.05), специализиран за код, и Ministral 8B (24.10). Разполагането става чрез маркетплейса на Outscale, който доставя виртуална машина с GPU и предварително разположен модел – не е необходимо сами да конфигурирате извода (inference).
Една приятна разлика спрямо предходните две платформи: Outscale работи със стандартния клиент на Mistral, като просто насочите server_url към Вашата инстанция.
import os
from mistralai.client import Mistral
client = Mistral(server_url=os.environ["OUTSCALE_SERVER_URL"])
response = client.chat.complete(
model=os.environ["OUTSCALE_MODEL_NAME"],
messages=[
{"role": "user", "content": "What are the advantages of a European sovereign cloud?"}
],
temperature=0
)
print(response.choices[0].message.content)
Ако сте разположили Codestral, завършването FIM (fill-in-the-middle) работи по същия начин: предоставяте началото и края на кода, а моделът попълва средата. Това е механизмът, стоящ зад асистентите за довършване на код в редакторите.
response = client.fim.complete(
model=os.environ["OUTSCALE_MODEL_NAME"],
prompt="def fibonacci(n: int) -> int:",
suffix="return result"
)
print(response.choices[0].message.content)
Сравнение на трите платформи
| Критерий | Snowflake Cortex | IBM watsonx | Outscale |
|---|---|---|---|
| Целева аудитория | Екипи за данни/SQL | Предприятия в регулирани сектори | ЕС суверенитет |
| Достъп | Native SQL + Python | IBM SDK | Mistral клиент |
| Местоположение на данните | Остава в Snowflake | IBM Cloud | Европейски облак |
| Модели | Large, 7B | Large | Small, Codestral, 8B |
| Съответствие | SOC 2, HIPAA | SOC 2, HIPAA, PCI | SecNumCloud |
Ключови изводи
- Snowflake Cortex – идеален, ако данните Ви вече са в Snowflake; извиквайте AI директно от SQL
- IBM watsonx – платформа за регулирани предприятия; изисква
mistral-commonза форматиране - Outscale – европейски суверенитет; разполагане чрез маркетплейс с предварително конфигуриран GPU
- Всяка платформа има собствен SDK – само Outscale използва стандартния клиент на Mistral