Snowflake, IBM watsonx ir Outscale
Šiame puslapyje
Trys papildomos platformos
Be didžiųjų debesijos tiekėjų („Azure“, „GCP“, „AWS“), „Mistral“ veikia dar trijose platformose, skirtose specifiniams poreikiams: Snowflake Cortex – duomenų komandoms, IBM watsonx – reguliuojamoms įmonėms ir Outscale – Europos duomenų suverenumui. Nė viena iš jų nesiekia pakeisti bendrosios paskirties platformų; kiekviena puikiai tinka konkrečiam scenarijui. Šioje pamokoje gausi aiškią visų trijų apžvalgą.
Snowflake Cortex
„Snowflake Cortex“ integruoja DI modelius tiesiai į „Snowflake“ platformą. Pagrindinis privalumas telpa į vieną sakinį: kvieti „Mistral“ tiesiai iš savo SQL užklausų niekada neiškeldamas duomenų iš „Snowflake“. Galimi du modeliai: „Mistral Large 2“ su identifikatoriumi mistral-large2 sudėtingam samprotavimui ir „Mistral 7B“ – lengvas serverinis variantas. Būtinos sąlygos: „Snowflake“ paskyra regione, suderinamame su „Cortex“, ir įgalintas CORTEX_USER vaidmuo.
Elegantiškiausia integracija – grynas SQL kvietimas:
-- Tiesioginis kvietimas SQL užklausoje
SELECT SNOWFLAKE.CORTEX.COMPLETE(
'mistral-large2',
'Summarize the main trends in this dataset.'
) AS summary;
Tikroji vertė atsiskleidžia derinant modelį su esamomis lentelėmis. Įsivaizduok lentelę reviews, kurioje yra milijonai klientų atsiliepimų: vietoj eksporto scenarijaus rašymo, API kvietimų grandinės kūrimo ir rezultatų reimportavimo, viena užklausa sugeneruoji nuotaikos stulpelį.
-- Analizuok kiekvieną lentelės eilutę
SELECT
id,
description,
SNOWFLAKE.CORTEX.COMPLETE(
'mistral-large2',
CONCAT('Classify this text (positive/negative/neutral): ', description)
) AS sentiment
FROM reviews
LIMIT 100;
Šiame pavyzdyje LIMIT 100 nėra dekoracija: visada pradėk nuo imties, kad įvertintum išlaidas ir patikrintum atsakymų formatus prieš apdorodamas visą lentelę. Ta pati logika pasiekiama Python kalba per „Snowpark“, leidžianti integruoti kvietimus į esamą duomenų srautą:
from snowflake.cortex import Complete
# Paprastas kvietimas
completion = Complete(
model="mistral-large2",
prompt="What are Snowflake's advantages for AI?"
)
print(completion)
„Cortex“ puikiai tinka didelės apimties teksto klasifikavimui, duomenų praturtinimui tiesiai SQL srautuose, santraukų generavimui dideliems duomenų rinkiniams ir nuotaikų analizei niekada neeksportuojant duomenų.
IBM watsonx.ai
„IBM watsonx.ai“ yra „IBM“ įmonių DI platforma, sukurta reguliuojamoms pramonės šakoms, tokioms kaip bankininkystė, draudimas ir sveikatos priežiūra. „Mistral“ modeliai, įskaitant „Mistral Large“, available tiek kaip SaaS, tiek vietoje (on-premise), todėl tai stiprus pasirinkimas, kai vidiniai auditai draudžia siųsti duomenis į viešas debesijos paslaugas. Prieiga reikalauja „IBM watsonx“ projekto (IBM_CLOUD_PROJECT_ID), paslaugos ID su „Watson Machine Learning“ prieiga ir EDITOR vaidmeniu, bei „IBM Cloud“ API rakto (IBM_CLOUD_API_KEY).
Tavo pasirinktas regionas nulemia galutinio taško URL, kurį perduodi klientui:
| Regionas | Kodas |
|---|---|
| Dallas | us-south |
| London | eu-gb |
| Frankfurt | eu-de |
| Tokyo | jp-tok |
Diegimui reikia trijų paketų:
pip install httpx ibm-watsonx-ai mistral-common
Trečiasis paketas nusipelno ypatingo dėmesio. Paketas mistral-common yra būtinas tinkamam užklausų formatavimui. Be jo, tokenizatorius gali sukelti tylių klaidų – atsakymų, kurie atrodo tikėtini, bet pagrįsti neteisingai sutokenizuotomis užklausomis. Tai худший scenarijus, nes niekas nepraneša apie problemos egzistavimą.
Kai prisijungimo duomenys paruošti, pats kvietimas lieka paprastas:
from ibm_watsonx_ai.foundation_models import ModelInference
import os
model = ModelInference(
model_id="mistralai/mistral-large",
credentials={
"url": "https://eu-de.ml.cloud.ibm.com",
"apikey": os.environ["IBM_CLOUD_API_KEY"]
},
project_id=os.environ["IBM_CLOUD_PROJECT_ID"]
)
response = model.generate_text(
prompt="What are the GDPR requirements for AI data processing?"
)
print(response)
Venk siųsti žalias eilutes: naudok „Mistral“ tokenizatorių, kad išvengtum anksčiau minėtų tylių tokenizavimo klaidų.
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from mistral_common.protocol.instruct.messages import UserMessage
from mistral_common.protocol.instruct.request import ChatCompletionRequest
tokenizer = MistralTokenizer.from_model("mistral-large-latest")
request = ChatCompletionRequest(
messages=[UserMessage(content="Your prompt here")]
)
tokens = tokenizer.encode_chat_completion(request)
Outscale
„Outscale“ yra Europos debesijos tiekėjas, „Dassault Systèmes“ dukterinė įmonė. Tai pagrindinis pasirinkimas organizacijoms, kurioms reikia visiško duomenų suverenumo Europos Sąjungoje. Galimi trys modeliai: „Mistral Small“ (24.09), kodui specializuotas „Codestral“ (24.05) ir „Ministral 8B“ (24.10). Diegimas vyksta per „Outscale“ turgavietę, kuri pateikia VM su GPU ir jau įdiegtu modeliu – tau nereikia pačiam konfigūruoti išvados (inference).
Malonus skirtumas nuo dviejų ankstesnių platformų: „Outscale“ veikia su standartiniu „Mistral“ klientu, tiesiog nukreipus server_url į tavo instanciją.
import os
from mistralai.client import Mistral
client = Mistral(server_url=os.environ["OUTSCALE_SERVER_URL"])
response = client.chat.complete(
model=os.environ["OUTSCALE_MODEL_NAME"],
messages=[
{"role": "user", "content": "What are the advantages of a European sovereign cloud?"}
],
temperature=0
)
print(response.choices[0].message.content)
Jei įdiegei „Codestral“, FIM (fill-in-the-middle) užpildymas veikia taip pat: pateiki kodo pradžią ir pabaigą, o modelis užpildo vidurį. Tai mechanizmas, veikiantis kodų redaktorių užbaigimo asistentus.
response = client.fim.complete(
model=os.environ["OUTSCALE_MODEL_NAME"],
prompt="def fibonacci(n: int) -> int:",
suffix="return result"
)
print(response.choices[0].message.content)
Trijų platformų palyginimas
| Kriterijus | Snowflake Cortex | IBM watsonx | Outscale |
|---|---|---|---|
| Tikslinė auditorija | Duomenų/SQL komandos | Reguliuojamos įmonės | ES suverenumas |
| Prieiga | Gimtoji SQL + Python | IBM SDK | Mistral klientas |
| Duomenų vieta | Lieka „Snowflake“ | „IBM Cloud“ | Europos debesis |
| Modeliai | Large, 7B | Large | Small, Codestral, 8B |
| Atitiktis | SOC 2, HIPAA | SOC 2, HIPAA, PCI | SecNumCloud |
Svarbiausi punktai
- Snowflake Cortex – idealu, jei tavo duomenys jau yra „Snowflake“; kviesk DI tiesiai iš SQL
- IBM watsonx – reguliuojamų įmonių platforma; formatavimui reikia
mistral-common - Outscale – Europos suverenumas; diegimas per turgavietę su sukonfigūruotu GPU
- Kiekviena platforma turi savo SDK – tik „Outscale“ naudoja standartinį „Mistral“ klientą