Snowflake, IBM watsonx in Outscale
Na tej strani
Tri komplementarne platforme
Poleg velikih ponudnikov oblaka (Azure, GCP, AWS) je Mistral na voljo še na treh dodatnih platformah, ki naslavljajo specifične potrebe: Snowflake Cortex za podatkovne ekipe, IBM watsonx za podjetja v reguliranih panogah in Outscale za evropsko suverenost podatkov. Nobena od teh platform ne namerava nadomestiti splošnih platform; namesto tega vsaka izstopa v določenem scenariju. Ta lekcija ti bo dala jasen pregled vseh treh.
Snowflake Cortex
Snowflake Cortex vgrajuje modele umetne inteligence neposredno v platformo Snowflake. Njegova glavna prednost se skriva v enem stavku: klicati lahko Mistral neposredno iz svojih poizvedb SQL, ne da bi kdaj koli premaknil podatke izven Snowflaka. Na voljo sta dva modela: Mistral Large 2 pod identifikatorjem mistral-large2 za napredno sklepanje in Mistral 7B, lahka strežniška opcija. Predpogoji vključujejo račun Snowflake v regiji, združljivi s Cortexom, in omogočeno vlogo CORTEX_USER.
Najelegantnejša integracija je čisti klic SQL:
-- Neposreden klic znotraj poizvedbe SQL
SELECT SNOWFLAKE.CORTEX.COMPLETE(
'mistral-large2',
'Povzemi glavne trende v tem naboru podatkov.'
) AS summary;
Prava vrednost se pokaže, ko model združiš s svojimi obstoječimi tabelami. Predstavljaj si tabelo reviews, ki vsebuje milijone ocen strank: namesto da bi pisal skripto za izvoz, gradil cevovod za klice API-ja in ponovno uvažal rezultate, v eni sami poizvedbi ustvariš stolpec za sentiment.
-- Analiziraj vsako vrstico v tabeli
SELECT
id,
description,
SNOWFLAKE.CORTEX.COMPLETE(
'mistral-large2',
CONCAT('Razvrsti to besedilo (pozitivno/negativno/nevtralno): ', description)
) AS sentiment
FROM reviews
LIMIT 100;
LIMIT 100 v tem primeru ni okras: vedno začni z vzorcem, da oceniš stroške in preveriš formate odgovorov, preden obdelavo zaženeš na celotni tabeli. Ista logika je dostopna v Pythonu prek Snowparka, kar ti omogoča integracijo klicev v obstoječi cevovod:
from snowflake.cortex import Complete
# Preprost klic
completion = Complete(
model="mistral-large2",
prompt="Kakšne so prednosti Snowflaka za umetno inteligenco?"
)
print(completion)
Cortex odlično opravi obsežno razvrščanje besedil, bogatenje podatkov neposredno znotraj cevovodov SQL, ustvarjanje povzetkov ob ogromnih naborih podatkov in analizo sentimenta brez izvoza podatkov.
IBM watsonx.ai
IBM watsonx.ai je IBM-ova platforma za umetno inteligenco za podjetja, zasnovana za regulirane panoge, kot so bančništvo, zavarovalništvo in zdravstvo. Modeli Mistral, vključno z Mistral Large, so na voljo tako kot SaaS kot tudi lokalno (on-premise), kar to naredi za močno opcijo, ko interne revizije prepovedujejo pošiljanje podatkov v javne storitve oblaka. Dostop zahteva projekt IBM watsonx (IBM_CLOUD_PROJECT_ID), storitveni ID z dostopom do Watson Machine Learning in vlogo EDITOR ter ključ API IBM Cloud (IBM_CLOUD_API_KEY).
Tvoja izbrana regija določa URL končne točke, ki ga posreduješ odjemalcu:
| Regija | Koda |
|---|---|
| Dallas | us-south |
| London | eu-gb |
| Frankfurt | eu-de |
| Tokio | jp-tok |
Namestitev vključuje tri pakete:
pip install httpx ibm-watsonx-ai mistral-common
Tretji paket si zasluži posebno pozornost. Paket mistral-common je bistven za pravilno oblikovanje pozivov. Brez njega lahko tokenizator povzroči tihe napake – odgovore, ki se zdijo verjetni, a temeljijo na nepravilno tokeniziranih pozivih. To je najslabši možni scenarij, ker nič ne signalizira, da obstaja težava.
Ko so poverilnice nastavljene, sam klic ostane preprost:
from ibm_watsonx_ai.foundation_models import ModelInference
import os
model = ModelInference(
model_id="mistralai/mistral-large",
credentials={
"url": "https://eu-de.ml.cloud.ibm.com",
"apikey": os.environ["IBM_CLOUD_API_KEY"]
},
project_id=os.environ["IBM_CLOUD_PROJECT_ID"]
)
response = model.generate_text(
prompt="Kakšne so zahteve GDPR za obdelavo podatkov umetne inteligence?"
)
print(response)
Izogibaj se pošiljanju surovih nizov: uporabi tokenizator Mistral, da preprečiš zgoraj omenjene tihe napake tokenizacije.
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from mistral_common.protocol.instruct.messages import UserMessage
from mistral_common.protocol.instruct.request import ChatCompletionRequest
tokenizer = MistralTokenizer.from_model("mistral-large-latest")
request = ChatCompletionRequest(
messages=[UserMessage(content="Tvoj poziv tukaj")]
)
tokens = tokenizer.encode_chat_completion(request)
Outscale
Outscale je evropski ponudnik oblaka, hčerinska družba podjetja Dassault Systèmes. Je prava izbira za organizacije, ki zahtevajo popolno suverenost podatkov znotraj Evropske unije. Na voljo so trije modeli: Mistral Small (24.09), Codestral (24.05), specializiran za kodo, in Ministral 8B (24.10). Namestitev poteka prek tržnice Outscale, ki dostavi VM z GPU-jem in vnaprej nameščenim modelom – inferenčne nastavitve ne moraš konfigurirati sam.
Prijetna razlika glede na prejšnji dve platformi: Outscale deluje s standardnim odjemalcem Mistral tako, da preprosto usmeriš server_url na svojo instanco.
import os
from mistralai.client import Mistral
client = Mistral(server_url=os.environ["OUTSCALE_SERVER_URL"])
response = client.chat.complete(
model=os.environ["OUTSCALE_MODEL_NAME"],
messages=[
{"role": "user", "content": "Kakšne so prednosti evropskega suverenega oblaka?"}
],
temperature=0
)
print(response.choices[0].message.content)
Če si namestil Codestral, dokončanje FIM (fill-in-the-middle) deluje na enak način: zagotoviš začetek in konec kode, model pa izpolni sredino. To je mehanizem, ki stoji za asistenti za dokončevanje v urejevalnikih kode.
response = client.fim.complete(
model=os.environ["OUTSCALE_MODEL_NAME"],
prompt="def fibonacci(n: int) -> int:",
suffix="return result"
)
print(response.choices[0].message.content)
Primerjava treh platform
| Merilo | Snowflake Cortex | IBM watsonx | Outscale |
|---|---|---|---|
| Ciljna publika | Podatkovne/SQL ekipe | Regulirana podjetja | Suverenost EU |
| Dostop | Izvirni SQL + Python | IBM SDK | Odjemalec Mistral |
| Lokacija podatkov | Ostane v Snowflaku | IBM Cloud | Evropski oblak |
| Modeli | Large, 7B | Large | Small, Codestral, 8B |
| Skladnost | SOC 2, HIPAA | SOC 2, HIPAA, PCI | SecNumCloud |
Ključne ugotovitve
- Snowflake Cortex – idealno, če so tvoji podatki že v Snowflaku; klici AI neposredno iz SQL
- IBM watsonx – platforma za regulirana podjetja; za oblikovanje zahteva
mistral-common - Outscale – evropska suverenost; namestitev prek tržnice z vnaprej konfiguriranim GPU-jem
- Vsaka platforma ima svoj SDK – le Outscale uporablja standardnega odjemalca Mistral