Valg af din implementeringsstrategi
På denne side
Opsamling og beslutningstræ
Du har nu et komplet overblik over implementeringsmulighederne for Mistral-modeller: AI Studio i serverless, dedikeret eller selvhostet tilstand; tredjepartsskyer inklusive Azure, GCP, AWS, Snowflake, IBM og Outscale; samt selvhosting med vLLM, TensorRT-LLM eller TGI. Den sværeste del mangler stadig, og ingen kan gøre det for dig: at træffe valget. Denne sidste lektion sammenfatter udvælgelseskriterierne og giver dig et beslutningstræ, der hjælper dig med at vælge den strategi, der passer til dit projekt.
De tre hovedfamilier
Den første familie er Mistral API via AI Studio: du bruger modeller hostet af Mistral AI. Dette er den hurtigste løsning at sætte op. Serverless-tilstanden dækker prototyping, startups og SMV’er. Dedikeret serverless målretter enterprise-produktion og følsomme data. Den selvhostede variant, som Mistral tilbyder, giver dig fuld kontrol, mens du stadig har adgang til vendorsupport.
Den anden familie omfatter tredjepartsskyer, hvor den afgørende faktor næsten altid er integration med et eksisterende økosystem snarere end selve modellen. Azure AI bringer VNet og Key Vault til dem, der lever i Microsoft-verdenen; Google Vertex AI tilbyder native GCP-godkendelse og FIM med Codestral; AWS Bedrock læner sig op ad IAM og CloudWatch; Snowflake Cortex holder dine data inde i warehouse’et; IBM watsonx dækker regulerede virksomheder i både SaaS- og on-premise-tilstande; Outscale imødekommer kravene til europæisk suverænitet.
Den tredje familie er selvhosting: du implementerer open-weight-modeller på din egen infrastruktur, hvor vLLM er det anbefalede valg med sin OpenAI-kompatible API, TensorRT-LLM giver maksimal ydeevne på NVIDIA-hardware, eller TGI, hvis du vil blive i Hugging Face-økosystemet.
Beslutningstræ
Tabellen nedenfor kobler almindelige scenarier til anbefalinger. Læs den fra toppen og ned: de første rækker svarer til projekter, der lige er startet, de sidste til dem med betydeligt volumen eller strenge begrænsninger.
| Din situation | Anbefaling | Hvorfor |
|---|---|---|
| Jeg vil teste hurtigt | AI Studio Serverless | Klar på 5 minutter, gratis tier tilgængelig |
| Jeg har et produktionsprojekt, moderat volumen | AI Studio Scale | Høje kvoter, SLA, ingen infrastruktur at administrere |
| Min virksomhed bruger Azure | Azure AI MaaS | Key Vault, VNet, Monitor-integration, Azure-fakturering |
| Min virksomhed bruger AWS | AWS Bedrock | IAM, CloudWatch-integration, native boto3 |
| Min virksomhed bruger GCP | Google Vertex AI | Native GCP-godkendelse, FIM med Codestral |
| Mine data er i Snowflake | Snowflake Cortex | Native SQL-kald, data bliver i Snowflake |
| Jeg er i en reguleret sektor (bank, sundhed) | IBM watsonx eller Selvhosting | HIPAA/PCI-overholdelse, on-premise muligt |
| Jeg kræver EU-suverænitet | Outscale eller Selvhosting | Europæisk sky, data på EU-jord |
| Jeg har > 100 mio. tokens/måned og et MLOps-team | Selvhosting (vLLM) | Lavere omkostning pr. token, fuld kontrol |
| Jeg har brug for maksimal ydeevne | Selvhosting (TensorRT-LLM) | Engine optimeret til din GPU, minimal latency |
Tre kriterier på tværs af alle muligheder
Det første er omkostninger, og endnu vigtigere, forudsigeligheden. En CFO læser en regning, der varierer med forbruget, anderledes end en stabil budgetpost.
| Mulighed | Omkostningsmodel | Forudsigelighed |
|---|---|---|
| Mistral API | Betaling pr. token | Variabel |
| Tredjepartssky | Betaling pr. token | Variabel |
| Selvhosting (sky-GPU) | Betaling pr. time | Fast |
| Selvhosting (on-premise) | CapEx + OpEx | Fast |
Det andet kriterium er tid til lancering, og forskellene er betydelige: få minutter til få timer for Mistral API eller en tredjepartssky, timer til dage for selvhosting med vLLM, og dage til uger når TensorRT kommer ind i billedet med sine builds. Denne forsinkelse påvirker din produktkalender, ikke kun dit budget.
Det tredje kriterium vedrører datakontrol. I serverless-tilstand passerer data gennem Mistral; i dedikeret tilstand får du gavn af virtuel isolering; via en tredjepartssky resides data hos den pågældende udbyder; ved selvhosting forlader data aldrig din perimeter. Dette er normalt kriteriet, ikke omkostninger, der får vægtskålen til at tippe i en reguleret sektor.
Start simpelt, udvikl senere
Den sikreste trajektorie udfolder sig i tre faser. I prototypefasen skal du holde dig til AI Studio Serverless og dens gratis tier: du validerer dit use case og sammenligner modeller uden omkostninger. I MVP-produktionsfasen skal du skifte til AI Studio Scale eller en tredjepartssky for at få en SLA og integrere med dit eksisterende økosystem, med omkostninger proportional med forbruget. Først i optimeringsfasen bør du evaluere selvhosting: sammenlign TCO med betaling pr. token, migrér gradvist højvolumen-workloads, og behold API’en til lavvolumen-workloads eller modeller, der ikke er open-weight.
Denne progressive tilgang minimerer risikoen og lader dig validere hvert skridt, før du investerer yderligere. Den klassiske fejl er at starte direkte i fase 3 „fordi vi får volumen senere”: du binder GPU’er og engineering-tid til et forbrug, du endnu ikke har bevist.
Hvad du har lært i dette kursus
Dette kursus har dættet hele spektret af Mistral-implementering: AI Studio med dets organisationer, workspaces, tiers og prissætning; Azure AI, dets MaaS-tilstand, MistralAzure-klienten og go-live; Google Vertex AI og MistralGCP-klienten med FIM på Codestral; AWS Bedrock, dets Converse API og integration med AWS-økosystemet; Snowflake, IBM og Outscale som specialiserede platforme; og selvhosting fra alle vinkler, fra vLLM til TensorRT-LLM og TGI, inklusive GPU’er, kvantisering og orkestrering. Du har nu den viden, der skal til for at vælge og implementere den implementeringsstrategi, der passer til dit projekt.
Vigtige pointer
- Der findes ingen one-size-fits-all-løsning – valget afhænger af dine specifikke begrænsninger
- Start med Mistral API for at validere, migrér til selvhosting, hvis volumen retfærdiggør det
- Integration med dit eksisterende sky-økosystem er ofte den afgørende faktor
- Datasuverænitet og regulatorisk overholdelse peger mod selvhosting eller Outscale
- Genvurder din strategi hver 6. måned – omkostninger og tilbud udvikler sig hurtigt
Test din viden
Studio, skyer, selvhosting: er implementeringskortet klart?
1. Hvad administrerer du i Mistral AI Studio?
Svar: Platformstyring: organisationer og workspaces, nøgler, tiers og prissætning – startpunktet for enhver implementering via Mistral API.
2. Hvad betyder „Model as a Service" på Azure, Vertex eller Bedrock?
Svar: Mistral-modeller forbrugt via den valgte skys infrastruktur: godkendelse, fakturering og overholdelse fra udbyderen – samme modelfamilie, anden gateway.
3. Hvornår er selvhosting berettiget?
Svar: Ved streng suverænitet, latency eller meget høje omkostningsbegrænsninger ved stort volumen – med Mistral’s open weights implementerer du på din egen GPU-infrastruktur.
4. Hvad leverer vLLM, TensorRT-LLM eller TGI?
Svar: Inference-engines til selvhosting: serving af modeller effektivt (batching, kvantisering, throughput) – valget afhænger af hardware og ydeevnekrav.
5. Hvordan vælger du din implementeringsstrategi?
Svar: Ved at krydsreferere begrænsninger (data, overholdelse, latency), volumen og kompetencer: Mistral API for enkelhed, partnersky for eksisterende integration, selvhosting for fuld kontrol.
Managed API, partnersky eller egne GPU’er: tre veje, ét beslutningsgitter – det fra denne sidste lektion.