Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Introduktion til selvhosting

Lektion 10 af 14 Opdateret 29. juli 2026 Avanceret
På denne side
  1. Hvorfor du skal selvhoste en Mistral-model
  2. Motivationen for selvhosting
  3. Udfordringerne ansigt til ansigt
  4. Mistral-modeller med åbne vægte
  5. De tre inferensmotorer
  6. Beslutningen på fire spørgsmål
  7. Vigtige pointer

Hvorfor du skal selvhoste en Mistral-model

Selvhosting betyder, at du udruller Mistral-modeller på din egen infrastruktur, hvad enten det er en lokal server, en privat cloud eller lejede GPU’er. Denne tilgang giver dig fuld kontrol, men introducerer også betydelig kompleksitet. Før du dykker ned i de inferensmotorer, vi gennemgår i de kommende lektioner, skal du afgøre, om dette faktisk er det rigtige valg for dit brugstilfælde. Det er en arkitektonisk beslutning, som du ikke bare kan rulle tilbage på en eftermiddag.

Motivationen for selvhosting

Den mest almindelige årsag er datasuverænitet: Dine forespørgsler forlader aldrig din infrastruktur, og ingen data passerer gennem Mistral-servere eller en tredjeparts cloud-udbyder. Dette er ofte et lovkrav inden for forsvar og offentlig administration for klassificerede data, inden for sundhedsvæsenet for patientdata omfattet af HDS (Frankrigs certificering for hosting af sundhedsdata) eller HIPAA, inden for finanssektoren for handelsdata og kundeoplysninger samt inden for juridiske forhold for fortrolige sagsmapper. I disse scenarier handler spørgsmålet ikke om, hvorvidt selvhosting er omkostningseffektivt, men om alternativet overhovedet er tilladt.

Dernæst kommer omkostningskontrol i stor skala. Ved lave volumener er Mistral API’en billigere: Du betaler kun for det, du forbruger, uden at maskiner står idle. Ud over en bestemt tærskel for forespørgsler falder omkostningen per token for dedikeret infrastruktur under pay-as-you-go-prisen, fordi GPU’en allerede kører, og hver ekstra token næsten ikke koster noget. Break-even-punktet afhænger af dit månedlige token-volumen, den anvendte model (Small eller Large), dine GPU-omkostninger (uanset om de er lejede eller ejede) og driftsomkostninger, herunder DevOps-personale og elektricitet.

Den tredje motivation er fuld tilpasning. Selvhosting giver dig adgang til de rå modelvægte, hvilket muliggør FP8- eller INT4-kvantificering for at reducere GPU-hukommelsesforbruget, optimering af batch-størrelse og planlægning, udrulning af finjusterede modeller, der ikke er tilgængelige via API’en, og præcis konfiguration af inferensparametre. Endelig er der latens: Netværket er begrænset til din interne infrastruktur. For en chatbot, der sigter mod en tid til første byte (TTFB) på under 100 ms, vil en rejse gennem internettet til en fjern API allerede bruge en betydelig del af dit budget; en lokal udrulning leverer ydeevne, der ellers er umulig at opnå.

Udfordringerne ansigt til ansigt

Operationel kompleksitet er den første hurdle. Du bliver ansvarlig for at installere og opdatere inferensmotoren, administrere GPU’er (NVIDIA-drivere, CUDA, hukommelse), overvågning og alarmering, sikre høj tilgængelighed og failover samt håndtere netværkssikkerhed og certifikater. Hvert af disse områder er en specialitet i sig selv; at kombinere dem inden for et team på tre backend-udviklere resulterer sjældent i en pålidelig tjeneste.

Startomkostningen er ikke bare en månedlig post; det er en investering, der skal afskrives, og beregningen skal være omfattende:

GPU-infrastruktur (leje eller køb)
+ Lagerplads (modeller vejer 15–140 GB)
+ Netværksbåndbredde
+ Ingeniørtid til opsætning og vedligeholdelse
= Samlede ejerskabsomkostninger (TCO)

Påkrævede færdigheder udgør den tredje barriere, som ofte er den sværeste at fylde hurtigt: Administration af Linux og Docker, NVIDIA-drivere og CUDA, inferensmotorer (vLLM, TensorRT-LLM, TGI) samt overvågning og observabilitet. Hvis ingen af disse domæner allerede er dækket internt, vil selvhosting starte med en ansættelsesproces.

Mistral-modeller med åbne vægte

De fleste Mistral-modeller er tilgængelige som open-weights under Apache 2.0-licensen. Mistral 7B er grundmodellen med 7 milliarder parametre; Mixtral 8x7B anvender en Mixture-of-Experts-arkitektur med i alt 46,7 mia. parametre; Mistral Nemo er en alsidig 12B-model, og Codestral er specialiseret i kode. Du kan hente vægtene fra Hugging Face med en konto og et token:

# Download a model via Hugging Face CLI
pip install huggingface_hub
huggingface-cli login  # Requires an HF token

# Download happens automatically on the engine's first launch

De tre inferensmotorer

Mistral anbefaler tre motorer til selvhosting. vLLM er standardvalget: En meget aktiv open-source Python-motor, der ud af boksen eksponerer en OpenAI-kompatibel API, bruger PagedAttention til optimal hukommelseshåndtering og understøtter Mistral-modeller nativt. TensorRT-LLM, NVIDIAS optimeringsframework, sigter mod maksimal ydeevne på NVIDIA-GPU’er på bekostning af en mere kompleks konfiguration; det er designet til produktion med meget højt gennemløb. TGI (Text Generation Inference), Hugging Faces værktøjssæt, bringer integreret kvantificering, tensor-parallelisme, streaming og nativ batching. De kommende lektioner vil gå i dybden med hver af disse motorer.

Beslutningen på fire spørgsmål

Gennemgå disse spørgsmål i rækkefølge, fordi det første spørgsmål, du besvarer med “ja”, ofte afgør debatten. Er dine data underlagt strenge regulatoriske krav? Hvis ja, bliver selvhosting sandsynligt uanset andre faktorer. Hvis ikke, skal du se på volumen: Ved mere end 100 millioner tokens om måneden vipper den økonomiske ligning til fordel for dedikeret infrastruktur; under det er API’en sandsynligvis billigere. Har du et kompetent DevOps- eller MLOps-team? Uden et sådant team bør du holde dig til API’en eller en administreret cloud. Har du endelig brug for latenser under 100 ms? Dette er det eneste argument, som ingen fjern-API kan matche.

En SMV, der behandler 5 millioner tokens om måneden til en intern assistent, svarer “nej” fire gange: Den ville spare et par hundrede euro på API-gebyrer kun for at bruge flere tusinde på GPU’er og ingeniørtid. Et hospital, der analyserer medicinske rapporter, stopper derimod ved det første spørgsmål.

Vigtige pointer

  • Selvhosting tilbyder suverænitet, omkostningskontrol og fuld tilpasning
  • Operationel kompleksitet og startomkostninger er de primære barrierer
  • Mistral-modeller med åbne vægte er gratis tilgængelige på Hugging Face
  • Tre anbefalede motorer: vLLM (anbefalet), TensorRT-LLM (ydeevne), TGI (Hugging Face)
  • Selvhosting er ikke altid det rigtige svar – evaluer dine faktiske begrænsninger, før du starter