Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

Inleiding tot zelf hosten

Les 10 van 14 Bijgewerkt op 29 juli 2026 Gevorderd
Op deze pagina
  1. Waarom een Mistral-model zelf hosten
  2. De drijfveren voor zelf hosten
  3. De uitdagingen, oog in oog
  4. Mistral’s open-weights-modellen
  5. De drie inferentie-engines
  6. Beslissen aan de hand van vier vragen
  7. Belangrijkste punten

Waarom een Mistral-model zelf hosten

Zelf hosten betekent dat u Mistral-modellen op uw eigen infrastructuur implementeert, of dit nu een on-premise server, een private cloud of gehuurde GPU’s zijn. Deze aanpak geeft u volledige controle, maar introduceert ook aanzienlijke complexiteit. Voordat u zich verdiept in de inferentie-engines die in de komende lessen aan bod komen, moet u bepalen of dit daadwerkelijk de juiste stap is voor uw use case. Dit is een architecturale beslissing die u niet zomaar op een middag kunt terugdraaien.

De drijfveren voor zelf hosten

De meest voorkomende reden is datasoevereiniteit: uw verzoeken verlaten nooit uw infrastructuur en er gaat niets via de servers van Mistral of een externe cloudprovider. Dit is vaak een wettelijke vereiste in defensie en overheid voor geclassificeerde gegevens, in de gezondheidszorg voor patiëntgegevens die onder HDS (de Franse certificering voor hosting van gezondheidsgegevens) of HIPAA vallen, in de financiële sector voor handelsgegevens en cliëntinformatie, en in de juridische sector voor vertrouwelijke dossierstukken. In deze scenario’s is de vraag niet of zelf hosten kosteneffectief is, maar of het alternatief überhaupt is toegestaan.

Daarna komt kostenbeheersing op schaal. Bij lage volumes is de Mistral API goedkoper: u betaalt alleen voor wat u verbruikt, zonder dat er machines idle draaien. Boven een bepaalde drempel van verzoeken daalt de kosten per token voor dedicated infrastructuur onder de pay-as-you-go-prijs, omdat de GPU al draait en elke extra token bijna niets kost. Het break-evenpunt hangt af van uw maandelijkse tokenvolume, het gebruikte model (Small of Large), uw GPU-kosten (gehuurd of eigendom) en operationele uitgaven, waaronder DevOps-personeel en elektriciteit.

De derde drijfveer is volledige aanpasbaarheid. Zelf hosten geeft u toegang tot de ruwe modelgewichten, waardoor FP8- of INT4-kwantisatie mogelijk is om het GPU-geheugengebruik te verminderen, optimalisatie van batchgrootte en planning, implementatie van fine-tuned modellen die niet via de API beschikbaar zijn, en precieze configuratie van inferentieparameters. Tot slot is er latentie: het netwerk is beperkt tot uw interne infrastructuur. Voor een chatbot die streeft naar een time-to-first-byte (TTFB) van minder dan 100 ms, verbruikt het traverseren van het internet naar een externe API al een aanzienlijk deel van uw budget; een lokale implementatie levert prestaties die anders onbereikbaar zijn.

De uitdagingen, oog in oog

Operationele complexiteit is de eerste horde. U wordt verantwoordelijk voor het installeren en updaten van de inferentie-engine, het beheren van GPU’s (NVIDIA-drivers, CUDA, geheugen), monitoring en alerting, het waarborgen van hoge beschikbaarheid en failover, en het afhandelen van netwerkbeveiliging en certificaten. Elk van deze domeinen is een specialisme op zich; het combineren ervan binnen een team van drie backend-ontwikkelaars resulteert zelden in een betrouwbare service.

De initiële kosten zijn niet slechts een maandelijkse post; het is een investering die moet worden afgeschreven, en de berekening moet allesomvattend zijn:

GPU-infrastructuur (huur of aankoop)
+ Opslag (modellen wegen 15–140 GB)
+ Netwerkbandbreedte
+ Engineeringtijd voor installatie en onderhoud
= Total Cost of Ownership (TCO)

Vereiste vaardigheden vormen de derde barrière, vaak het moeilijkst om snel in te vullen: Linux- en Docker-beheer, NVIDIA-drivers en CUDA, inferentie-engines (vLLM, TensorRT-LLM, TGI), en monitoring en observability. Als geen van deze domeinen intern al gedekt is, begint zelf hosten met een wervingsproces.

Mistral’s open-weights-modellen

De meeste Mistral-modellen zijn beschikbaar als open-weights onder de Apache 2.0-licentie. Mistral 7B is het fundamentele model met 7 miljard parameters; Mixtral 8x7B hanteert een Mixture-of-Experts-architectuur met in totaal 46,7 miljard parameters; Mistral Nemo is een veelzijdig model van 12 miljard parameters; en Codestral is gespecialiseerd in code. U kunt de gewichten ophalen van Hugging Face met een account en een token:

# Download a model via Hugging Face CLI
pip install huggingface_hub
huggingface-cli login  # Requires an HF token

# Download happens automatically on the engine's first launch

De drie inferentie-engines

Mistral beveelt drie engines aan voor zelf hosten. vLLM is de standaardkeuze: een zeer actieve open-source Python-engine die out-of-the-box een OpenAI-compatibele API exposeert, PagedAttention gebruikt voor optimaal geheugenbeheer en native Mistral-modellen ondersteunt. TensorRT-LLM, het optimalisatieframework van NVIDIA, richt zich op maximale prestaties op NVIDIA GPU’s ten koste van een complexere configuratie; het is ontworpen voor productie met zeer hoge throughput. TGI (Text Generation Inference), de toolkit van Hugging Face, biedt geïntegreerde kwantisatie, tensor-parallelisme, streaming en native batching. In de komende lessen wordt elk van deze engines in detail behandeld.

Beslissen aan de hand van vier vragen

Behandel deze vragen in volgorde, want bij het eerste “ja” is het debat vaak al beslecht. Zijn uw gegevens onderhevig aan strikte regelgeving? Zo ja, dan wordt zelf hosten waarschijnlijk, ongeacht andere factoren. Zo nee, kijk dan naar het volume: boven de 100 miljoen tokens per maand kantelt de economische vergelijking ten gunste van dedicated infrastructuur; daaronder blijft de API waarschijnlijk goedkoper. Heeft u een bekwaam DevOps- of MLOps-team? Zonder een dergelijk team blijft u beter bij de API of een managed cloud. Heeft u ten slotte latenties onder de 100 ms nodig? Dit is het enige argument dat geen enkele externe API kan evenaren.

Een MKB-bedrijf dat 5 miljoen tokens per maand verwerkt voor een interne assistent, antwoordt vier keer “nee”: het zou een paar honderd euro besparen op API-kosten, maar enkele duizenden euro’s uitgeven aan GPU’s en engineeringtijd. Een ziekenhuis dat medische rapporten analyseert, stopt echter al bij de eerste vraag.

Belangrijkste punten

  • Zelf hosten biedt soevereiniteit, kostenbeheersing en volledige aanpasbaarheid
  • Operationele complexiteit en initiële kosten zijn de belangrijkste barrières
  • Mistral open-weights-modellen zijn gratis beschikbaar op Hugging Face
  • Drie aanbevolen engines: vLLM (aanbevolen), TensorRT-LLM (prestaties), TGI (Hugging Face)
  • Zelf hosten is niet altijd het juiste antwoord—evalueer uw werkelijke beperkingen voordat u begint