Vai al contenuto principale
Italiano— Scegli una lingua
Menu

Introduzione al Self-Hosting

Lezione 10 di 14 Aggiornata il 29 luglio 2026 Avanzato
In questa pagina
  1. Perché eseguire il Self-Hosting di un modello Mistral
  2. Le motivazioni per il Self-Hosting
  3. Le sfide, faccia a faccia
  4. I modelli Open-Weights di Mistral
  5. I tre motori di inferenza
  6. Decidere in quattro domande
  7. Punti chiave

Perché eseguire il Self-Hosting di un modello Mistral

Il self-hosting consiste nel distribuire i modelli Mistral sulla tua infrastruttura personale, che si tratti di un server on-premise, di un cloud privato o di GPU noleggiate. Questo approccio ti offre un controllo totale, ma introduce una complessità significativa. Prima di approfondire i motori di inferenza trattati nelle prossime lezioni, stabilisci se questa sia effettivamente la scelta giusta per il tuo caso d’uso. Si tratta di una decisione architetturale, non di qualcosa che puoi invertire in un pomeriggio.

Le motivazioni per il Self-Hosting

La ragione più comune è la sovranità dei dati: le tue richieste non lasciano mai la tua infrastruttura e nessuna transita attraverso i server di Mistral o un provider cloud di terze parti. Questo è spesso un requisito normativo nella difesa e nel governo per i dati classificati, in ambito sanitario per i dati dei pazienti soggetti alla certificazione HDS (hébergement de données de santé) o all’HIPAA, nella finanza per i dati di trading e le informazioni sui clienti, e nel settore legale per i fascicoli riservati. In questi scenari, la domanda non è se il self-hosting sia conveniente in termini di costi, ma se l’alternativa sia persino permessa.

Segue il controllo dei costi su larga scala. A bassi volumi, l’API di Mistral è più economica: paghi solo ciò che consumi, senza macchine inattive. Oltre una certa soglia di richieste, il costo per token per un’infrastruttura dedicata scende sotto la tariffazione pay-as-you-go, perché la GPU è già in esecuzione e ogni token aggiuntivo costa quasi nulla. Il punto di pareggio dipende dal tuo volume mensile di token, dal modello utilizzato (Small o Large), dai costi delle GPU (noleggiate o di proprietà) e dalle spese operative, inclusi il personale DevOps e l’elettricità.

La terza motivazione è la personalizzazione completa. Il self-hosting ti dà accesso ai pesi grezzi del modello, consentendo la quantizzazione FP8 o INT4 per ridurre l’utilizzo della memoria GPU, l’ottimizzazione della dimensione del batch e della pianificazione, la distribuzione di modelli fine-tuned non disponibili tramite API e la configurazione precisa dei parametri di inferenza. Infine, c’è la latenza: la rete è limitata alla tua infrastruttura interna. Per un chatbot che mira a un time-to-first-byte (TTFB) inferiore a 100 ms, attraversare internet per raggiungere un’API remota consuma già una parte significativa del tuo budget; una distribuzione locale offre prestazioni altrimenti irraggiungibili.

Le sfide, faccia a faccia

La complessità operativa è il primo ostacolo. Diventi responsabile dell’installazione e dell’aggiornamento del motore di inferenza, della gestione delle GPU (driver NVIDIA, CUDA, memoria), del monitoraggio e degli alert, della garanzia di alta disponibilità e failover, nonché della sicurezza di rete e dei certificati. Ciascuna di queste aree è una specializzazione a sé stante; combinarle all’interno di un team di tre sviluppatori backend raramente porta a un servizio affidabile.

Il costo iniziale non è solo una voce mensile; è un investimento da ammortizzare e il calcolo deve essere completo:

Infrastruttura GPU (noleggio o acquisto)
+ Archiviazione (i modelli pesano 15–140 GB)
+ Larghezza di banda di rete
+ Tempo ingegneristico per configurazione e manutenzione
= Costo Totale di Proprietà (TCO)

Le competenze richieste costituiscono la terza barriera, spesso la più difficile da colmare rapidamente: amministrazione Linux e Docker, driver NVIDIA e CUDA, motori di inferenza (vLLM, TensorRT-LLM, TGI), monitoraggio e osservabilità. Se nessuno di questi domini è già coperto internamente, il self-hosting inizierà con un processo di assunzione.

I modelli Open-Weights di Mistral

La maggior parte dei modelli Mistral è disponibile come open-weights sotto licenza Apache 2.0. Mistral 7B è il modello fondativo, con 7 miliardi di parametri; Mixtral 8x7B adotta un’architettura Mixture-of-Experts per un totale di 46,7 miliardi di parametri; Mistral Nemo è un modello versatile da 12 miliardi; e Codestral è specializzato nel codice. Puoi recuperare i pesi da Hugging Face con un account e un token:

# Download a model via Hugging Face CLI
pip install huggingface_hub
huggingface-cli login  # Requires an HF token

# Download happens automatically on the engine's first launch

I tre motori di inferenza

Mistral raccomanda tre motori per il self-hosting. vLLM è la scelta predefinita: un motore Python open-source molto attivo che espone nativamente un’API compatibile con OpenAI, utilizza PagedAttention per una gestione ottimale della memoria e supporta nativamente i modelli Mistral. TensorRT-LLM, il framework di ottimizzazione di NVIDIA, punta alle massime prestazioni sulle GPU NVIDIA al costo di una configurazione più complessa; è progettato per la produzione ad altissimo throughput. TGI (Text Generation Inference), il toolkit di Hugging Face, offre quantizzazione integrata, parallelismo tensoriale, streaming e batching nativo. Le prossime lezioni dettagliaranno ciascuno di questi motori.

Decidere in quattro domande

Affronta queste domande in ordine, perché la prima a cui rispondi “sì” spesso chiude il dibattito. I tuoi dati sono soggetti a rigorosi vincoli normativi? Se sì, il self-hosting diventa probabile indipendentemente dagli altri fattori. In caso contrario, guarda al volume: oltre i 100 milioni di token al mese, l’equazione economica pende a favore dell’infrastruttura dedicata; al di sotto, l’API rimane probabilmente più economica. Hai un team competente di DevOps o MLOps? Senza uno di questi, attieniti all’API o a un cloud gestito. Infine, hai bisogno di latenze inferiori a 100 ms? Questo è l’unico argomento che nessuna API remota può eguagliare.

Una PMI che elabora 5 milioni di token al mese per un assistente interno risponde “no” quattro volte: risparmierebbe poche centinaia di euro in tariffe API solo per spenderne diverse migliaia in GPU e tempo ingegneristico. Un ospedale che analizza referti medici, invece, si ferma alla prima domanda.

Punti chiave

  • Il self-hosting offre sovranità, controllo dei costi e personalizzazione completa
  • La complessità operativa e il costo iniziale sono le principali barriere
  • I modelli open-weights di Mistral sono disponibili gratuitamente su Hugging Face
  • Tre motori raccomandati: vLLM (consigliato), TensorRT-LLM (prestazioni), TGI (Hugging Face)
  • Il self-hosting non è sempre la risposta giusta: valuta i tuoi vincoli reali prima di iniziare