Инфраструктура и GPU
На тази страница
Оразмеряване на Вашата GPU инфраструктура
Изборът на правилния GPU, капацитет на паметта и инструмент за оркестрация е критична стъпка при самостоятелното хостване. Недостатъчно оразмерен модел не се деградира плавно: той отказва да стартира или се срива при първото реално натоварване. Ще разгледаме хардуерните изисквания за моделите на Mistral, техниките за квантуване, които намаляват нуждите от памет, и два инструмента за оркестрация: SkyPilot и Cerebrium.
Изисквания за всеки модел
Следващата таблица изброява изискванията за FP16 без квантуване – базовата линия за всяко изчисление на оразмеряването.
| Модел | Параметри | Минимална VRAM | Препоръчителен GPU |
|---|---|---|---|
| Mistral 7B | 7B | 16 GB | 1x A10G / L4 |
| Mistral Nemo | 12B | 24 GB | 1x A10G / RTX 4090 |
| Mixtral 8x7B | 46.7B | 100 GB | 2x A100-80GB |
| Mixtral 8x22B | 141B | 300 GB | 4x A100-80GB |
| Mistral Large 2 | 123B | 250 GB | 4x A100-80GB |
| Codestral | 22B | 48 GB | 1x A100-80GB |
Нямате нужда от тази таблица, за да оцените модел, който не е изброен. При FP16 планирайте приблизително 2 GB VRAM на милиард параметри: за 7B модел, 7 x 2 = 14 GB минимум, плюс накладни разходи за KV кеша и двигателя за извод – ето защо таблицата показва 16 GB. Този марж обяснява защо карта от 16 GB едва справя с Mistral 7B и защо няма да е достатъчна, щом обслужвате дълги контексти за множество едновременни потребители.
Квантуване: Размяна на прецизност за памет
Квантуването намалява прецизността на теглата на модела, за да се намали потреблението на памет, често с минимално въздействие върху качеството. При FP8 (осем бита на тегло), използването на памет се намалява наполовина в сравнение с FP16, а активацията се побира с прост аргумент:
# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--dtype float8_e4m3fn
| Модел | FP16 | FP8 | Намаление |
|---|---|---|---|
| Mistral 7B | 14 GB | 7 GB | -50% |
| Mistral Nemo | 24 GB | 12 GB | -50% |
| Mixtral 8x7B | 100 GB | 50 GB | -50% |
Практическото последствие е ясно: Mixtral 8x7B, който изискваше две карти A100-80GB във FP16, се побира на една карта във FP8, намалявайки почасовата Ви сметка наполовина. INT4 (четири бита) отива още по-далеч, но въздействието върху качеството става забележимо; то се активира в TGI чрез специален аргумент:
# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--quantize awq
| Прецизност | Памет | Качество | Скорост |
|---|---|---|---|
| FP16 | Базова линия | Базова линия | Базова линия |
| FP8 | -50% | -1 до -2% | +10-20% |
| INT4 | -75% | -3 до -5% | +30-50% |
На практика препоръчваме FP8 за продукция – загубата на качество е пренебрежима. INT4 работи за прототипиране или среди с ограничена памет, обикновено демо на работна станция с потребителски GPU.
SkyPilot: Мулти-клауд оркестрация
SkyPilot е рамка с отворен код за разполагане на LLM във всеки облак – AWS, GCP, Azure, Lambda Labs и други. Той автоматично избира най-евтиния GPU и се справя с предоставянето на ресурси, така че не е нужно ръчно да сравнявате спот цените при три доставчика преди всяко стартиране. Mistral предоставя готови за употреба YAML файлове, чиято структура описва машината, настройката и командата за обслужване:
# mistral-7b.yaml
resources:
accelerators: A10G:1
cloud: aws
setup: |
pip install vllm
run: |
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral
Целият жизнен цикъл на клъстер след това се свежда до четири команди:
# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"
# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1
# Check status
sky status
# Stop (to save money)
sky stop mistral-7b
# Delete
sky down mistral-7b
Последните две команди са тези, които хората забравят. Клъстер A10G, оставен да работи през уикенда, струва колкото месец използване на API за умерени натоварвания, затова е важно да знаете приблизителните фигури:
| Модел | SkyPilot Конфигурация | Очаквана облачна цена |
|---|---|---|
| Mistral 7B | A10G:1 | ~$1/ч |
| Mixtral 8x7B | A100-80GB:2 | ~$6/ч |
| Mixtral 8x22B | A100-80GB:4 | ~$12/ч |
Един последен пункт заслужава Вашето внимание: SkyPilot създава виртуални машини с отворени портове по подразбиране. В продукция ограничете мрежовия достъп със Security Groups или Firewall Rules, поставете балансировщик на натоварването с автентикация пред услугата и никога не оставяйте порт 8000 изложен на интернет. Неудостоверен vLLM сървър, достъпен публично, е GPU, за който плащате в полза на някой друг.
Cerebrium: Serverless GPU
Cerebrium използва противоположен подход на SkyPilot: вместо да управлявате машини, Вие описвате услуга и плащате само за изчислителната мощ, която действително използвате, с автоматично мащабиране. Започването отнема три команди:
pip install cerebrium
cerebrium login
cerebrium init mistral-vllm
Цялото разполагане след това се описва във файл cerebrium.toml:
[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"
[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16
[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60
[cerebrium.dependencies.pip]
vllm = "latest"
Настройката min_replicas = 0 е ключовото предимство на този подход: когато никой не извиква услугата, тя не струва нищо. Компромисът е, че първата заявка след период на бездействие трябва да изчака стартирането на инстанция. Командата cerebrium deploy е всичко, от което се нуждаете за публикуване; платформата се справя с предоставянето на GPU, автоматичното мащабиране от нула до N реплики, балансирането на натоварването и мониторинга.
Обслужване на производствено натоварване
За да увеличите пропускателната способност, не търсете по-голям GPU – умножете инстанциите зад балансировщик на натоварването, като всяка обслужва един и същи модел на своя собствена карта:
┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
└─── vLLM instance 3 (GPU C)
Пет метрики са достатъчни за управление на цялата настройка: токени в секунда измерва пропускателната способност на генерирането; TTFB (Time To First Byte) дава латентността преди първия токен, което е това, което потребителят възприема; използването на GPU трябва да надвишава 80% под натоварване, в противен случай плащате за неактивен хардуер; следете паметта на GPU, за да предвидите грешки OOM; и дълбочина на опашката, броят на чакащите заявки, сигнализира за насищане, преди потребителите да се оплачат. На една машина, просто непрекъснато обновяване вече Ви дава същественото:
# Monitor GPU utilization
watch -n 1 nvidia-smi
Ключови изводи
- Планирайте ~2 GB VRAM на милиард параметри във FP16
- Квантуването FP8 намалява използването на памет наполовина с пренебрежимо въздействие върху качеството
- SkyPilot опростява мулти-клауд разполагането с готови за употреба YAML конфигурации
- Cerebrium предлага serverless GPU с автоматично мащабиране (плащане според изчислението)
- В продукция добавете балансировщик на натоварването и следете GPU метриките непрекъснато