Премини към основното съдържание
Български— Изберете език
Меню

Инфраструктура и GPU

Урок 13 от 14 Обновен 29 юли 2026 г. Напреднало
На тази страница
  1. Оразмеряване на Вашата GPU инфраструктура
  2. Изисквания за всеки модел
  3. Квантуване: Размяна на прецизност за памет
  4. SkyPilot: Мулти-клауд оркестрация
  5. Cerebrium: Serverless GPU
  6. Обслужване на производствено натоварване
  7. Ключови изводи

Оразмеряване на Вашата GPU инфраструктура

Изборът на правилния GPU, капацитет на паметта и инструмент за оркестрация е критична стъпка при самостоятелното хостване. Недостатъчно оразмерен модел не се деградира плавно: той отказва да стартира или се срива при първото реално натоварване. Ще разгледаме хардуерните изисквания за моделите на Mistral, техниките за квантуване, които намаляват нуждите от памет, и два инструмента за оркестрация: SkyPilot и Cerebrium.

Изисквания за всеки модел

Следващата таблица изброява изискванията за FP16 без квантуване – базовата линия за всяко изчисление на оразмеряването.

МоделПараметриМинимална VRAMПрепоръчителен GPU
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46.7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

Нямате нужда от тази таблица, за да оцените модел, който не е изброен. При FP16 планирайте приблизително 2 GB VRAM на милиард параметри: за 7B модел, 7 x 2 = 14 GB минимум, плюс накладни разходи за KV кеша и двигателя за извод – ето защо таблицата показва 16 GB. Този марж обяснява защо карта от 16 GB едва справя с Mistral 7B и защо няма да е достатъчна, щом обслужвате дълги контексти за множество едновременни потребители.

Квантуване: Размяна на прецизност за памет

Квантуването намалява прецизността на теглата на модела, за да се намали потреблението на памет, често с минимално въздействие върху качеството. При FP8 (осем бита на тегло), използването на памет се намалява наполовина в сравнение с FP16, а активацията се побира с прост аргумент:

# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
МоделFP16FP8Намаление
Mistral 7B14 GB7 GB-50%
Mistral Nemo24 GB12 GB-50%
Mixtral 8x7B100 GB50 GB-50%

Практическото последствие е ясно: Mixtral 8x7B, който изискваше две карти A100-80GB във FP16, се побира на една карта във FP8, намалявайки почасовата Ви сметка наполовина. INT4 (четири бита) отива още по-далеч, но въздействието върху качеството става забележимо; то се активира в TGI чрез специален аргумент:

# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
ПрецизностПаметКачествоСкорост
FP16Базова линияБазова линияБазова линия
FP8-50%-1 до -2%+10-20%
INT4-75%-3 до -5%+30-50%

На практика препоръчваме FP8 за продукция – загубата на качество е пренебрежима. INT4 работи за прототипиране или среди с ограничена памет, обикновено демо на работна станция с потребителски GPU.

SkyPilot: Мулти-клауд оркестрация

SkyPilot е рамка с отворен код за разполагане на LLM във всеки облак – AWS, GCP, Azure, Lambda Labs и други. Той автоматично избира най-евтиния GPU и се справя с предоставянето на ресурси, така че не е нужно ръчно да сравнявате спот цените при три доставчика преди всяко стартиране. Mistral предоставя готови за употреба YAML файлове, чиято структура описва машината, настройката и командата за обслужване:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

Целият жизнен цикъл на клъстер след това се свежда до четири команди:

# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"

# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Check status
sky status

# Stop (to save money)
sky stop mistral-7b

# Delete
sky down mistral-7b

Последните две команди са тези, които хората забравят. Клъстер A10G, оставен да работи през уикенда, струва колкото месец използване на API за умерени натоварвания, затова е важно да знаете приблизителните фигури:

МоделSkyPilot КонфигурацияОчаквана облачна цена
Mistral 7BA10G:1~$1/ч
Mixtral 8x7BA100-80GB:2~$6/ч
Mixtral 8x22BA100-80GB:4~$12/ч

Един последен пункт заслужава Вашето внимание: SkyPilot създава виртуални машини с отворени портове по подразбиране. В продукция ограничете мрежовия достъп със Security Groups или Firewall Rules, поставете балансировщик на натоварването с автентикация пред услугата и никога не оставяйте порт 8000 изложен на интернет. Неудостоверен vLLM сървър, достъпен публично, е GPU, за който плащате в полза на някой друг.

Cerebrium: Serverless GPU

Cerebrium използва противоположен подход на SkyPilot: вместо да управлявате машини, Вие описвате услуга и плащате само за изчислителната мощ, която действително използвате, с автоматично мащабиране. Започването отнема три команди:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

Цялото разполагане след това се описва във файл cerebrium.toml:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

Настройката min_replicas = 0 е ключовото предимство на този подход: когато никой не извиква услугата, тя не струва нищо. Компромисът е, че първата заявка след период на бездействие трябва да изчака стартирането на инстанция. Командата cerebrium deploy е всичко, от което се нуждаете за публикуване; платформата се справя с предоставянето на GPU, автоматичното мащабиране от нула до N реплики, балансирането на натоварването и мониторинга.

Обслужване на производствено натоварване

За да увеличите пропускателната способност, не търсете по-голям GPU – умножете инстанциите зад балансировщик на натоварването, като всяка обслужва един и същи модел на своя собствена карта:

                    ┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
                    └─── vLLM instance 3 (GPU C)

Пет метрики са достатъчни за управление на цялата настройка: токени в секунда измерва пропускателната способност на генерирането; TTFB (Time To First Byte) дава латентността преди първия токен, което е това, което потребителят възприема; използването на GPU трябва да надвишава 80% под натоварване, в противен случай плащате за неактивен хардуер; следете паметта на GPU, за да предвидите грешки OOM; и дълбочина на опашката, броят на чакащите заявки, сигнализира за насищане, преди потребителите да се оплачат. На една машина, просто непрекъснато обновяване вече Ви дава същественото:

# Monitor GPU utilization
watch -n 1 nvidia-smi

Ключови изводи

  • Планирайте ~2 GB VRAM на милиард параметри във FP16
  • Квантуването FP8 намалява използването на памет наполовина с пренебрежимо въздействие върху качеството
  • SkyPilot опростява мулти-клауд разполагането с готови за употреба YAML конфигурации
  • Cerebrium предлага serverless GPU с автоматично мащабиране (плащане според изчислението)
  • В продукция добавете балансировщик на натоварването и следете GPU метриките непрекъснато