Bonneagar agus GPUanna
Ar an leathanach seo
Méid do Bhonneagar GPU
Is céim ríthábhachtach é an GPU ceart, an toilleadh cuimhne, agus an uirlis ordaithe a roghnú nuair a bhíonn tú ag féin-óstáil. Ní théann múnla atá ró-bheag i léig go deas: diúltaíonn sé tosú, nó tuilleann sé faoin gcéad ualach fíor. Pléifimid na riachtanais chrua-earraí do mhúnlaí Mistral, teicnící candamúcháin a laghdaíonn na riachtanais cuimhne, agus dhá uirlis ordaithe: SkyPilot agus Cerebrium.
Cad a theastaíonn ó gach múnla
Liostaíonn an tábla seo a leanas na riachtanais FP16 gan chandamú—bonnlíne d’aon ríomh méide.
| Múnla | Paraiméadair | VRAM Íosta | GPU Molta |
|---|---|---|---|
| Mistral 7B | 7B | 16 GB | 1x A10G / L4 |
| Mistral Nemo | 12B | 24 GB | 1x A10G / RTX 4090 |
| Mixtral 8x7B | 46.7B | 100 GB | 2x A100-80GB |
| Mixtral 8x22B | 141B | 300 GB | 4x A100-80GB |
| Mistral Large 2 | 123B | 250 GB | 4x A100-80GB |
| Codestral | 22B | 48 GB | 1x A100-80GB |
Ní gá duit an tábla seo chun meastachán a dhéanamh ar mhúnla nach bhfuil liostaithe. I FP16, déan meastachán ar 2 GB de VRAM in aghaidh gach billiún paraiméadar: do mhúnla 7B, 7 x 2 = 14 GB ar a laghad, móide forchostas don taisce KV agus don inneall tátail—sin an fáth a dtaispeánann an tábla 16 GB. Míníonn an corrlach seo cén fáth nach mbíonn cárta 16 GB in ann Mistral 7B a láimhseáil ach go barely, agus cén fáth nach leor é nuair a bhíonn tú ag freastal ar chomhthéacsanna fada do roinnt úsáideoirí comhuaineacha.
Candamú: Cruinneas a thrádáil ar son Cuimhne
Laghdaíonn candamú cruinneas meáchain an mhúnla chun tomhaltas cuimhne a íoslaghdú, go minic gan mórthionchar ar cháilíocht. I FP8 (ocht ngiotán in aghaidh gach meáchain), gearrtar úsáid na cuimhne faoi dhó i gcomparáid le FP16, agus oireann gníomhachtú le hargóint shimplí:
# Freastal ar mhúnla i FP8 le vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--dtype float8_e4m3fn
| Múnla | FP16 | FP8 | Laghdú |
|---|---|---|---|
| Mistral 7B | 14 GB | 7 GB | -50% |
| Mistral Nemo | 24 GB | 12 GB | -50% |
| Mixtral 8x7B | 100 GB | 50 GB | -50% |
Tá an toradh praiticiúil soiléir: oireann Mixtral 8x7B a d’éiligh dhá chárta A100-80GB i FP16 ar chárta amháin i FP8, ag gearradh do bhille uairiúil faoi dhó. Téann INT4 (ceithre ghiotán) níos faide fós, ach bíonn tionchar suntasach ar cháilíocht; cumasaítear é i TGI trí argóint tiomnaithe:
# Candamú AWQ le TGI
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--quantize awq
| Cruinneas | Cuimhne | Cáilíocht | Luas |
|---|---|---|---|
| FP16 | Bonnlíne | Bonnlíne | Bonnlíne |
| FP8 | -50% | -1 go -2% | +10-20% |
| INT4 | -75% | -3 go -5% | +30-50% |
Go praiticiúil, molaimid FP8 don táirgeadh—is beag an chaillteanas cáilíochta. Oibríonn INT4 le haghaidh prótatípaithe nó timpeallachtaí atá teoranta ó thaobh cuimhne de, de ghnáth taispeántas ar stáisiún oibre le GPU tomhaltóra.
SkyPilot: Ordú Ilscamaill
Is creatlach foinse oscailte é SkyPilot chun LLManna a imscaradh ar aon scamall—AWS, GCP, Azure, Lambda Labs, agus cinn eile. Roghnaíonn sé an GPU is saoire go huathoibríoch agus déileálann sé le soláthar, ionas nach gcaithfidh tú praghsanna spot a chur i gcomparáid de láimh ar fud trí sholáthraí roimh gach seoladh. Soláthraíonn Mistral comhaid YAML atá réidh le húsáid a dhéanann cur síos ar an meaisín, an socrú, agus an t-ordú freastail:
# mistral-7b.yaml
resources:
accelerators: A10G:1
cloud: aws
setup: |
pip install vllm
run: |
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral
Tagann timthriall iomlán braisle ansin anuas go ceithre ordú:
# SkyPilot a shuiteáil
pip install "skypilot[aws,gcp,azure]"
# An bhraisle a sheoladh
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1
# Stádas a sheiceáil
sky status
# Stop (chun airgead a shábháil)
sky stop mistral-7b
# Scrios
sky down mistral-7b
Is iad an dá ordú dheireanacha sin na cinn a dhéanann daoine dearmad orthu. Costóidh braisle A10G a fhágtar ag rith thar dheireadh seachtaine chomh mór le mí d’úsáid API do ualaí measartha, sin an fáth go bhfuil sé tábhachtach na figiúirí garbha a bheith ar eolas agat:
| Múnla | Cumraíocht SkyPilot | Meastachán ar Chostas Scamaill |
|---|---|---|
| Mistral 7B | A10G:1 | ~$1/u |
| Mixtral 8x7B | A100-80GB:2 | ~$6/u |
| Mixtral 8x22B | A100-80GB:4 | ~$12/u |
Tá pointe amháin eile a thugann aire duit: cruthaíonn SkyPilot VManna le poirt oscailte go réamhshocraithe. Sa táirgeadh, srianta rochtain líonra le Grúpaí Slándála nó Rialacha Balla Dóiteáin, cuir cothromóir ualaigh le fíordheimhniú os comhair an tseirbhís, agus ná fág port 8000 nochtaithe don idirlíon riamh. Is GPU atá tú ag íoc as ar son duine eile é freastalaí vLLM gan fhíordheimhniú atá inrochtana go poiblí.
Cerebrium: GPU Gan Freastalaí
Glacann Cerebrium cur chuige contrártha le SkyPilot: in ionad meaisíní a bhainistiú, déanann tú cur síos ar sheirbhís agus íocann tú as an ríomhaireacht a úsáideann tú i ndáiríre amháin, le huathscálú. Tógann sé trí ordú chun tosú:
pip install cerebrium
cerebrium login
cerebrium init mistral-vllm
Déantar cur síos ansin ar an imscaradh iomlán i gcomhad cerebrium.toml:
[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"
[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16
[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60
[cerebrium.dependencies.pip]
vllm = "latest"
Is é an socrú min_replicas = 0 an buntáiste is mó den cur chuige seo: nuair nach bhfuil aon duine ag glaoch ar an tseirbhís, ní chosnaíonn sé aon rud. Is é an malairt ná go gcaithfidh an chéad iarratas tar éis tréimhse neamhghníomhaíochta fanacht go dtosaíonn sampla. Níl de dhíth ort ach an t-ordú cerebrium deploy chun foilsiú; déileálann an ardán le soláthar GPU, uathscálú ó nialas go N sampla, cothromú ualaigh, agus monatóireacht.
Ualach Táirgeachta a Láimhseáil
Chun tríthreoracht a mhéadú, ná lorg GPU níos mó—iolraigh samplaí taobh thiar de chothromóir ualaigh, gach ceann acu ag freastal ar an múnla céanna ar a chárta féin:
┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
└─── vLLM instance 3 (GPU C)
Tá cúig mhéadar go leor chun an socrú iomlán a bhainistiú: tomhaiseann tokenanna in aghaidh an tsoicind tríthreoracht giniúna; tugann TTFB (Am go dtí an Chéad Bheart) an mhoill roimh an gcéad token, rud a mhothaíonn an t-úsáideoir; ba chóir go mbeadh úsáid GPU os cionn 80% faoi ualach, murach sin tá tú ag íoc as crua-earraí díomhaoin; déan monatóireacht ar chuimhne GPU chun earráidí OOM a réamh-mheas; agus doimhneacht na ciú, líon na n-iarratas atá ar feitheamh, a chuireann sáithiú in iúl sula ndéanann úsáideoirí gearán. Ar mheaisín amháin, tugann athnuachan leanúnach simplí na bunriachtanais duit cheana féin:
# Monatóireacht a dhéanamh ar úsáid GPU
watch -n 1 nvidia-smi
Príomhphointí
- Déan meastachán ar ~2 GB VRAM in aghaidh gach billiún paraiméadar i FP16
- Laghdaíonn candamú FP8 úsáid na cuimhne faoi dhó le tionchar neamhbhríoch ar cháilíocht
- Simplíonn SkyPilot imscaradh ilscamaill le cumraíochtaí YAML atá réidh le húsáid
- Tairgeann Cerebrium GPU gan freastalaí le huathscálú (íoc-as-riomhaireacht)
- Sa táirgeadh, cuir cothromóir ualaigh leis agus déan monatóireacht leanúnach ar mhéadair GPU