Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Bonneagar agus GPUanna

Ceacht 13 as 14 Nuashonraithe 29 Iúil 2026 Ardleibhéal
Ar an leathanach seo
  1. Méid do Bhonneagar GPU
  2. Cad a theastaíonn ó gach múnla
  3. Candamú: Cruinneas a thrádáil ar son Cuimhne
  4. SkyPilot: Ordú Ilscamaill
  5. Cerebrium: GPU Gan Freastalaí
  6. Ualach Táirgeachta a Láimhseáil
  7. Príomhphointí

Méid do Bhonneagar GPU

Is céim ríthábhachtach é an GPU ceart, an toilleadh cuimhne, agus an uirlis ordaithe a roghnú nuair a bhíonn tú ag féin-óstáil. Ní théann múnla atá ró-bheag i léig go deas: diúltaíonn sé tosú, nó tuilleann sé faoin gcéad ualach fíor. Pléifimid na riachtanais chrua-earraí do mhúnlaí Mistral, teicnící candamúcháin a laghdaíonn na riachtanais cuimhne, agus dhá uirlis ordaithe: SkyPilot agus Cerebrium.

Cad a theastaíonn ó gach múnla

Liostaíonn an tábla seo a leanas na riachtanais FP16 gan chandamú—bonnlíne d’aon ríomh méide.

MúnlaParaiméadairVRAM ÍostaGPU Molta
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46.7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

Ní gá duit an tábla seo chun meastachán a dhéanamh ar mhúnla nach bhfuil liostaithe. I FP16, déan meastachán ar 2 GB de VRAM in aghaidh gach billiún paraiméadar: do mhúnla 7B, 7 x 2 = 14 GB ar a laghad, móide forchostas don taisce KV agus don inneall tátail—sin an fáth a dtaispeánann an tábla 16 GB. Míníonn an corrlach seo cén fáth nach mbíonn cárta 16 GB in ann Mistral 7B a láimhseáil ach go barely, agus cén fáth nach leor é nuair a bhíonn tú ag freastal ar chomhthéacsanna fada do roinnt úsáideoirí comhuaineacha.

Candamú: Cruinneas a thrádáil ar son Cuimhne

Laghdaíonn candamú cruinneas meáchain an mhúnla chun tomhaltas cuimhne a íoslaghdú, go minic gan mórthionchar ar cháilíocht. I FP8 (ocht ngiotán in aghaidh gach meáchain), gearrtar úsáid na cuimhne faoi dhó i gcomparáid le FP16, agus oireann gníomhachtú le hargóint shimplí:

# Freastal ar mhúnla i FP8 le vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
MúnlaFP16FP8Laghdú
Mistral 7B14 GB7 GB-50%
Mistral Nemo24 GB12 GB-50%
Mixtral 8x7B100 GB50 GB-50%

Tá an toradh praiticiúil soiléir: oireann Mixtral 8x7B a d’éiligh dhá chárta A100-80GB i FP16 ar chárta amháin i FP8, ag gearradh do bhille uairiúil faoi dhó. Téann INT4 (ceithre ghiotán) níos faide fós, ach bíonn tionchar suntasach ar cháilíocht; cumasaítear é i TGI trí argóint tiomnaithe:

# Candamú AWQ le TGI
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
CruinneasCuimhneCáilíochtLuas
FP16BonnlíneBonnlíneBonnlíne
FP8-50%-1 go -2%+10-20%
INT4-75%-3 go -5%+30-50%

Go praiticiúil, molaimid FP8 don táirgeadh—is beag an chaillteanas cáilíochta. Oibríonn INT4 le haghaidh prótatípaithe nó timpeallachtaí atá teoranta ó thaobh cuimhne de, de ghnáth taispeántas ar stáisiún oibre le GPU tomhaltóra.

SkyPilot: Ordú Ilscamaill

Is creatlach foinse oscailte é SkyPilot chun LLManna a imscaradh ar aon scamall—AWS, GCP, Azure, Lambda Labs, agus cinn eile. Roghnaíonn sé an GPU is saoire go huathoibríoch agus déileálann sé le soláthar, ionas nach gcaithfidh tú praghsanna spot a chur i gcomparáid de láimh ar fud trí sholáthraí roimh gach seoladh. Soláthraíonn Mistral comhaid YAML atá réidh le húsáid a dhéanann cur síos ar an meaisín, an socrú, agus an t-ordú freastail:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

Tagann timthriall iomlán braisle ansin anuas go ceithre ordú:

# SkyPilot a shuiteáil
pip install "skypilot[aws,gcp,azure]"

# An bhraisle a sheoladh
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Stádas a sheiceáil
sky status

# Stop (chun airgead a shábháil)
sky stop mistral-7b

# Scrios
sky down mistral-7b

Is iad an dá ordú dheireanacha sin na cinn a dhéanann daoine dearmad orthu. Costóidh braisle A10G a fhágtar ag rith thar dheireadh seachtaine chomh mór le mí d’úsáid API do ualaí measartha, sin an fáth go bhfuil sé tábhachtach na figiúirí garbha a bheith ar eolas agat:

MúnlaCumraíocht SkyPilotMeastachán ar Chostas Scamaill
Mistral 7BA10G:1~$1/u
Mixtral 8x7BA100-80GB:2~$6/u
Mixtral 8x22BA100-80GB:4~$12/u

Tá pointe amháin eile a thugann aire duit: cruthaíonn SkyPilot VManna le poirt oscailte go réamhshocraithe. Sa táirgeadh, srianta rochtain líonra le Grúpaí Slándála nó Rialacha Balla Dóiteáin, cuir cothromóir ualaigh le fíordheimhniú os comhair an tseirbhís, agus ná fág port 8000 nochtaithe don idirlíon riamh. Is GPU atá tú ag íoc as ar son duine eile é freastalaí vLLM gan fhíordheimhniú atá inrochtana go poiblí.

Cerebrium: GPU Gan Freastalaí

Glacann Cerebrium cur chuige contrártha le SkyPilot: in ionad meaisíní a bhainistiú, déanann tú cur síos ar sheirbhís agus íocann tú as an ríomhaireacht a úsáideann tú i ndáiríre amháin, le huathscálú. Tógann sé trí ordú chun tosú:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

Déantar cur síos ansin ar an imscaradh iomlán i gcomhad cerebrium.toml:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

Is é an socrú min_replicas = 0 an buntáiste is mó den cur chuige seo: nuair nach bhfuil aon duine ag glaoch ar an tseirbhís, ní chosnaíonn sé aon rud. Is é an malairt ná go gcaithfidh an chéad iarratas tar éis tréimhse neamhghníomhaíochta fanacht go dtosaíonn sampla. Níl de dhíth ort ach an t-ordú cerebrium deploy chun foilsiú; déileálann an ardán le soláthar GPU, uathscálú ó nialas go N sampla, cothromú ualaigh, agus monatóireacht.

Ualach Táirgeachta a Láimhseáil

Chun tríthreoracht a mhéadú, ná lorg GPU níos mó—iolraigh samplaí taobh thiar de chothromóir ualaigh, gach ceann acu ag freastal ar an múnla céanna ar a chárta féin:

                    ┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
                    └─── vLLM instance 3 (GPU C)

Tá cúig mhéadar go leor chun an socrú iomlán a bhainistiú: tomhaiseann tokenanna in aghaidh an tsoicind tríthreoracht giniúna; tugann TTFB (Am go dtí an Chéad Bheart) an mhoill roimh an gcéad token, rud a mhothaíonn an t-úsáideoir; ba chóir go mbeadh úsáid GPU os cionn 80% faoi ualach, murach sin tá tú ag íoc as crua-earraí díomhaoin; déan monatóireacht ar chuimhne GPU chun earráidí OOM a réamh-mheas; agus doimhneacht na ciú, líon na n-iarratas atá ar feitheamh, a chuireann sáithiú in iúl sula ndéanann úsáideoirí gearán. Ar mheaisín amháin, tugann athnuachan leanúnach simplí na bunriachtanais duit cheana féin:

# Monatóireacht a dhéanamh ar úsáid GPU
watch -n 1 nvidia-smi

Príomhphointí

  • Déan meastachán ar ~2 GB VRAM in aghaidh gach billiún paraiméadar i FP16
  • Laghdaíonn candamú FP8 úsáid na cuimhne faoi dhó le tionchar neamhbhríoch ar cháilíocht
  • Simplíonn SkyPilot imscaradh ilscamaill le cumraíochtaí YAML atá réidh le húsáid
  • Tairgeann Cerebrium GPU gan freastalaí le huathscálú (íoc-as-riomhaireacht)
  • Sa táirgeadh, cuir cothromóir ualaigh leis agus déan monatóireacht leanúnach ar mhéadair GPU