Hugging Face, formatai ir bendruomenė
Šiame puslapyje
Kaip pasiekti „Mistral“ atvirus modelius
Žinoti, kad modeliai yra atviro kodo, yra viena, o žinoti, kur juos gauti, kokiu formatu ir kokia priemone paleisti – visai kas kita. Ankstesnėje pamokoje sužinojai priežastis rinktis atvirumą; šioje gausi konkrečius veiksmus. Pabaigoje turėsi galimybę atsisiųsti modelį, suprasti, ką atsisiuntei, ir paleisti jį savo kompiuteryje.
„Hugging Face“: standartinė platforma
„Hugging Face“ yra standartinė platforma mašininio mokymosi modeliams platinti, ir visi „Mistral“ atviri modeliai skelbiami ten oficialioje mistralai organizacijoje. URL adresas visada laikosi formato huggingface.co/mistralai/{model-name}, todėl gali tiesiogiai nueiti į modelio puslapį neieškodamas. Įprask tikrinti, ar esi oficialioje organizacijoje: trečiųjų šalių veidrodžiai yra teisėti, tačiau jų turinys gali būti pakeistas.
Kiekviename modelio puslapyje surinkti keturi elementai, kuriuos turi mokėti skaityti. Modelio kortelė („Model Card“) aprašo galimybes, apribojimus ir, svarbiausia, licenciją – tai pirmasis dokumentas, kurį reikia peržiūrėti prieš bet kokį įsipareigojimą, nes jis nulemia, ką tau leidžiama daryti su modeliu. Svorio failus galima atsisiųsti individualiai arba masiškai. Metrikos ir lyginamieji testai („benchmarks“) pateikia rezultatus pagal standartinius vertinimus. Galiausiai, diskusijos suburia bendruomenės klausimus ir atsiliepimus; dažnai ten rasi jau išspręstą diegimo problemą, su kuria susidūrei pats.
Gyvena kartu trys atsisiuntimo būdai. „Python“ biblioteka lengviausiai integruojama į darbo eigą:
from huggingface_hub import snapshot_download
snapshot_download(
repo_id="mistralai/Mistral-Small-4-2603",
local_dir="./mistral-small-4"
)
„Git LFS“ tinka, jei nori modelį laikyti versijuojama saugykla:
git lfs install
git clone https://huggingface.co/mistralai/Mistral-Small-4-2603
Tuo tarpu CLI (komandinės eilutės įrankis) patogus vienos eilutės komandoms serveryje:
huggingface-cli download mistralai/Mistral-Small-4-2603
Dideliems modeliams, sveriantiems keliasdešimt gigabaitų, rinkis „snapshot download“: jis palaiko tęsimą nutraukimo atveju. Nestabiliu ryšiu arba nutrūkus SSH sesijai, ši viena savybė išgelbėja tave nuo pradėjimo iš naujo.
Failų formatų supratimas
Tas pats modelis platinamas keliais formatais, ir pasirinkimas nėra tik kosmetinis: jis lemia, kokioje techninėje įrangoje galėsi jį paleisti.
safetensors formatas yra šiuolaikinis svorių standartas. Jis pakeitė senąjį .bin formatą, kurio įkėlimas galėjo suaktyvinti savavališko kodo vykdymą – tai realus atakos vektorius vos atidarius atsisiųstą failą. „Safetensors“ neturi šios rizikos, įkeliamas naudojant atminties žemėlapį („memory-mapped“) greičiui užtikrinti ir išlieka suderinamas tarp „PyTorch“, „TensorFlow“ bei „JAX“. Tai numatytasis formatas „Hugging Face“ platformoje ir tas, kurį naudosiai aptarnavimui GPU aplinkoje arba derinimui („fine-tuning“).
GGUF („GPT-Generated Unified Format“) formatas tenkina kitą poreikį: vietinį išvedimą („inference“) naudojant „llama.cpp“ ir jo darinius, „Ollama“ arba „LM Studio“. Čia modeliai yra kvantuoti – suspausti iki 4, 5 arba 8 bitų, kas žymiai sumažina jų dydį. Jie telpa į vieną failą ir gali veikti CPU be GPU. Šias konversijas dažnai kuria bendruomenė, o ne leidėjas, kas paaiškina jų greitą prieinamumą, tačiau reikalauja patikrinti kilmę.
| Scenarijus | Rekomenduojamas formatas |
|---|---|
| Gamybinis aptarnavimas (GPU) | Safetensors + vLLM arba TensorRT-LLM |
| Vietinis naudojimas (nešiojamas kompiuteris) | GGUF + Ollama arba LM Studio |
| Derinimas („Fine-tuning“) | Safetensors |
| Moksliniai tyrimai | Safetensors |
| Riboti ištekliai (CPU) | Kvantuotas GGUF (Q4_K_M) |
Modelio diegimas savo kompiuteryje
Pirmajai praktinei patirčiai „Ollama“ reikalauja mažiausiai pastangų: įdiegus iš ollama.com, pakanka dviejų komandų modeliui gauti ir tada bendrauti su juo.
ollama pull mistral-small
ollama run mistral-small
„Ollama“ pati tvarko atsisiuntimą, kvantavimą ir aptarnavimą. Tai įrankis, kurį verta rekomenduoti kolegai, norinčiam tiesiog pajusti modelį prieš priimant didesnius įsipareigojimus.
Gamybai poreikiai keičiasi: turi apdoroti lygiagrečius užklausas be vėlavimo šuolių. „vLLM“ sukurtas būtent tam ir pateikia serverį, suderinamą su „OpenAI“ sąsaja, o tai sumažina pakeitimus programos pusėje.
pip install vllm
vllm serve mistralai/Mistral-Small-4-2603
Nuolatinis grupavimas („continuous batching“), spėjimas („speculation“) ir lygiagretusis apdorojimas keliomis GPU yra būtent tai, kas atskiria prototipą, aptarnaujantį vieną vartotoją, nuo tarnybos, aptarnaujančios penkiasdešimt.
Bendruomenės išteklių naudojimas
„Mistral“ palaiko „cookbook“ saugyklą, kurioje pateikiami integracijos su „LangChain“ ir „LlamaIndex“ pavyzdžiai, pilnos RAG darbo eigos, prižiūrimas derinimas („supervised fine-tuning“), funkcijų kvietimas ir agentai, taip pat dokumentų apdorojimas naudojant OCR. Pradėjus nuo paieškos atveju, artimu tavo situacijai, sutaupysi daugiau laiko nei skaitant visą API nuorodą iš eilės.
Bendruomenės „Discord“ atlieka papildomą vaidmenį: ten gauni pagalbos diegiant ir derinant modelius, atsiliepimų lyginant modelius, naujų funkcijų pranešimų ir techninių diskusijų apie architektūras. Galiausiai, oficialus tinklaraštis skelbia išsamius straipsnius su lyginamaisiais testais ir naudojimo gidais kiekvieno leidimo metu. Įprask jį skaityti prieš adoptuojant naują modelį: ten paaiškinti mokymo pasirinkimai dažnai numato elgseną, kurią stebėsi.
Svarbiausi punktai
- Atviri modeliai yra Hugging Face platformoje, organizacijoje
mistralai - safetensors formatas yra standartas aptarnavimui GPU ir derinimui
- GGUF formatas optimizuotas vietiniam naudojimui (CPU/nešiojamas kompiuteris) per „Ollama“ arba „llama.cpp“
- Ollama greitam testavimui, vLLM – gamybiniam aptarnavimui
- GitHub cookbooks, Discord ir tinklaraštis yra pagrindiniai bendruomenės ištekliai