Hugging Face, vormingud ja kogukond
Sellel lehel
Mistrali avatud mudelite kasutamine
Teada, et mudelid on avatud lähtekoodiga, on üks asi; teada, kust neid saada, millises vormingus ja millise tööriistaga käivitada, on hoopis teine. Eelmine tund selgitas sulle avatuse valimise põhjuseid; see annab sulle konkreetsed sammud. Tunn lõpuks oskad sa mudeli alla laadida, aru saada, mida oled alla laadinud, ja seda oma masinas käivitada.
Hugging Face: standardne platvorm
Hugging Face on masinõppe mudelite levitamise standardplatvorm ja kõik Mistrali avatud mudelid avaldatakse seal ametliku organisatsiooni mistralai all. URL järgib alati vormingut huggingface.co/mistralai/{model-name}, mis võimaldab sul minna otse mudeli lehele ilma otsinguta. Harjuta end kontrollima, et oled ametlikul organisatsioonil: kolmandate osapoolte peeglid on legaalsed, kuid nende sisu võib olla muudetud.
Iga mudeli leht koondab neli elementi, mida pead oskama lugeda. Mudelikaart (Model Card) kirjeldab võimekusi, piiranguid ja eelkõige litsentsi – see on esimene dokument, mida enne igasugust kohustust konsulteerida, sest see dikteerib, mida sul on mudeliga lubatud teha. Kaalufailid laaditakse alla individuaalselt või pakettidena. Mõõdikud ja võrdlustestid (benchmarks) raportivad tulemuslikkust standardsetes hindamistes. Arutelud koguvad lõpuks kogukonna küsimusi ja tagasisidet; sageli leiad sealt juba lahenduse probleemile, millega ise silmitsi seisad.
Kasutusel on kolm allalaadimismeetodit. Pythoni teek on kõige paremini integreeritav töövoogu:
from huggingface_hub import snapshot_download
snapshot_download(
repo_id="mistralai/Mistral-Small-4-2603",
local_dir="./mistral-small-4"
)
Git LFS sobib, kui soovid mudelit käsitleda versioneeritud hoidlana:
git lfs install
git clone https://huggingface.co/mistralai/Mistral-Small-4-2603
Käsurealiides (CLI) on seevastu mugav üherealiste käskude jaoks serveris:
huggingface-cli download mistralai/Mistral-Small-4-2603
Suurte, mitukümmend gigabaiti kaaluvate mudelite puhul eelista snapshot download’i: see haldab katkenud allalaadimiste jätkamist. Ebastabiilsel ühendusel või SSH-seansil, mis katkeb, säästab see üks omadus sind otsast alustamisest.
Failivormingute mõistmine
Sama mudelit levitatakse mitmes vormingus ja valik ei ole kosmeetiline: see määrab, millisel riistvaral saad seda käivitada.
Safetensors on kaalude tänapäevane standard. See asendas vana .bin vormingu, kus laadimine võis käivitada suvalise koodi – reaalne rünnakuvektor niipea, kui avad allalaetud faili. Safetensors ei kanna seda riski, laadib mälusse kaardistatuna kiiruse huvides ja jääb ühilduvaks PyTorch, TensorFlow ja JAX vahel. See on Hugging Face’i vaikevorming ja see, mida kasutad GPU-l teenindamiseks või häälestamiseks (fine-tuning).
GGUF (GPT-Generated Unified Format) vastab teisele vajadusele: kohalik järeldus (inference) llama.cpp ja selle tuletistega, nagu Ollama või LM Studio. Siinsed mudelid on kvanditud – tihendatud 4, 5 või 8 bitini – mis vähendab oluliselt nende suurust. Need mahuvad ühte faili ja saavad joosta CPU-l, ilma GPU-ta. Neid teisendusi toodab sageli kogukond, mitte avaldaja, mis seletab nende kiiret kättesaadavust, kuid nõuab päritolu kontrollimist.
| Stsenaarium | Soovitatav vorming |
|---|---|
| Tootmise teenindamine (GPU) | Safetensors + vLLM või TensorRT-LLM |
| Kohalik kasutus (sülearvuti) | GGUF + Ollama või LM Studio |
| Häälestamine (Fine-tuning) | Safetensors |
| Teadustöö | Safetensors |
| Piiratud ressursid (CPU) | Kvanditud GGUF (Q4_K_M) |
Mudeli kasutuselevõtt oma masinas
Esimeseks praktiliseks kogemuseks nõuab Ollama kõige vähem vaeva: pärast installimist aadressilt ollama.com piisab kahest käsust mudeli toomiseks ja seejärel sellega vestlemiseks.
ollama pull mistral-small
ollama run mistral-small
Ollama haldab ise allalaadimist, kvantimist ja teenindamist. See on tööriist, mida soovitada kolleegile, kes soovib lihtalt mudelist tunnetust saada enne suuremate kohustuste võtmist.
Tootmises muutuvad vajadused: pead taluma samaaegseid päringuid ilma latentsuse hüppeta. vLLM on loodud just selleks ja pakub serverit, mis ühildub OpenAI liidesega, mis piirab muudatusi rakenduse poolel.
pip install vllm
vllm serve mistralai/Mistral-Small-4-2603
Pidev batch-töötlus, spekulatsioon ja mitme GPU paralleeltöötlus on täpselt need, mis eraldavad ühte kasutajat teenindavat prototüüpi viiskümmend kasutajat teenindavast teenusest.
Kogukonna ära kasutamine
Mistral haldab cookbooke’i hoidlat, mis dokumenteerib näidete varal integratsiooni LangChaini ja LlamaIndexiga, täielikke RAG-torustikke, juhendatud häälestamist, funktsioonide kutsumist ja agente, samuti dokumentide töötlemist OCR-iga. Alustades otsinguga juhtumist, mis on sinu omale lähedane, säästad rohkem aega kui API referensi sirgjooneline läbilugemine.
Kogukonna Discordil on täiendav roll: saad abi kasutuselevõtul ja häälestamisel, tagasisidet mudelite võrdlemisel, teateid uutest funktsioonidest ja tehnilisi arutelusid arhitektuuride üle. Ametlik blogi avaldab lõpuks iga väljalaskega üksikasjaliku artikli võrdlustestide ja kasutusjuhenditega. Harjuta end seda lugema enne uue mudeli kasutuselevõttu: seal selgitatud treeninguvalikud ennustavad sageli käitumist, mida hakkad täheldama.
Peamised punktid
- Avatud mudelid asuvad Hugging Face’il organisatsiooni
mistralaiall - Safetensors on standard GPU-l teenindamiseks ja häälestamiseks
- GGUF on optimeeritud kohalikuks kasutuseks (CPU/sülearvuti) läbi Ollama või llama.cpp
- Ollama kiireks testimiseks, vLLM tootmise teenindamiseks
- GitHubi cookbooke’id, Discord ja blogi on peamised kogukonna ressursid