Medžio sprendimai — Kurį modelį rinktis konkrečiam atvejui
Šiame puslapyje
Praktinis pasirinkimo vadovas
Dabar pažįsti visą „Mistral“ katalogą, todėl kyla natūralus klausimas: ką daryti toliau? Kurį modelį naudoti savo projekte? Šioje pamokoje pateikiamas struktūruotas pasirinkimo procesas, paremtas naudojimo atvejų ir modelių atitikties lentele. Tikslas – ne duoti tau paruoštą atsakymą, o suteikti galimybę pagrįsti savo pasirinkimą architektui ar finansų direktoriui.
Pradėk nuo poreikio, o ne nuo modelio
Dažniausia klaida – iškart pasirinkti „galingiausią“ modelį ir taikyti jį viskam. Komanda, kuri paprastai bilietų klasifikavimo užduočiai naudoja pažangiausią modelį, sumoka dešimt kartų daugiau nei reikia, laukia kelias sekundes atsakymo, kurį mažas modelis būtų pateikęs akimirksniu, ir galiausiai tampa priklausoma nuo API, nors užtektų vietinio modelio. Galia nekompensuoja netinkamo pasirinkimo; ji tik padidina kainą.
Tinkamas požiūris veikia atvirkščiai ir apima tris žingsnius. Pirmiausia nustatyk savo pagrindinę užduotį – tą, kuri sudaro didžiąją dalį darbo krūvio, o ne egzotinį atvejį, pasitaikantį kartą per mėnesį. Tada įvertink realius apribojimus: biudžetą, priimtiną delsą, duomenų jautrumą ir turimą infrastruktūrą. Modelį renki tik pabaigoje, kaip šių užduočių ir apribojimų sankirtos rezultatą. Modelis niekada nėra geras savaime; jis yra tinkamas arba netinkamas konkrečiai situacijai.
Sprendimų lentelė pagal naudojimo atvejus
| Naudojimo atvejis | Rekomenduojamas modelis | Lygmuo | Kodėl |
|---|---|---|---|
| Pokalbių robotas / Asistentas | Mistral Small 4 | Open | Hibridinis instruct+reasoning, 256K kontekstas, optimalus kainos ir našumo santykis |
| RAG (ilgi dokumentai) | Small 4 + Mistral Embed | Open + Premier | Didelis konteksto langas + kokybiškos įterptys |
| Kodo papildymas (IDE) | Codestral | Premier | FIM, maža delsa, 80+ kalbų |
| Autonomus kodo agentas | Devstral 2 | Open | Užduočių sprendimas nuo pradžių iki galo, kodo naršymas |
| Kalbos sintezė / TTS | Voxtral TTS | Open | Balso klonavimas, srautinis perdavimas, daugiakalbiškumas |
| Garso transkripcija | Voxtral Transcribe 2 | Premier | Kalbėtojų atskyrimas, konteksto biasing, didelis tikslumas |
| Dokumentų išgavimas | OCR 3 | Premier | Struktūra, lentelės, keli puslapiai |
| Vaizdų ir teksto analizė | Mistral Large 3 | Open | Pažangus multimodalumas, geriausia kokybė |
| Matematinis samprotavimas | Magistral Medium 1.2 | Premier | Gilus minties grandinės procesas, specializuotas samprotavimas |
| Diegimas mobiliuosiuose / kraštuose | Ministral 3 (3B) | Open | Ultra kompaktiškas, multimodalinis, veikia neprisijungus |
| Turinio moderavimas | Moderation 2 | Premier | Apsaugos nuo cenzūros aptikimas, pritaikytos apsaugos priemonės |
Perženk sprendimų priėmimą trimis žingsniais
Pirmasis žingsnis – suskirstyti tavo poreikį į kategorijas. Bendras tekstas – pokalbiai, rašymas, santraukos – priklauso „Small“, „Large“ ir „Medium“ šeimai. Viskas, kas susiję su kodu, priskiriama „Codestral“ ir „Devstral“ šeimai. Garso įvestis arba išvestis tenka „Voxtral“. Dokumentus ir vaizdus tvarkyk naudodamas „OCR 3“ arba „Large 3“, priklausomai nuo to, ar nori struktūruoto išgavimo, ar interpretacijos. Sudėtingam samprotavimui skirtas „Magistral“, o saugumo klausimai patenka į „Moderation 2“ sritį. Šis skirstymas iškart pašalina tris ketvirtadalius katalogo.
Antrasis žingsnis – priešpriešinti šį kandidatą tavo apribojimams; būtent čia ir priimami tikri sprendimai. Ribotas biudžetas rodo link „Open“ modelių savarankiškam diegimui arba link „Small 4“ per API. Jautrūs duomenys reikalauja savarankiškai talpinti atvirą modelį, nepaisant API patogumo. Griežtas delsos reikalavimas nukreipia tave link vietinio „Ministral 3“ arba link „Codestral“ IDE papildymui. Siekis maksimalios kokybės pateisina „Large 3“ arba „Magistral Medium 1.2“ naudojimą. Galiausiai, komanda, neturinti infrastruktūros valdyti, turėtų laikytis „Premier“ API, net jei tai kainuoja daugiau. Šie apribojimai dažnai prieštarauja vienas kitam: aiškus kompromisas yra geriau nei konflikto atradimas gamybos aplinkoje.
Trečiasis žingsnis – tas, kurį žmonės noriausiai praleidžia, bet niekada neturėtų: prototipo patvirtinimas. Niekada nesirink modelio tik remdamasis lyginamaisiais testais. Sudaryk dvidešimties–penkiasdešimties reprezentatyvių pavyzdžių testų rinkinį, paleisk juose du ar tris kandidatus, palygink rezultatų kokybę, delsą ir kainą, tada kartok procesą. Šis patikrinimas retai trunka ilgiau nei pusę dienos, ir tai yra vienintelis būdas sužinoti ką nors apie tavo konkretų kontekstą, o ne apie kitur apskaičiuotą vidurkį.
Laimintys deriniai
Brandžiose architektūrose renkamasi ne modelį, o surinkinį, kuriame kiekvienas komponentas atlieka tai, ką moka geriausiai. Pilna RAG sistema sujungia „Mistral Embed“ indeksavimui, „Small 4“ generavimui ir „Moderation 2“ išvesties filtravimui. Dokumentų vamzdynas prasideda nuo „OCR 3“ išgavimo, pereina prie „Small 4“ analizės ir pasikliauna „Mistral Embed“ paieškai. Kūrėjo asistentas derina „Codestral“ IDE aplinkoje, „Devstral 2“ sudėtingoms užduotims ir „Codestral Embed“ kodo paieškai. Garso programa, galiausiai, įeina per „Voxtral Transcribe“, apdorojama naudojant „Small 4“ ir išeina per „Voxtral TTS“. Bendra šių grandinių kaina beveik visada yra mažesnė nei vieno modelio, bandančio atlikti viską, kaina.
Svarbiausi punktai
- Visada pradėk nuo naudojimo atvejo, o ne nuo modelio
- Prieš rinkdamasis įvertink užduoties / apribojimų / biudžeto triadą
- Kelių modelių deriniai dažnai yra efektyvesni nei vienas modelis
- Visada testuok su savo duomenimis prieš įsipareigodamas
- „Mistral Small 4“ yra numatytoji pradinė pozicija daugeliu atvejų