Lēmumu koks — Kurš modelis kuram lietojumam
Šajā lapā
Praktiskais izvēles ceļvedis
Tagad tu pazīsti visu Mistral katalogu, un dabiskais nākamais jautājums ir rīcība: kuru modeli izmantot savam projektam? Šī nodarbība piedāvā strukturētu atlases procesu, ko atbalsta lietojumu un modeļu kartēšanas tabula. Mērķis nav sniegt tev gatavu atbildi, bet ļaut tev pamatot savu izvēli arhitektam vai finanšu direktoram.
Sāc ar vajadzību, nevis modeli
Visbiežākā kļūda ir uzreiz izvēlēties “visjaudīgāko” modeli un pielietot to visam. Komanda, kas vienkārša biļešu klasificēšanas uzdevumam pieslēdz pierobežas modeli, maksā desmit reizes vairāk nekā nepieciešams, gaida vairākas sekundes pēc atbildes, ko mazs modelis būtu sniedzis acumirklī, un beigās kļūst atkarīga no API, kur pietiktu ar lokālu modeli. Jauda nekompensē neatbilstību; tā tikai padara to dārgu.
Pareizā pieeja strādā apgriezti un ietver trīs soļus. Pirmkārt, identificē savu galveno uzdevumu — to, kas veido lielāko daļu no apjoma, nevis eksotisko gadījumu, kas notiek reizi mēnesī. Tālāk izvērtē savus reālos ierobežojumus: budžetu, pieņemamo latentumu, datu sensitivitāti un pieejamo infrastruktūru. Modeli tu izvēlies tikai visbeidzot, šī uzdevuma un šo ierobežojumu krustpunktā. Modelis nekad nav labs absolūtā nozīmē; tas ir vai nu piemērots, vai nepiemērots konkrētam krustpunktam.
Lēmumu tabula pēc lietojuma
| Lietojums | Ieteicamais modelis | Līmenis | Kāpēc |
|---|---|---|---|
| Čatbots / Asistents | Mistral Small 4 | Open | Hibrīda instruct+reasoning, 256K konteksts, optimāla cenas un veiktspējas attiecība |
| RAG (garie dokumenti) | Small 4 + Mistral Embed | Open + Premier | Liels konteksta logs + kvalitatīvi iegulstījumi (embeddings) |
| Koda pabeigšana (IDE) | Codestral | Premier | FIM, zems latentums, 80+ valodas |
| Autonomais koda aģents | Devstral 2 | Open | Uzdevumu risināšana no sākuma līdz beigām, koda izpēte |
| Runas sintēze / TTS | Voxtral TTS | Open | Balss klonēšana, straumēšana, daudzvalodu atbalsts |
| Audio transkribēšana | Voxtral Transcribe 2 | Premier | Diarizācija, konteksta biasings, augsta precizitāte |
| Dokumentu ekstrakcija | OCR 3 | Premier | Struktūra, tabulas, vairākas lappuses |
| Attēlu un teksta analīze | Mistral Large 3 | Open | Pierobežas multimodālais, augstākā kvalitāte |
| Matemātiskā spriešana | Magistral Medium 1.2 | Premier | Dziļa domu ķēde, specializēta spriešana |
| Izvietošana mobilajās/edge ierīcēs | Ministral 3 (3B) | Open | Ultra-kompakts, multimodāls, bezsaistes režīms |
| Satura moderācija | Moderation 2 | Premier | Jailbreak noteikšana, pielāgoti aizsargbarjeru noteikumi |
Izies cauri lēmumam trīs soļos
Pirmais solis ir kategorizēt tavu vajadzību. Vispārīgs teksts — saruna, rakstīšana, kopsavilkumu veidošana — ietilpst Small, Large un Medium saimē. Viss, kas saistīts ar kodu, pieder Codestral un Devstral saimei. Audio, neatkarīgi no tā, vai tas ir ievade vai izvade, virzās uz Voxtral. Ar dokumentiem un attēliem strādā, izmantojot OCR 3 vai Large 3, atkarībā no tā, vai vēlies strukturētu ekstrakciju vai interpretāciju. Sarežģīta spriešana prasa Magistral, bet drošības jautājumi ietilpst Moderation 2 kategorijā. Šī kategorizācija uzreiz novērš trīs ceturtdaļas no kataloga.
Otrais solis nostata šo kandidātu pret taviem ierobežojumiem, un tieši šeit tiek pieņemti īstie lēmumi. Ierobežots budžets norāda uz Open modeļiem pašmitināšanai vai uz Small 4, izmantojot API. Sensitīvi dati prasa atvērtā modeļa pašmitināšanu neatkarīgi no API ērtībām. Stingras prasības attiecībā uz latentumu virza tevi uz Ministral 3 lokāli vai uz Codestral IDE pabeigšanai. Maksimālas kvalitātes meklējumi attaisno Large 3 vai Magistral Medium 1.2. Visbeidzot, komandai bez infrastruktūras, ko administrēt, vajadzētu pieturēties pie Premier API, pat ja tas maksā vairāk. Šie ierobežojumi bieži ir pretrunā viens otram: eksplicīta kompromisu meklēšana ir labāka nekā konflikta atklāšana produkšanas vidē.
Trešais solis ir tas, ko cilvēki vislabprātāk izlaiž un ko nekad nedrīkst izlaist: prototipa validācija. Nekad neizvēlies modeli, balstoties tikai uz etalontestiem. Izveido testu kopu no divdesmit līdz piecdesmit reprezentatīviem piemēriem, palaid cauri tiem divus vai trīs kandidātus, salīdzini rezultātu kvalitāti, latentumu un izmaksas, pēc tam iterē. Šī pārbaude reti aizņem vairāk par pusdienu, un tā ir vienīgā, kas tev pastāsta kaut ko par tavu pašu kontekstu, nevis par vidējo rādītāju, kas aprēķināts citur.
Uzvarošās kombinācijas
Nobriedušās arhitektūrās tu neizvēlies modeli, bet gan montāžu, kur katrs komponents dara to, ko tas prot vislabāk. Pilnīga RAG sistēma savieno Mistral Embed indeksēšanai, Small 4 ģenerēšanai un Moderation 2 izeju filtrēšanai. Dokumentu konveijers sākas ar OCR 3 ekstrakcijai, pāriet uz Small 4 analīzei un paļaujas uz Mistral Embed meklēšanai. Izstrādātāja asistents apvieno Codestral IDE vidē, Devstral 2 sarežģītiem uzdevumiem un Codestral Embed koda meklēšanai. Balss lietotne, visbeidzot, ieiet caur Voxtral Transcribe, apstrādā ar Small 4 un iziet caur Voxtral TTS. Šo ķēžu kopējās izmaksas gandrīz vienmēr ir zemākas nekā viena modeļa izmaksas, kas mēģina darīt visu.
Galvenās atziņas
- Vienmēr sāc ar lietojumu, nevis modeli
- Pirms izvēles izvērtē triādi uzdevums / ierobežojumi / budžets
- Daudzu modeļu kombinācijas bieži ir efektīvākas par vienu modeli
- Vienmēr testē ar saviem datiem pirms saistību uzņemšanās
- Mistral Small 4 ir noklusējuma sākumpunkts vairumam gadījumu