Otsustuspuu — milline mudel milliseks kasutusjuhuks
Sellel lehel
Praktiline valikujuhend
Nüüd, kui tunned kogu Mistrali mudelite kataloogi, on järgmine loogiline küsimus tegevuses: millist mudelit peaksid oma projektis kasutama? See õppetund pakub struktureeritud valikuprotsessi, mida toetab kasutusjuhtude ja mudelite vaheline vastavustabel. Eesmärk ei ole anda sulle valmis vastust, vaid võimaldada põhjendada oma valikut arhitektile või finantsjuhile.
Alusta vajadusest, mitte mudelist
Kõige levinum viga on kohe valida „võimsaim“ mudel ja rakendada seda kõigele. Meeskond, mis ühendab tipptasemel mudeli lihtsa piletite klassifitseerimise ülesandega, maksab kümme korda rohkem kui vaja, ootab vastuseid mitu sekundit, mida väike mudel oleks edastanud silmapilkselt, ja muutub lõpuks sõltuvaks API-st, kus kohalik mudel oleks piisanud. Võimsus ei kompenseeri sobimatust; see teeb selle lihtsalt kalliks.
Õige lähenemine töötab vastupidises suunas ja hõlmab kolme sammu. Esiteks tuvasta oma põhiline ülesanne – see, mis moodustab suurema osa mahust, mitte eksootiline juhtum, mis juhtub kord kuus. Seejärel hinda oma tegelikke piiranguid: eelarve, vastuvõetav latentsus, andmete tundlikkus ja olemasolev taristu. Mudeli valid alles viimasena, selle ülesande ja piirangute ristumiskohas. Mudel pole kunagi absoluutses mõttes hea; see on kas sobiv või sobimatu konkreetsele ristumiskohale.
Otsustustabel kasutusjuhtude kaupa
| Kasutusjuhtum | Soovitatav mudel | Tase | Miks |
|---|---|---|---|
| Vestlusrobot / Assistent | Mistral Small 4 | Open | Hübriidne instruct+reasoning, 256K kontekst, optimaalne hinna ja jõudluse suhe |
| RAG (pikad dokumendid) | Small 4 + Mistral Embed | Open + Premier | Suur kontekstiaken + kvaliteetsed manused |
| Koodi lõpetamine (IDE) | Codestral | Premier | FIM, madal latentsus, 80+ keelt |
| Autonoomne koodiagent | Devstral 2 | Open | Ülesande lahendamine otsast lõpuni, koodi uurimine |
| Kõnesüntees / TTS | Voxtral TTS | Open | Hääle kloonimine, voogedastus, mitmekeelsus |
| Heli transkribeerimine | Voxtral Transcribe 2 | Premier | Diarisatsioon, konteksti kallutamine, kõrge täpsus |
| Dokumentide ekstraheerimine | OCR 3 | Premier | Struktuur, tabelid, mitu lehekülge |
| Pildi ja teksti analüüs | Mistral Large 3 | Open | Tipptasemel multimodaalne, parim kvaliteet |
| Matemaatiline arutluskäik | Magistral Medium 1.2 | Premier | Sügav mõtteahel, spetsialiseerunud arutluskäik |
| Mobiilne/serva paigutus | Ministral 3 (3B) | Open | Ülikompaktne, multimodaalne, võrguühenduseta |
| Sisu moderatsioon | Moderation 2 | Premier | Jailbreak-i tuvastamine, kohandatud kaitseraudteed |
Läbi otsustusprotsessi kolmes sammus
Esimene samm on oma vajaduse kategoriseerimine. Üldine tekst – vestlus, kirjutamine, kokkuvõtete tegemine – kuulub Small, Large ja Medium perekonda. Kõik, mis on seotud koodiga, kuulub Codestrali ja Devstrali perekonda. Heli, olgu siis sisend või väljund, läheb Voxtrali alla. Dokumente ja pilte töötle OCR 3 või Large 3 abil, sõltuvalt sellest, kas soovid struktureeritud ekstraheerimist või tõlgendamist. Kompleksne arutluskäik nõuab Magistrali ja turvaküsimused kuuluvad Moderation 2 alla. See kategoriseerimine kõrvaldab kohe kolmveerandi kataloogist.
Teine samm seab selle kandidaadi vastamisi sinu piirangutega ja just siin tehakse tegelikud otsused. Pingeline eelarve viitab Open-mudelitele isemajutamiseks või Small 4-le API kaudu. Tundlikud andmed nõuavad avatud mudeli isemajutamist, sõltumata API mugavusest. Range latentsusnõue suunab sind kohaliku Ministral 3 või IDE lõpetamiseks Codestrali poole. Maksimaalse kvaliteedi taotlus õigustab Large 3 või Magistral Medium 1.2 kasutamist. Lõpuks peaks meeskond, kellel pole taristut haldamiseks, jääma Premier API juurde, isegi kui see maksab rohkem. Need piirangud on sageli omavahel vastuolus: selge kompromissi tegemine on parem kui konflikti avastamine tootmises.
Kolmas samm on see, mille inimesed kõige meelsamini vahele jätavad, kuid mida ei tohiks kunagi vahele jätta: prototüübi valideerimine. Ära vali mudelit kunagi ainult võrdlustestide põhjal. Koosta kakskümmend kuni viiskümmend esinduslikku näidet sisaldav testkomplekt, käivita neil kaks või kolm kandidaati, võrdle tulemuste kvaliteeti, latentsust ja kulu ning seejärel korda protsessi. See kontroll võtab harva rohkem kui pool päeva ja see on ainus, mis annab sulle teavet just sinu konteksti kohta, mitte mujal arvutatud keskmise kohta.
Võitvad kombinatsioonid
Küpsetes arhitektuurides ei vali sa mitte mudelit, vaid koostet, kus iga komponent teeb seda, mida ta kõige paremini oskab. Täielik RAG-süsteem aheldab Mistral Embedi indekseerimiseks, Small 4 genereerimiseks ja Moderation 2 väljundite filtreerimiseks. Dokumenditorustik algab OCR 3-ga ekstraheerimiseks, liigub edasi Small 4-le analüüsiks ja tugineb otsinguks Mistral Embedile. Arendaja assistent ühendab Codestrali IDE-s, Devstral 2 komplekssete ülesannete jaoks ja Codestral Embedi koodiotsinguks. Häälrakendus omakorda siseneb Voxtral Transcribe’i kaudu, töötleb andmeid Small 4-ga ja väljub Voxtral TTS-i kaudu. Nende ahelate kogukulu on peaaegu alati madalam kui ühe mudeli puhul, mis püüab teha kõike.
Peamised punktid
- Alusta alati kasutusjuhtumist, mitte mudelist
- Hinda enne valimist ülesande / piirangute / eelarve triaadi
- Mitme mudeli kombinatsioonid on sageli tõhusamad kui üksik mudel
- Testi alati oma andmetega enne lõplikku otsustamist
- Mistral Small 4 on enamiku juhtumite vaikimisi lähtepunkt