Odločitveno drevo — Kateri model za kateri primer uporabe
Na tej strani
Praktični vodnik za izbiro
Sedaj poznaš celoten katalog Mistral, naravno naslednje vprašanje pa je akcija: kateri model naj uporabiš za svoj projekt? Ta lekcija ponuja strukturiran postopek izbire, podprt s tabelo preslikave med primeri uporabe in modeli. Cilj ni, da ti damo že pripravljen odgovor, temveč da ti omogočimo utemeljitev tvoje izbire pred arhitektom ali finančnim direktorjem.
Začni s potrebo, ne z modelom
Najpogostejša napaka je takojšnja izbira „najzmogljivejšega” modela in njegova uporaba za vse. Ekipa, ki v preprosto nalogo razvrščanja vstopnic vključi mejni model, plača desetkrat višjo ceno, čaka več sekund na odgovor, ki bi ga majhen model vrnil takoj, in na koncu postane odvisna od API-ja, kjer bi zadostoval lokalni model. Moč ne nadomesti neskladja; naredi ga le dragega.
Pravilen pristop deluje v obratni smeri in vključuje tri korake. Najprej opredeli svojo glavno nalogo – tisto, ki predstavlja večino obsega, ne eksotičnega primera, ki se zgodi enkrat na mesec. Nato oceni svoje dejanske omejitve: proračun, sprejemljivo zakasnitev, občutljivost podatkov in razpoložljivo infrastrukturo. Model izbereš šele nazadnje, na presečišču te naloge in teh omejitev. Model nikoli ni dober v absolutnem smislu; je bodisi primeren bodisi neprimeren za specifično presečišče.
Odločitvena tabela po primeru uporabe
| Primer uporabe | Priporočeni model | Raven | Zakaj |
|---|---|---|---|
| Klepetalni bot / Pomočnik | Mistral Small 4 | Open | Hibridno instruct+razmišljanje, kontekst 256K, optimalno razmerje med ceno in zmogljivostjo |
| RAG (dolgi dokumenti) | Small 4 + Mistral Embed | Open + Premier | Veliko okno konteksta + kakovostni vgradnji (embeddings) |
| Dopolnjevanje kode (IDE) | Codestral | Premier | FIM, nizka zakasnitev, 80+ jezikov |
| Avtonomni agent za kodo | Devstral 2 | Open | Reševanje nalog od začetka do konca, raziskovanje kode |
| Sinteza govora / TTS | Voxtral TTS | Open | Kloniranje glasu, pretakanje, večjezičnost |
| Transkripcija zvoka | Voxtral Transcribe 2 | Premier | Diarizacija, pristranskost konteksta, visoka natančnost |
| Ekstrakcija dokumentov | OCR 3 | Premier | Struktura, tabele, več strani |
| Analiza slike + besedila | Mistral Large 3 | Open | Mejno večmodalno, najboljša kakovost |
| Matematično razmišljanje | Magistral Medium 1.2 | Premier | Globoko veriženje misli, specializirano razmišljanje |
| Namestitev na mobilne naprave/rob | Ministral 3 (3B) | Open | Izjemno kompakten, večmodalen, brez povezave |
| Moderiranje vsebine | Moderation 2 | Premier | Zaznavanje prebojev varnosti (jailbreak), prilagodljiva zaščitna ograja |
Prehod skozi odločitev v treh korakih
Prvi korak je kategorizacija tvoje potrebe. Splošno besedilo – pogovor, pisanje, povzemanje – spada v družino Small, Large in Medium. Vse, kar je povezano s kodo, pripada družini Codestral in Devstral. Zvok, ne glede na to, ali gre za vhod ali izhod, gre k Voxtral. Z dokumenti in slikami ravnaj z OCR 3 ali Large 3, odvisno od tega, ali želiš strukturirano ekstrakcijo ali interpretacijo. Kompleksno razmišljanje zahteva Magistral, varnostna vprašanja pa spadajo pod Moderation 2. Ta kategorizacija takoj izloči tri četrtine kataloga.
Drugi korak postavi tega kandidata proti tvojim omejitvam in tu se odločitve dejansko sprejmejo. Omejen proračun kaže na modele Open za samostojno gostovanje ali na Small 4 prek API-ja. Občutljivi podatki zahtevajo samostojno gostovanje odprtega modela, ne glede na priročnost API-ja. Stroga zahteva glede zakasnitve te usmeri k Ministral 3 lokalno ali k Codestral za dopolnjevanje v IDE-ju. Iskanje največje kakovosti upravičuje Large 3 ali Magistral Medium 1.2. Končno, ekipa brez infrastrukture za upravljanje naj ostane pri API-ju Premier, tudi če stane več. Te omejitve si pogosto nasprotujejo: izrecno tehtanje med njimi je boljše, kot da konflikt odkriješ šele v proizvodnem okolju.
Tretji korak je tisti, ki ga ljudje najraje preskočijo, pa ga nikoli ne bi smeli: validacija prototipa. Nikoli ne izberi modela zgolj na podlagi referenčnih testov. Sestavi testni niz dvajsetih do petdesetih reprezentativnih primerov, na njih zaženi dva ali tri kandidate, primerjaj kakovost rezultatov, zakasnitev in stroške, nato pa iteriraj. To preverjanje redko traja več kot pol dneva, je pa edino, ki ti pove nekaj o tvojem lastnem kontekstu, namesto o povprečju, izračunanem drugje.
Zmagovalne kombinacije
V zrelih arhitekturah ne izbereš modela, temveč sestav, kjer vsaka komponenta dela tisto, kar dela najbolje. Popoln sistem RAG poveže Mistral Embed za indeksiranje, Small 4 za generiranje in Moderation 2 za filtriranje izhodov. Cevovod za dokumente se začne z OCR 3 za ekstrakcijo, nadaljuje s Small 4 za analizo in se zanaša na Mistral Embed za iskanje. Pomočnik za razvijalce združuje Codestral v IDE-ju, Devstral 2 za kompleksne naloge in Codestral Embed za iskanje kode. Glasovna aplikacija končno vstopi prek Voxtral Transcribe, obdela s Small 4 in izstopi prek Voxtral TTS. Skupni strošek teh verig je skoraj vedno nižji od stroška enega samega modela, ki bi poskušal narediti vse.
Ključne ugotovitve
- Vedno začni s primerom uporabe, ne z modelom
- Pred izbiro oceni triado naloga / omejitve / proračun
- Kombinacije več modelov so pogosto učinkovitejše od enega samega modela
- Pred zavezo vedno testiraj s svojimi podatki
- Mistral Small 4 je privzeta izhodiščna točka za večino primerov