Zaključno zaključivanje: Zašto, kada i uštede troškova
Na ovoj stranici
Ažuriranje 2. studenoga 2026. — Modeli. Mistral Large 3 (
mistral-large-2512) i Mistral Medium 3.5 povučeni su 31. listopada 2026., a bit će trajno uklonjeni 30. travnja 2027. Njihov nasljednik, Mistral Large 4 (mistral-large-4), dostupan je u javnoj pretpreglednoj verziji od 6. listopada. Primjeri u ovom tečaju koriste aliasmistral-large-latest, koji trenutno pokazuje na Mistral Large 3 prema službenom tehničkom listu (provjereno 3. studenoga 2026.). Slično tome,mistral-medium-latestpokazuje na Mistral Medium 3.5. Ovi aliasi ostat će valjani do 30. travnja 2027. Za nove projekte testirajmistral-large-4, njihovog namijenjenog nasljednika.
Razumijevanje zaključnog zaključivanja
Kada premjestiš jezični model u proizvodnju, suočavaš se s kompromisom: moraš obraditi ogromne količine zahtjeva, a da pritom troškovi ne izmaknu kontroli. Zaključno zaključivanje (Batch inference) rješava upravo taj problem. Umjesto pozivanja API-ja zahtjev po zahtjev, grupiraš svoje zahtjeve i izvršavaš ih paralelno po smanjenoj cijeni u usporedbi s pojedinačnim pozivima.
Tijek rada prati standardni asinkroni obrazac: prikupljaš zahtjeve u datoteku, pošalješ seriju (batch), nastaviš s drugim zadacima i preuzmeš rezultate kada obrada završi. Upravo to prihvaćeno kašnjenje stvara vrijednost: daje Mistral AI-u slobodu optimalnog raspoređivanja poslova na svojim GPU resursima, a nastale uštede u učinkovitosti prenose se na tebe kroz nižu cijenu.
Kada koristiti zaključno zaključivanje?
Kriterij odluke svodi se na jedno pitanje: je li latencija pojedinačnog odgovora kritična? Ako nitko ne čeka ispred ekrana, serija je pravi izbor. To se odnosi na obradu velikih korpusa: pravna služba kojoj je potrebno klasificirati i sažeti četrdeset tisuća arhiviranih ugovora ne treba odgovor u dvije sekunde; treba svih četrdeset tisuća obrađenih prije ponedjeljka po održivoj cijeni.
Masovno generiranje sadržaja slijedi istu logiku. E-trgovinski katalog s šezdeset tisuća artikala kojima trebaju opisi proizvoda ili kampanja personaliziranih e-poruka pripremljena dan unaprijed savršeni su kandidati za noćnu predaju. Evaluacija i benchmarking također spadaju ovdje: kada mjeriš performanse modela na testnom skupu podataka, svaki je zahtjev neovisan o drugima, a presudu čitaš tek nakon što se pokrene cijeli skup.
ETL cjevovodi i obogaćivanje podataka čine treće prirodno područje. Uzimaš postojeću bazu podataka i dodaješ metapodatke ekstrahirane umjetnom inteligencijom – sentiment, kategorizaciju, imenovane entitete – a obrada se uklapa u već asinkroni lanac. Konačno, moderacija u velikom opsegu, gdje moraš pročešljati milijune sadržaja koje su generirali korisnici kako bi otkrio kršenja, najveću ekonomsku korist crpi iz ovog načina podnošenja.
S druge strane, ako tvoja aplikacija mora odgovoriti dok korisnik gleda – chatbot, interaktivni asistent, automatsko dovršavanje – zaključno zaključivanje otpada. Ovi slučajevi uporabe pripadaju standardnom sinkronom API-ju, a pokušaj njihovog forsiranja u serijski način rada proizvodi samo frustraciju.
Kompatibilne krajnje točke
Zaključno zaključivanje podržava osam krajnjih točaka Mistral API-ja:
/v1/chat/completions— Generiranje konverzacijskog teksta/v1/embeddings— Izračun semantičkih vektora/v1/fim/completions— Dovršavanje koda (fill-in-the-middle)/v1/moderations— Moderacija sadržaja/v1/ocr— Optičko prepoznavanje znakova/v1/classifications— Klasifikacija teksta/v1/conversations— Višekružne konverzacije/v1/audio/transcriptions— Transkripcija zvuka
Ova pokrivenost mijenja način na koji dizajniraš zadatke masovne obrade: semantičko indeksiranje baze dokumenata, digitalizacija papirnatih arhiva i transkripcija fonda telefonskih snimki svi prolaze kroz isti jedinstveni mehanizam, s istim mehanizmima podnošenja i dohvaćanja.
Dva načina podnošenja
Mistral nudi dva pristupa za podnošenje tvojih serijskih zahtjeva, a izbor u biti ovisi o volumenu. Grupiranje datoteka (File batching) skalira se do milijun zahtjeva: pripremiš JSONL datoteku, učitaš je na platformu, a zatim kreiraš posao koji pokazuje na tu datoteku. Ovo je preporučena metoda čim volumeni postanu ozbiljni, posebno zato što datoteka ostaje višekratno upotrebljiva i sljediva.
Inline grupiranje (Inline batching) ograničeno je na deset tisuća zahtjeva i eliminira korak s datotekom: zahtjeve prosljeđuješ izravno u tijelu API poziva. Za skriptu koja generira svoje zahtjeve u hodu i nema razloga pisati međupredmemoriju na disk, ovo je znatno brže za postavljanje. Detaljno ćemo razraditi svaki od ovih pristupa u sljedećim lekcijama.
Konkretne uštede
Cjenik za zaključno zaključivanje razlikuje se od standardnog API-ja. Na tipičnim proizvodnim volumenima, počevši od sto tisuća zahtjeva dnevno, uštede dosežu 50% ili više u usporedbi s pojedinačnim sinkronim pozivima – dovoljno da se omoguće tretmani koje bi cijena u stvarnom vremenu jednostavno učinila nemogućima za budžetiranje. Dodaje se često podcijenjena operativna udobnost: rezultati ne istječu. Možeš ih ponovno preuzeti u bilo kojem trenutku nakon što obrada završi, što te oslobađa potrebe za izradom lokalne kopije kao mjere opreza.
Ključne točke
- Zaključno zaključivanje grupira tvoje zahtjeve za asinkronu obradu po smanjenom trošku
- Podržava osam različitih krajnjih točaka, pokrivajući gotovo sve slučajeve uporabe
- Postoje dva načina: grupiranje datoteka (do 1M zahtjeva) i inline grupiranje (do 10K)
- Rezultati su trajni i mogu se preuzeti bez vremenskog ograničenja
- Ovaj način nije prikladan za aplikacije koje zahtijevaju odgovore u stvarnom vremenu