Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Zaključno zaključivanje: Zašto, kada i uštede troškova

Lekcija 1 od 16 Ažurirano 3. studenoga 2026. Napredno
Na ovoj stranici
  1. Razumijevanje zaključnog zaključivanja
  2. Kada koristiti zaključno zaključivanje?
  3. Kompatibilne krajnje točke
  4. Dva načina podnošenja
  5. Konkretne uštede
  6. Ključne točke

Ažuriranje 2. studenoga 2026. — Modeli. Mistral Large 3 (mistral-large-2512) i Mistral Medium 3.5 povučeni su 31. listopada 2026., a bit će trajno uklonjeni 30. travnja 2027. Njihov nasljednik, Mistral Large 4 (mistral-large-4), dostupan je u javnoj pretpreglednoj verziji od 6. listopada. Primjeri u ovom tečaju koriste alias mistral-large-latest, koji trenutno pokazuje na Mistral Large 3 prema službenom tehničkom listu (provjereno 3. studenoga 2026.). Slično tome, mistral-medium-latest pokazuje na Mistral Medium 3.5. Ovi aliasi ostat će valjani do 30. travnja 2027. Za nove projekte testiraj mistral-large-4, njihovog namijenjenog nasljednika.

Razumijevanje zaključnog zaključivanja

Kada premjestiš jezični model u proizvodnju, suočavaš se s kompromisom: moraš obraditi ogromne količine zahtjeva, a da pritom troškovi ne izmaknu kontroli. Zaključno zaključivanje (Batch inference) rješava upravo taj problem. Umjesto pozivanja API-ja zahtjev po zahtjev, grupiraš svoje zahtjeve i izvršavaš ih paralelno po smanjenoj cijeni u usporedbi s pojedinačnim pozivima.

Tijek rada prati standardni asinkroni obrazac: prikupljaš zahtjeve u datoteku, pošalješ seriju (batch), nastaviš s drugim zadacima i preuzmeš rezultate kada obrada završi. Upravo to prihvaćeno kašnjenje stvara vrijednost: daje Mistral AI-u slobodu optimalnog raspoređivanja poslova na svojim GPU resursima, a nastale uštede u učinkovitosti prenose se na tebe kroz nižu cijenu.

1M
Maksimalno zahtjeva po seriji
-50%
Tipično smanjenje troškova
8
Podržane krajnje točke
∞
Zadržavanje rezultata

Kada koristiti zaključno zaključivanje?

Kriterij odluke svodi se na jedno pitanje: je li latencija pojedinačnog odgovora kritična? Ako nitko ne čeka ispred ekrana, serija je pravi izbor. To se odnosi na obradu velikih korpusa: pravna služba kojoj je potrebno klasificirati i sažeti četrdeset tisuća arhiviranih ugovora ne treba odgovor u dvije sekunde; treba svih četrdeset tisuća obrađenih prije ponedjeljka po održivoj cijeni.

Masovno generiranje sadržaja slijedi istu logiku. E-trgovinski katalog s šezdeset tisuća artikala kojima trebaju opisi proizvoda ili kampanja personaliziranih e-poruka pripremljena dan unaprijed savršeni su kandidati za noćnu predaju. Evaluacija i benchmarking također spadaju ovdje: kada mjeriš performanse modela na testnom skupu podataka, svaki je zahtjev neovisan o drugima, a presudu čitaš tek nakon što se pokrene cijeli skup.

ETL cjevovodi i obogaćivanje podataka čine treće prirodno područje. Uzimaš postojeću bazu podataka i dodaješ metapodatke ekstrahirane umjetnom inteligencijom – sentiment, kategorizaciju, imenovane entitete – a obrada se uklapa u već asinkroni lanac. Konačno, moderacija u velikom opsegu, gdje moraš pročešljati milijune sadržaja koje su generirali korisnici kako bi otkrio kršenja, najveću ekonomsku korist crpi iz ovog načina podnošenja.

S druge strane, ako tvoja aplikacija mora odgovoriti dok korisnik gleda – chatbot, interaktivni asistent, automatsko dovršavanje – zaključno zaključivanje otpada. Ovi slučajevi uporabe pripadaju standardnom sinkronom API-ju, a pokušaj njihovog forsiranja u serijski način rada proizvodi samo frustraciju.

Kompatibilne krajnje točke

Zaključno zaključivanje podržava osam krajnjih točaka Mistral API-ja:

  • /v1/chat/completions — Generiranje konverzacijskog teksta
  • /v1/embeddings — Izračun semantičkih vektora
  • /v1/fim/completions — Dovršavanje koda (fill-in-the-middle)
  • /v1/moderations — Moderacija sadržaja
  • /v1/ocr — Optičko prepoznavanje znakova
  • /v1/classifications — Klasifikacija teksta
  • /v1/conversations — Višekružne konverzacije
  • /v1/audio/transcriptions — Transkripcija zvuka

Ova pokrivenost mijenja način na koji dizajniraš zadatke masovne obrade: semantičko indeksiranje baze dokumenata, digitalizacija papirnatih arhiva i transkripcija fonda telefonskih snimki svi prolaze kroz isti jedinstveni mehanizam, s istim mehanizmima podnošenja i dohvaćanja.

Dva načina podnošenja

Mistral nudi dva pristupa za podnošenje tvojih serijskih zahtjeva, a izbor u biti ovisi o volumenu. Grupiranje datoteka (File batching) skalira se do milijun zahtjeva: pripremiš JSONL datoteku, učitaš je na platformu, a zatim kreiraš posao koji pokazuje na tu datoteku. Ovo je preporučena metoda čim volumeni postanu ozbiljni, posebno zato što datoteka ostaje višekratno upotrebljiva i sljediva.

Inline grupiranje (Inline batching) ograničeno je na deset tisuća zahtjeva i eliminira korak s datotekom: zahtjeve prosljeđuješ izravno u tijelu API poziva. Za skriptu koja generira svoje zahtjeve u hodu i nema razloga pisati međupredmemoriju na disk, ovo je znatno brže za postavljanje. Detaljno ćemo razraditi svaki od ovih pristupa u sljedećim lekcijama.

Konkretne uštede

Cjenik za zaključno zaključivanje razlikuje se od standardnog API-ja. Na tipičnim proizvodnim volumenima, počevši od sto tisuća zahtjeva dnevno, uštede dosežu 50% ili više u usporedbi s pojedinačnim sinkronim pozivima – dovoljno da se omoguće tretmani koje bi cijena u stvarnom vremenu jednostavno učinila nemogućima za budžetiranje. Dodaje se često podcijenjena operativna udobnost: rezultati ne istječu. Možeš ih ponovno preuzeti u bilo kojem trenutku nakon što obrada završi, što te oslobađa potrebe za izradom lokalne kopije kao mjere opreza.

Ključne točke

  • Zaključno zaključivanje grupira tvoje zahtjeve za asinkronu obradu po smanjenom trošku
  • Podržava osam različitih krajnjih točaka, pokrivajući gotovo sve slučajeve uporabe
  • Postoje dva načina: grupiranje datoteka (do 1M zahtjeva) i inline grupiranje (do 10K)
  • Rezultati su trajni i mogu se preuzeti bez vremenskog ograničenja
  • Ovaj način nije prikladan za aplikacije koje zahtijevaju odgovore u stvarnom vremenu