Sklepanje v serijah: zakaj, kdaj in prihranki
Na tej strani
Posodobitev 2. novembra 2026 — Modeli. Mistral Large 3 (
mistral-large-2512) in Mistral Medium 3.5 so bili 31. oktobra 2026 umaknjeni iz uporabe in bodo dokončno ukinjeni 30. aprila 2027. Njuni naslednici, Mistral Large 4 (mistral-large-4), je na voljo v javnem predogledu od 6. oktobra. Primeri v tem tečaju uporabljajo vzdevekmistral-large-latest, ki trenutno kaže na Mistral Large 3, kar potrjuje uradni podatkovni list (preverjeno 3. novembra 2026). Podobnomistral-medium-latestkaže na Mistral Medium 3.5. Ti vzdevki bodo veljavni do 30. aprila 2027. Za nove projekte preizkusitemistral-large-4, njunega namenjenega naslednika.
Razumevanje sklepanja v serijah
Ko jezikovni model premakneš v proizvodno okolje, se soočiš s kompromisom: obdelati moraš ogromne količine zahtevkov, ne da bi stroški ušli izpod nadzora. Sklepanje v serijah (batch inference) rešuje prav ta problem. Namesto klicanja API-ja zahtevek za zahtevkom, svoje zahteve združiš in jih izvedeš vzporedno po nižji ceni v primerjavi s posameznimi klici.
Delovni tok sledi standardnemu asinhronemu vzorcu: zahteve zbereš v datoteko, oddaš serijo, se posvetiš drugim nalogam in rezultate prevzameš, ko se obdelava konča. Prav ta sprejemljiva zakasnitev ustvarja vrednost: Mistral AI dobi svobodo optimalnega načrtovanja dela na svojih GPU virih, nastale učinkovitostne prihranke pa prejmeš nazaj kot znižanje cene.
Kdaj uporabiti sklepanje v serijah?
Odločilno merilo se свede na eno vprašanje: ali je zakasnitev posameznega odziva kritična? Če nihče ne čaka pred zaslonom, je serija prava pot. To velja za obdelavo velikih korpusov: pravna služba, ki mora razvrstiti in povzeti štirideset tisoč arhiviranih pogodb, ne potrebuje odziva v dveh sekundah; potrebuje vse štirideset tisoč obdelanih pred ponedeljkom po vzdržni ceni.
Množično generiranje vsebine sledi isti logiki. Katalog e-trgovine s šestdeset tisoč artikli, ki zahtevajo opise izdelkov, ali kampanja personaliziranih e-poštnih sporočil, pripravljena dan prej, sta popolna kandidata za nočno oddajo. Sem spadajo tudi evalvacija in primerjalno testiranje: ko meriš zmogljivost modela na testnem naboru podatkov, je vsak zahtevek neodvisen od drugih, sodbo pa prebereš šele, ko se izvede celoten nabor.
Cevovodi ETL in obogatitev podatkov tvorijo tretje naravno področje. Obstoječo zbirko podatkov dopolniš z metapodatki, ki jih izvleče AI – sentiment, kategorizacija, poimenovani entiteti – obdelava pa se vklopi v že obstoječo asinhrono verigo. Nazadnje, moderacija v velikem obsegu, kjer moraš prebrskati milijone vsebin, ki so jih ustvarili uporabniki, da bi odkril kršitve, iz tega načina oddaje črpa največji ekonomski benefit.
Nasprotno pa, če mora tvoja aplikacija odgovoriti, medtem ko uporabnik gleda – klepetalni bot, interaktivni asistent, samodejno dopolnjevanje – sklepanje v serijah odpade. Ti primeri uporabe spadajo k standardnemu sinhronemu API-ju in poskus njihovega prisiljevanja v serijski način povzroči le frustracije.
Združljive končne točke
Sklepanje v serijah podpira osem končnih točk API-ja Mistral:
/v1/chat/completions— Generiranje pogovornega besedila/v1/embeddings— Izračun semantičnih vektorjev/v1/fim/completions— Dopolnjevanje kode (fill-in-the-middle)/v1/moderations— Moderacija vsebine/v1/ocr— Optično prepoznavanje znakov/v1/classifications— Razvrščanje besedila/v1/conversations— Večzaporedni pogovori/v1/audio/transcriptions— Prepis zvoka
Ta pokritost spremeni način načrtovanja nalog množične obdelave: semantično indeksiranje dokumentne zbirke, digitalizacija papirnih arhivov in prepis fonda telefonskih posnetkov vsi potekajo skozi isti poenoten mehanizem, z enakimi mehanizmi oddaje in prevzema.
Dva načina oddaje
Mistral ponuja dva pristopa za oddajo serijskih zahtevkov, izbira pa je v bistvu odvisna od količine. Serije z datotekami (file batching) omogočajo do milijon zahtevkov: pripraviš datoteko JSONL, jo naložiš na platformo in nato ustvariš opravilo, ki kaže na to datoteko. To je priporočena metoda, takoj ko količine postanejo resne, še posebej zato, ker datoteka ostane večkrat uporabna in sledljiva.
Vgrajene serije (inline batching) so omejene na deset tisoč zahtevkov in odpravljajo korak z datoteko: zahteve posreduješ neposredno v telesu klica API-ja. Za skripto, ki zahteve generira sproti in nima razloga za zapisovanje vmesnika na disk, je to bistveno hitreje za postavitev. Vsakega od teh pristopov bomo podrobneje opisali v naslednjih lekcijah.
Konkretni prihranki
Cenik za sklepanje v serijah se razlikuje od standardnega API-ja. Pri tipičnih proizvodnih količinah, ki se začnejo pri sto tisoč zahtevkih na dan, prihranki dosežejo 50 % ali več v primerjavi s posameznimi sinhronimi klici – dovolj, da postanejo izvedljive obdelave, ki bi jih cena v realnem času naredila proračunsko nemogoče. Dodana je pogosto podcenjena operativna udobnost: rezultati ne potečejo. Ponovno jih lahko preneseš kadarkoli po koncu obdelave, kar odpravi potrebo po gradnji lokalne kopije kot previdnostni ukrep.
Ključne ugotovitve
- Sklepanje v serijah združi tvoje zahteve za asinhrono obdelavo po nižji ceni
- Podpira osem različnih končnih točk, ki pokrivajo skoraj vse primere uporabe
- Obstajata dva načina: serije z datotekami (do 1M zahtevkov) in vgrajene serije (do 10K)
- Rezultati so trajni in jih lahko preneseš brez časovne omejitve
- Ta način ni primeren za aplikacije, ki zahtevajo odzive v realnem času