Dávková inferencia: Prečo, kedy a úspora nákladov
Na tejto strane
Aktualizácia 2. novembra 2026 — Modely. Modely Mistral Large 3 (
mistral-large-2512) a Mistral Medium 3.5 boli zastarané 31. októbra 2026 a budú vyradené 30. apríla 2027. Ich nástupca, Mistral Large 4 (mistral-large-4), je vo verejnej náhľade od 6. októbra. Príklady v tomto kurze používajú aliasmistral-large-latest, ktorý aktuálne odkazuje na Mistral Large 3 podľa jeho oficiálneho dátového listu (overené 3. novembra 2026). Podobnemistral-medium-latestodkazuje na Mistral Medium 3.5. Tieto aliasy zostanú platné až do 30. apríla 2027. Pre nové projekty otestujmistral-large-4, ich určeného nástupcu.
Pochopenie dávkovej inferencie
Akonáhle nasadíš jazykový model do produkcie, čelíš kompromisu: musíš spracovať obrovské objemy požiadaviek, pričom náklady nesmú vymknúť kontrole. Dávková inferencia rieši presne tento problém. Namiesto volania API požiadavku po požiadavke zgrupuješ svoje požiadavky a vykonáš ich paralelne za zníženú sadzbu v porovnaní s jednotlivými volaniami.
Pracovný postup nasleduje štandardný asynchrónny vzor: zhromaždíš svoje požiadavky do súboru, odošleš dávku, pokračuješ v iných úlohách a výsledky si stiahneš, keď sa spracovanie dokončí. Práve táto akceptovaná latencia vytvára hodnotu: dáva spoločnosti Mistral AI voľnosť optimálne naplánovať prácu naprieč jej GPU zdrojmi a výsledné zvýšenie efektivity sa ti prejaví ako zníženie ceny.
Kedy použiť dávkovú inferenciu?
Rozhodovacie kritérium sa redukuje na jednu otázku: je individuálna odozva kritická? Ak nikto nečaká pred obrazovkou, dávka je správna cesta. To platí pre spracovanie veľkých korpusov: právna služba, ktorá potrebuje klasifikovať a zhrnúť štyridsaťtisíc archivovaných zmlúv, nepotrebuje dvojsekundovú odozvu; potrebuje, aby bolo všetkých štyridsaťtisíc spracovaných do pondelka za udržateľných nákladov.
Masívna generácia obsahu sa riadi rovnakou logikou. Katalóg e-commerce so šesťdesiatimi tisícmi položiek vyžadujúcich popisy produktov alebo kampaň personalizovaných e-mailov pripravená deň vopred sú ideálnymi kandidátmi na nočné odoslanie. Sem zapadá aj hodnotenie a benchmarking: keď meriaš výkon modelu na testovacej množine dát, každá požiadavka je nezávislá od ostatných a verdikt si prečítaš až po dokončení celej sady.
ETL pipeline a obohacovanie dát tvoria tretiu prirodzenú oblasť. Vezmeš existujúcu databázu a pridáš metadáta extrahované AI – sentiment, kategorizáciu, pomenované entity – a spracovanie zapadne do už existujúceho asynchrónneho reťazca. Nakoniec, moderovanie vo veľkom meradle, kde musíš preosiať milióny používateľom generovaného obsahu na detekciu porušení pravidiel, čerpá väčšinu svojho ekonomického úžitku práve z tohto spôsobu odoslania.
Naopak, ak tvoja aplikácia musí odpovedať, kým sa používateľ pozerá – chatbot, interaktívny asistent, automatické dopĺňanie – dávková inferencia neprichádza do úvahy. Tieto prípady použitia patria štandardnému synchrónnemu API a snaha vnútiť im dávkový režim vyprodukuje len frustráciu.
Kompatibilné koncové body
Dávková inferencia podporuje osem koncových bodov Mistral API:
/v1/chat/completions— Generovanie konverzačného textu/v1/embeddings— Výpočet sémantických vektorov/v1/fim/completions— Dopĺňanie kódu (fill-in-the-middle)/v1/moderations— Moderovanie obsahu/v1/ocr— Optické rozpoznávanie znakov/v1/classifications— Klasifikácia textu/v1/conversations— Viackolové konverzácie/v1/audio/transcriptions— Prepis zvuku
Tento rozsah mení spôsob, akým navrhuješ úlohy hromadného spracovania: sémantické indexovanie dokumentovej základne, digitalizácia papierových archívov aj prepis fondu telefónnych nahrávok prechádzajú tým istým zjednoteným mechanizmom, s rovnakou mechanikou odoslania a získania výsledkov.
Dva režimy odoslania
Mistral ponúka dva prístupy k odoslaniu dávkových požiadaviek a výber závisí v podstate od objemu. Dávkovanie zo súboru škáluje až na jeden milión požiadaviek: pripravíš súbor JSONL, nahraješ ho na platformu a následne vytvoríš úlohu odkazujúcu na tento súbor. Toto je odporúčaná metóda hneď, ako objemy naberie na vážnosti, najmä preto, že súbor zostáva opätovne použiteľný a sledovateľný.
Inline dávkovanie má strop na desaťtisíc požiadaviek a eliminuje krok so súborom: požiadavky odovzdáš priamo v tele API volania. Pre skript, ktorý generuje svoje požiadavky za behu a nemá dôvod zapisovať medzivýsledky na disk, je toto nastavenie výrazne rýchlejšie. Každý z týchto prístupov podrobne rozoberieme v nasledujúcich lekciách.
Konkrétne úspory
Cenotvorba dávkovej inferencie sa líši od štandardného API. Pri typických produkčných objemoch, začínajúc od stotisíc požiadaviek denne, dosahujú úspory 50 % a viac v porovnaní s jednotlivými synchrónnymi volaniami – čo stačí na to, aby boli realizovateľné spracovania, ktoré by sadzba v reálnom čase jednoducho urobila nerozpočtovateľnými. Pridáva sa často podceňovaný operačný komfort: výsledky neexpirujú. Môžeš si ich stiahnuť kedykoľvek po dokončení spracovania, čo ťa zbavuje potreby budovať lokálnu kópiu ako preventívne opatrenie.
Kľúčové poznatky
- Dávková inferencia zgrupuje tvoje požiadavky na asynchrónne spracovanie za znížené náklady
- Podporuje osem rôznych koncových bodov, čím pokrýva takmer všetky prípady použitia
- Existujú dva režimy: dávkovanie zo súboru (až 1 milión požiadaviek) a inline dávkovanie (až 10 tisíc)
- Výsledky sú trvalé a stiahnuteľné bez časového obmedzenia
- Tento režim nie je vhodný pre aplikácie vyžadujúce odozvu v reálnom čase