Dávková inference: Proč, kdy a úspora nákladů
Na této stránce
Aktualizace 2. listopadu 2026 — Modely. Mistral Large 3 (
mistral-large-2512) a Mistral Medium 3.5 byly 31. října 2026 vyřazeny z provozu a dne 30. dubna 2027 budou zcela odstaveny. Jejich nástupcem je Mistral Large 4 (mistral-large-4), který je ve veřejném náhledu od 6. října. Příklady v tomto kurzu používají aliasmistral-large-latest, který aktuálně odkazuje na Mistral Large 3 podle oficiálního datového listu (ověřeno 3. listopadu 2026). Podobněmistral-medium-latestodkazuje na Mistral Medium 3.5. Tyto aliasy zůstanou platné do 30. dubna 2027. Pro nové projekty otestujtemistral-large-4, jejichhož nástupce.
Pochopení dávkové inference
Jakmile nasadíš jazykový model do produkce, čelíš kompromisu: musíš zpracovat obrovské objemy požadavků, aniž by ti náklady vymkly kontrole. Dávková inference tento problém přesně řeší. Místo volání API požadavek po požadavku seskupíš své požadavky a provedeš je paralelně za sníženou sazbu oproti jednotlivým voláním.
Pracovní postup následuje standardní asynchronní vzorec: shromáždíš požadavky do souboru, odešleš dávku, věnuješ se jiným úkolům a výsledky získáš, jakmile se zpracování dokončí. Právě tato akceptovaná latence vytváří hodnotu: dává Mistral AI svobodu optimálně naplánovat práci na svých GPU zdrojích a výsledné zvýšení efektivity se ti projeví jako snížení ceny.
Kdy použít dávkovou inferenci?
Rozhodovací kritérium se redukuje na jednu otázku: je kritická latence jednotlivé odpovědi? Pokud nikdo nečeká před obrazovkou, je dávka tou správnou cestou. To platí pro zpracování velkých korpusů: právní služba, která potřebuje klasifikovat a shrnout čtyřicet tisíc archivních smluv, nepotřebuje dvousekundovou odezvu; potřebuje, aby všech čtyřicet tisíc bylo zpracováno do pondělí za udržitelné náklady.
Masivní generování obsahu se řídí stejnou logikou. E-commerce katalog se šedesáti tisíci položkami vyžadujícími popisy produktů nebo kampaň personalizovaných e-mailů připravená den předem jsou ideálními kandidáty pro noční odeslání. Sem zapadá také evaluace a benchmarking: když měříš výkon modelu na testovací sadě dat, každý požadavek je na ostatních nezávislý a verdikt si přečteš až po dokončení celé sady.
ETL pipeline a obohacování dat tvoří třetí přirozenou oblast. Vezmeš existující databázi a přidáš metadata extrahovaná AI – sentiment, kategorizaci, pojmenované entity – a zpracování zapadne do již existujícího asynchronního řetězce. Nakonec moderace ve velkém měřítku, kde musíš proset miliony uživatelsky generovaných obsahů kvůli detekci porušení pravidel, těží z tohoto režimu odesílání největší ekonomický prospěch.
Naopak, pokud musí tvoje aplikace reagovat, zatímco se uživatel dívá – chatbot, interaktivní asistent, automatické doplňování – je dávková inference vyloučena. Tyto případy použití patří standardnímu synchronnímu API a jejich nucení do dávkového režimu přinese jen frustraci.
Kompatibilní endpointy
Dávková inference podporuje osm endpointů Mistral API:
/v1/chat/completions— Generování konverzačního textu/v1/embeddings— Výpočet sémantických vektorů/v1/fim/completions— Doplňování kódu (fill-in-the-middle)/v1/moderations— Moderace obsahu/v1/ocr— Optické rozpoznávání znaků/v1/classifications— Klasifikace textu/v1/conversations— Vícenásobné konverzace/v1/audio/transcriptions— Přepis zvuku
Tento rozsah mění způsob, jakým navrhuješ úlohy hromadného zpracování: sémantické indexování dokumentové základny, digitalizace papírových archivů i přepis fondu telefonních nahrávek procházejí stejným sjednoceným mechanismem se stejnou mechanikou odesílání a získávání.
Dva režimy odesílání
Mistral nabízí dva přístupy k odesílání dávkových požadavků a volba závisí v podstatě na objemu. Dávkování ze souboru škáluje až na jeden milion požadavků: připravíš soubor JSONL, nahraješ ho na platformu a poté vytvoříš úlohu odkazující na tento soubor. Toto je doporučená metoda, jakmile objemy nabudou na vážnosti, zejména proto, že soubor zůstává znovu použitelný a sledovatelný.
Inline dávkování je omezeno na deset tisíc požadavků a eliminuje krok se souborem: požadavky předáš přímo v těle volání API. Pro skript, který generuje své požadavky za běhu a nemá důvod zapisovat mezivýstup na disk, je toto nastavení výrazně rychlejší. Každý z těchto přístupů podrobně rozebereme v následujících lekcích.
Konkrétní úspory
Cenová politika dávkové inference se liší od standardního API. Při typických produkčních objemech, počínaje sto tisíci požadavky denně, dosahují úspory 50 % a více oproti jednotlivým synchronním voláním – což stačí k tomu, aby byly realizovatelné úkony, které by sazba v reálném čase učinila z hlediska rozpočtu nemožnými. Přidává se často podceňovaný provozní komfort: výsledky neexpirují. Můžeš si je stáhnout kdykoli po dokončení zpracování, což tě zbavuje nutnosti budovat lokální kopii jako preventivní opatření.
Klíčové poznatky
- Dávková inference seskupuje tvé požadavky pro asynchronní zpracování za snížené náklady
- Podporuje osm různých endpointů, které pokrývají téměř všechny případy použití
- Existují dva režimy: dávkování ze souboru (až 1M požadavků) a inline dávkování (až 10K)
- Výsledky jsou trvalé a stahovatelné bez časového omezení
- Tento režim není vhodný pro aplikace vyžadující odpovědi v reálném čase