Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Dávková inference: Proč, kdy a úspora nákladů

Lekce 1 z 16 Aktualizováno 3. listopadu 2026 Pokročilý
Na této stránce
  1. Pochopení dávkové inference
  2. Kdy použít dávkovou inferenci?
  3. Kompatibilní endpointy
  4. Dva režimy odesílání
  5. Konkrétní úspory
  6. Klíčové poznatky

Aktualizace 2. listopadu 2026 — Modely. Mistral Large 3 (mistral-large-2512) a Mistral Medium 3.5 byly 31. října 2026 vyřazeny z provozu a dne 30. dubna 2027 budou zcela odstaveny. Jejich nástupcem je Mistral Large 4 (mistral-large-4), který je ve veřejném náhledu od 6. října. Příklady v tomto kurzu používají alias mistral-large-latest, který aktuálně odkazuje na Mistral Large 3 podle oficiálního datového listu (ověřeno 3. listopadu 2026). Podobně mistral-medium-latest odkazuje na Mistral Medium 3.5. Tyto aliasy zůstanou platné do 30. dubna 2027. Pro nové projekty otestujte mistral-large-4, jejichhož nástupce.

Pochopení dávkové inference

Jakmile nasadíš jazykový model do produkce, čelíš kompromisu: musíš zpracovat obrovské objemy požadavků, aniž by ti náklady vymkly kontrole. Dávková inference tento problém přesně řeší. Místo volání API požadavek po požadavku seskupíš své požadavky a provedeš je paralelně za sníženou sazbu oproti jednotlivým voláním.

Pracovní postup následuje standardní asynchronní vzorec: shromáždíš požadavky do souboru, odešleš dávku, věnuješ se jiným úkolům a výsledky získáš, jakmile se zpracování dokončí. Právě tato akceptovaná latence vytváří hodnotu: dává Mistral AI svobodu optimálně naplánovat práci na svých GPU zdrojích a výsledné zvýšení efektivity se ti projeví jako snížení ceny.

1M
Maximální počet požadavků na dávku
-50%
Typická úspora nákladů
8
Podporované endpointy
∞
Uchování výsledků

Kdy použít dávkovou inferenci?

Rozhodovací kritérium se redukuje na jednu otázku: je kritická latence jednotlivé odpovědi? Pokud nikdo nečeká před obrazovkou, je dávka tou správnou cestou. To platí pro zpracování velkých korpusů: právní služba, která potřebuje klasifikovat a shrnout čtyřicet tisíc archivních smluv, nepotřebuje dvousekundovou odezvu; potřebuje, aby všech čtyřicet tisíc bylo zpracováno do pondělí za udržitelné náklady.

Masivní generování obsahu se řídí stejnou logikou. E-commerce katalog se šedesáti tisíci položkami vyžadujícími popisy produktů nebo kampaň personalizovaných e-mailů připravená den předem jsou ideálními kandidáty pro noční odeslání. Sem zapadá také evaluace a benchmarking: když měříš výkon modelu na testovací sadě dat, každý požadavek je na ostatních nezávislý a verdikt si přečteš až po dokončení celé sady.

ETL pipeline a obohacování dat tvoří třetí přirozenou oblast. Vezmeš existující databázi a přidáš metadata extrahovaná AI – sentiment, kategorizaci, pojmenované entity – a zpracování zapadne do již existujícího asynchronního řetězce. Nakonec moderace ve velkém měřítku, kde musíš proset miliony uživatelsky generovaných obsahů kvůli detekci porušení pravidel, těží z tohoto režimu odesílání největší ekonomický prospěch.

Naopak, pokud musí tvoje aplikace reagovat, zatímco se uživatel dívá – chatbot, interaktivní asistent, automatické doplňování – je dávková inference vyloučena. Tyto případy použití patří standardnímu synchronnímu API a jejich nucení do dávkového režimu přinese jen frustraci.

Kompatibilní endpointy

Dávková inference podporuje osm endpointů Mistral API:

  • /v1/chat/completions — Generování konverzačního textu
  • /v1/embeddings — Výpočet sémantických vektorů
  • /v1/fim/completions — Doplňování kódu (fill-in-the-middle)
  • /v1/moderations — Moderace obsahu
  • /v1/ocr — Optické rozpoznávání znaků
  • /v1/classifications — Klasifikace textu
  • /v1/conversations — Vícenásobné konverzace
  • /v1/audio/transcriptions — Přepis zvuku

Tento rozsah mění způsob, jakým navrhuješ úlohy hromadného zpracování: sémantické indexování dokumentové základny, digitalizace papírových archivů i přepis fondu telefonních nahrávek procházejí stejným sjednoceným mechanismem se stejnou mechanikou odesílání a získávání.

Dva režimy odesílání

Mistral nabízí dva přístupy k odesílání dávkových požadavků a volba závisí v podstatě na objemu. Dávkování ze souboru škáluje až na jeden milion požadavků: připravíš soubor JSONL, nahraješ ho na platformu a poté vytvoříš úlohu odkazující na tento soubor. Toto je doporučená metoda, jakmile objemy nabudou na vážnosti, zejména proto, že soubor zůstává znovu použitelný a sledovatelný.

Inline dávkování je omezeno na deset tisíc požadavků a eliminuje krok se souborem: požadavky předáš přímo v těle volání API. Pro skript, který generuje své požadavky za běhu a nemá důvod zapisovat mezivýstup na disk, je toto nastavení výrazně rychlejší. Každý z těchto přístupů podrobně rozebereme v následujících lekcích.

Konkrétní úspory

Cenová politika dávkové inference se liší od standardního API. Při typických produkčních objemech, počínaje sto tisíci požadavky denně, dosahují úspory 50 % a více oproti jednotlivým synchronním voláním – což stačí k tomu, aby byly realizovatelné úkony, které by sazba v reálném čase učinila z hlediska rozpočtu nemožnými. Přidává se často podceňovaný provozní komfort: výsledky neexpirují. Můžeš si je stáhnout kdykoli po dokončení zpracování, což tě zbavuje nutnosti budovat lokální kopii jako preventivní opatření.

Klíčové poznatky

  • Dávková inference seskupuje tvé požadavky pro asynchronní zpracování za snížené náklady
  • Podporuje osm různých endpointů, které pokrývají téměř všechny případy použití
  • Existují dva režimy: dávkování ze souboru (až 1M požadavků) a inline dávkování (až 10K)
  • Výsledky jsou trvalé a stahovatelné bez časového omezení
  • Tento režim není vhodný pro aplikace vyžadující odpovědi v reálném čase