Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Dávková inferencia: Prečo, kedy a úspora nákladov

Lekcia 1 z 16 Aktualizované 3. novembra 2026 Pokročilý
Na tejto strane
  1. Pochopenie dávkovej inferencie
  2. Kedy použiť dávkovú inferenciu?
  3. Kompatibilné koncové body
  4. Dva režimy odoslania
  5. Konkrétne úspory
  6. Kľúčové poznatky

Aktualizácia 2. novembra 2026 — Modely. Modely Mistral Large 3 (mistral-large-2512) a Mistral Medium 3.5 boli zastarané 31. októbra 2026 a budú vyradené 30. apríla 2027. Ich nástupca, Mistral Large 4 (mistral-large-4), je vo verejnej náhľade od 6. októbra. Príklady v tomto kurze používajú alias mistral-large-latest, ktorý aktuálne odkazuje na Mistral Large 3 podľa jeho oficiálneho dátového listu (overené 3. novembra 2026). Podobne mistral-medium-latest odkazuje na Mistral Medium 3.5. Tieto aliasy zostanú platné až do 30. apríla 2027. Pre nové projekty otestuj mistral-large-4, ich určeného nástupcu.

Pochopenie dávkovej inferencie

Akonáhle nasadíš jazykový model do produkcie, čelíš kompromisu: musíš spracovať obrovské objemy požiadaviek, pričom náklady nesmú vymknúť kontrole. Dávková inferencia rieši presne tento problém. Namiesto volania API požiadavku po požiadavke zgrupuješ svoje požiadavky a vykonáš ich paralelne za zníženú sadzbu v porovnaní s jednotlivými volaniami.

Pracovný postup nasleduje štandardný asynchrónny vzor: zhromaždíš svoje požiadavky do súboru, odošleš dávku, pokračuješ v iných úlohách a výsledky si stiahneš, keď sa spracovanie dokončí. Práve táto akceptovaná latencia vytvára hodnotu: dáva spoločnosti Mistral AI voľnosť optimálne naplánovať prácu naprieč jej GPU zdrojmi a výsledné zvýšenie efektivity sa ti prejaví ako zníženie ceny.

1M
Maximálny počet požiadaviek na dávku
-50%
Typická úspora nákladov
8
Podporované koncové body
∞
Uchovávanie výsledkov

Kedy použiť dávkovú inferenciu?

Rozhodovacie kritérium sa redukuje na jednu otázku: je individuálna odozva kritická? Ak nikto nečaká pred obrazovkou, dávka je správna cesta. To platí pre spracovanie veľkých korpusov: právna služba, ktorá potrebuje klasifikovať a zhrnúť štyridsaťtisíc archivovaných zmlúv, nepotrebuje dvojsekundovú odozvu; potrebuje, aby bolo všetkých štyridsaťtisíc spracovaných do pondelka za udržateľných nákladov.

Masívna generácia obsahu sa riadi rovnakou logikou. Katalóg e-commerce so šesťdesiatimi tisícmi položiek vyžadujúcich popisy produktov alebo kampaň personalizovaných e-mailov pripravená deň vopred sú ideálnymi kandidátmi na nočné odoslanie. Sem zapadá aj hodnotenie a benchmarking: keď meriaš výkon modelu na testovacej množine dát, každá požiadavka je nezávislá od ostatných a verdikt si prečítaš až po dokončení celej sady.

ETL pipeline a obohacovanie dát tvoria tretiu prirodzenú oblasť. Vezmeš existujúcu databázu a pridáš metadáta extrahované AI – sentiment, kategorizáciu, pomenované entity – a spracovanie zapadne do už existujúceho asynchrónneho reťazca. Nakoniec, moderovanie vo veľkom meradle, kde musíš preosiať milióny používateľom generovaného obsahu na detekciu porušení pravidiel, čerpá väčšinu svojho ekonomického úžitku práve z tohto spôsobu odoslania.

Naopak, ak tvoja aplikácia musí odpovedať, kým sa používateľ pozerá – chatbot, interaktívny asistent, automatické dopĺňanie – dávková inferencia neprichádza do úvahy. Tieto prípady použitia patria štandardnému synchrónnemu API a snaha vnútiť im dávkový režim vyprodukuje len frustráciu.

Kompatibilné koncové body

Dávková inferencia podporuje osem koncových bodov Mistral API:

  • /v1/chat/completions — Generovanie konverzačného textu
  • /v1/embeddings — Výpočet sémantických vektorov
  • /v1/fim/completions — Dopĺňanie kódu (fill-in-the-middle)
  • /v1/moderations — Moderovanie obsahu
  • /v1/ocr — Optické rozpoznávanie znakov
  • /v1/classifications — Klasifikácia textu
  • /v1/conversations — Viackolové konverzácie
  • /v1/audio/transcriptions — Prepis zvuku

Tento rozsah mení spôsob, akým navrhuješ úlohy hromadného spracovania: sémantické indexovanie dokumentovej základne, digitalizácia papierových archívov aj prepis fondu telefónnych nahrávok prechádzajú tým istým zjednoteným mechanizmom, s rovnakou mechanikou odoslania a získania výsledkov.

Dva režimy odoslania

Mistral ponúka dva prístupy k odoslaniu dávkových požiadaviek a výber závisí v podstate od objemu. Dávkovanie zo súboru škáluje až na jeden milión požiadaviek: pripravíš súbor JSONL, nahraješ ho na platformu a následne vytvoríš úlohu odkazujúcu na tento súbor. Toto je odporúčaná metóda hneď, ako objemy naberie na vážnosti, najmä preto, že súbor zostáva opätovne použiteľný a sledovateľný.

Inline dávkovanie má strop na desaťtisíc požiadaviek a eliminuje krok so súborom: požiadavky odovzdáš priamo v tele API volania. Pre skript, ktorý generuje svoje požiadavky za behu a nemá dôvod zapisovať medzivýsledky na disk, je toto nastavenie výrazne rýchlejšie. Každý z týchto prístupov podrobne rozoberieme v nasledujúcich lekciách.

Konkrétne úspory

Cenotvorba dávkovej inferencie sa líši od štandardného API. Pri typických produkčných objemoch, začínajúc od stotisíc požiadaviek denne, dosahujú úspory 50 % a viac v porovnaní s jednotlivými synchrónnymi volaniami – čo stačí na to, aby boli realizovateľné spracovania, ktoré by sadzba v reálnom čase jednoducho urobila nerozpočtovateľnými. Pridáva sa často podceňovaný operačný komfort: výsledky neexpirujú. Môžeš si ich stiahnuť kedykoľvek po dokončení spracovania, čo ťa zbavuje potreby budovať lokálnu kópiu ako preventívne opatrenie.

Kľúčové poznatky

  • Dávková inferencia zgrupuje tvoje požiadavky na asynchrónne spracovanie za znížené náklady
  • Podporuje osem rôznych koncových bodov, čím pokrýva takmer všetky prípady použitia
  • Existujú dva režimy: dávkovanie zo súboru (až 1 milión požiadaviek) a inline dávkovanie (až 10 tisíc)
  • Výsledky sú trvalé a stiahnuteľné bez časového obmedzenia
  • Tento režim nie je vhodný pre aplikácie vyžadujúce odozvu v reálnom čase