Inferencja wsadowa: dlaczego, kiedy i oszczędności kosztów
Na tej stronie
Aktualizacja z 2 listopada 2026 r. — Modele. Mistral Large 3 (
mistral-large-2512) oraz Mistral Medium 3.5 zostały wycofane z użytku 31 października 2026 r., a ich wsparcie zostanie całkowicie zakończone 30 kwietnia 2027 r. Ich wyznaczony następca, Mistral Large 4 (mistral-large-4), jest dostępny w wersji publicznej (public preview) od 6 października. Przykłady w tym kursie wykorzystują aliasmistral-large-latest, który obecnie wskazuje na model Mistral Large 3 zgodnie z oficjalną kartą danych (zweryfikowano 3 listopada 2026 r.). Podobnie aliasmistral-medium-latestwskazuje na Mistral Medium 3.5. Aliasy te pozostaną ważne do 30 kwietnia 2027 r. W przypadku nowych projektów przetestujmistral-large-4, ich wyznaczonego następcę.
Zrozumienie inferencji wsadowej
Gdy przenosisz model językowy do środowiska produkcyjnego, stajesz przed kompromisem: musisz przetworzyć ogromne wolumeny żądań, nie pozwalając jednocześnie, by koszty wymknęły się spod kontroli. Inferencja wsadowa rozwiązuje dokładnie ten problem. Zamiast wywoływać API żądanie po żądaniu, grupujesz swoje zlecenia i wykonujesz je równolegle po znacznie niższej stawce niż w przypadku pojedynczych wywołań.
Przepływ pracy遵循 standardowy wzorzec asynchroniczny: zbierasz żądania w pliku, przesyłasz wsad, zajmujesz się innymi zadaniami, a wyniki pobierasz dopiero po zakończeniu przetwarzania. To zaakceptowane opóźnienie jest źródłem wartości: daje Mistral AI swobodę optymalnego planowania pracy na zasobach GPU, a wynikające z tego zyski efektywności są przekazywane Tobie w postaci obniżki ceny.
Kiedy stosować inferencję wsadową?
Kryterium decyzji sprowadza się do jednego pytania: czy indywidualny czas odpowiedzi jest krytyczny? Jeśli nikt nie czeka przed ekranem, tryb wsadowy jest właściwym wyborem. Dotyczy to przetwarzania dużych korpusów: dział prawny, który musi sklasyfikować i podsumować czterdzieści tysięcy archiwalnych umów, nie potrzebuje odpowiedzi w dwie sekundy; potrzebuje przetworzenia wszystkich czterdziestu tysięcy przed poniedziałkiem przy utrzymaniu zrównoważonych kosztów.
Masowa generacja treści podlega tej samej logice. Katalog e-commerce z sześćdziesięcioma tysiącami produktów wymagającymi opisów lub kampania spersonalizowanych e-maili przygotowywana dzień wcześniej to idealni kandydaci do przesłania w trybie nocnym. Ewaluacja i benchmarking również tu pasują: gdy mierzysz wydajność modelu na zbiorze testowym, każde żądanie jest niezależne od innych, a werdykt odczytujesz dopiero po uruchomieniu całego zestawu.
Potoki ETL i wzbogacanie danych stanowią trzeci naturalny obszar zastosowań. Pobierasz istniejącą bazę danych i dodajesz metadane ekstrahowane przez AI – sentyment, kategoryzację, encje nazwane – a przetwarzanie wpisuje się w już istniejący łańcuch asynchroniczny. Wreszcie, moderacja na dużą skalę, gdzie musisz przesiać miliony treści generowanych przez użytkowników w celu wykrycia naruszeń, czerpie największe korzyści ekonomiczne właśnie z tego trybu przesyłania.
Z drugiej strony, jeśli Twoja aplikacja musi odpowiadać, gdy użytkownik patrzy na ekran – chatbot, interaktywny asystent, autouzupełnianie – inferencja wsadowa odpada. Te przypadki użycia należą do standardowego synchronicznego API, a próba wymuszenia na nich trybu wsadowego przyniesie jedynie frustrację.
Kompatybilne punkty końcowe
Inferencja wsadowa obsługuje osiem punktów końcowych API Mistral:
/v1/chat/completions— Generowanie tekstu konwersacyjnego/v1/embeddings— Obliczanie wektorów semantycznych/v1/fim/completions— Uzupełnianie kodu (fill-in-the-middle)/v1/moderations— Moderacja treści/v1/ocr— Optyczne rozpoznawanie znaków (OCR)/v1/classifications— Klasyfikacja tekstu/v1/conversations— Rozmowy wieloturkowe/v1/audio/transcriptions— Transkrypcja audio
Ten zakres zmienia sposób projektowania zadań masowego przetwarzania: semantyczne indeksowanie bazy dokumentów, digitalizacja archiwów papierowych oraz transkrypcja funduszu nagrań telefonicznych – wszystko to odbywa się przez ten sam zunifikowany mechanizm, z tymi samymi zasadami przesyłania i pobierania.
Dwa tryby przesyłania
Mistral oferuje dwa podejścia do przesyłania żądań wsadowych, a wybór zależy zasadniczo od wolumenu. Wsadowanie plikowe skaluje się do miliona żądań: przygotowujesz plik JSONL, przesyłasz go na platformę, a następnie tworzysz zadanie wskazujące na ten plik. Jest to metoda zalecana, gdy wolumeny stają się poważne, zwłaszcza że plik pozostaje wielokrotnego użytku i możliwy do śledzenia.
Wsadowanie inline ma limit dziesięciu tysięcy żądań i eliminuje etap pracy z plikiem: przesyłasz żądania bezpośrednio w treści wywołania API. Dla skryptu, który generuje swoje zlecenia w locie i nie ma powodu, by zapisywać dane pośrednie na dysku, jest to rozwiązanie znacznie szybsze w konfiguracji. Szczegółowo omówimy każde z tych podejść w kolejnych lekcjach.
Konkretne oszczędności
Cennik inferencji wsadowej różni się od standardowego API. Przy typowych wolumenach produkcyjnych, starting od stu tysięcy żądań dziennie, oszczędności sięgają 50% lub więcej w porównaniu z indywidualnymi wywołaniami synchronicznymi – to wystarczająco dużo, by uczynić opłacalnymi przetwarzania, które przy stawkach czasu rzeczywistego byłyby po prostu niemożliwe do zbudżetowania. Dochodzi często niedoceniany komfort operacyjny: wyniki nie wygasają. Możesz je pobrać ponownie w dowolnym momencie po zakończeniu przetwarzania, co zwalnia Cię z konieczności budowania lokalnej kopii zapobiegawczej.
Kluczowe wnioski
- Inferencja wsadowa grupuje Twoje żądania w celu asynchronicznego przetwarzania po obniżonym koszcie
- Obsługuje osiem różnych punktów końcowych, pokrywając niemal wszystkie przypadki użycia
- Istnieją dwa tryby: wsadowanie plikowe (do 1 mln żądań) i wsadowanie inline (do 10 tys.)
- Wyniki są trwałe i możliwe do pobrania bez limitu czasowego
- Ten tryb nie nadaje się do aplikacji wymagających odpowiedzi w czasie rzeczywistym