Przejdź do głównej treści
Polski— Wybierz język
Menu

Inferencja wsadowa: dlaczego, kiedy i oszczędności kosztów

Lekcja 1 z 16 Zaktualizowano 3 listopada 2026 Zaawansowany
Na tej stronie
  1. Zrozumienie inferencji wsadowej
  2. Kiedy stosować inferencję wsadową?
  3. Kompatybilne punkty końcowe
  4. Dwa tryby przesyłania
  5. Konkretne oszczędności
  6. Kluczowe wnioski

Aktualizacja z 2 listopada 2026 r. — Modele. Mistral Large 3 (mistral-large-2512) oraz Mistral Medium 3.5 zostały wycofane z użytku 31 października 2026 r., a ich wsparcie zostanie całkowicie zakończone 30 kwietnia 2027 r. Ich wyznaczony następca, Mistral Large 4 (mistral-large-4), jest dostępny w wersji publicznej (public preview) od 6 października. Przykłady w tym kursie wykorzystują alias mistral-large-latest, który obecnie wskazuje na model Mistral Large 3 zgodnie z oficjalną kartą danych (zweryfikowano 3 listopada 2026 r.). Podobnie alias mistral-medium-latest wskazuje na Mistral Medium 3.5. Aliasy te pozostaną ważne do 30 kwietnia 2027 r. W przypadku nowych projektów przetestuj mistral-large-4, ich wyznaczonego następcę.

Zrozumienie inferencji wsadowej

Gdy przenosisz model językowy do środowiska produkcyjnego, stajesz przed kompromisem: musisz przetworzyć ogromne wolumeny żądań, nie pozwalając jednocześnie, by koszty wymknęły się spod kontroli. Inferencja wsadowa rozwiązuje dokładnie ten problem. Zamiast wywoływać API żądanie po żądaniu, grupujesz swoje zlecenia i wykonujesz je równolegle po znacznie niższej stawce niż w przypadku pojedynczych wywołań.

Przepływ pracy遵循 standardowy wzorzec asynchroniczny: zbierasz żądania w pliku, przesyłasz wsad, zajmujesz się innymi zadaniami, a wyniki pobierasz dopiero po zakończeniu przetwarzania. To zaakceptowane opóźnienie jest źródłem wartości: daje Mistral AI swobodę optymalnego planowania pracy na zasobach GPU, a wynikające z tego zyski efektywności są przekazywane Tobie w postaci obniżki ceny.

1M
Maksymalna liczba żądań na wsad
-50%
Typowa redukcja kosztów
8
Obsługiwane punkty końcowe
∞
Przechowywanie wyników

Kiedy stosować inferencję wsadową?

Kryterium decyzji sprowadza się do jednego pytania: czy indywidualny czas odpowiedzi jest krytyczny? Jeśli nikt nie czeka przed ekranem, tryb wsadowy jest właściwym wyborem. Dotyczy to przetwarzania dużych korpusów: dział prawny, który musi sklasyfikować i podsumować czterdzieści tysięcy archiwalnych umów, nie potrzebuje odpowiedzi w dwie sekundy; potrzebuje przetworzenia wszystkich czterdziestu tysięcy przed poniedziałkiem przy utrzymaniu zrównoważonych kosztów.

Masowa generacja treści podlega tej samej logice. Katalog e-commerce z sześćdziesięcioma tysiącami produktów wymagającymi opisów lub kampania spersonalizowanych e-maili przygotowywana dzień wcześniej to idealni kandydaci do przesłania w trybie nocnym. Ewaluacja i benchmarking również tu pasują: gdy mierzysz wydajność modelu na zbiorze testowym, każde żądanie jest niezależne od innych, a werdykt odczytujesz dopiero po uruchomieniu całego zestawu.

Potoki ETL i wzbogacanie danych stanowią trzeci naturalny obszar zastosowań. Pobierasz istniejącą bazę danych i dodajesz metadane ekstrahowane przez AI – sentyment, kategoryzację, encje nazwane – a przetwarzanie wpisuje się w już istniejący łańcuch asynchroniczny. Wreszcie, moderacja na dużą skalę, gdzie musisz przesiać miliony treści generowanych przez użytkowników w celu wykrycia naruszeń, czerpie największe korzyści ekonomiczne właśnie z tego trybu przesyłania.

Z drugiej strony, jeśli Twoja aplikacja musi odpowiadać, gdy użytkownik patrzy na ekran – chatbot, interaktywny asystent, autouzupełnianie – inferencja wsadowa odpada. Te przypadki użycia należą do standardowego synchronicznego API, a próba wymuszenia na nich trybu wsadowego przyniesie jedynie frustrację.

Kompatybilne punkty końcowe

Inferencja wsadowa obsługuje osiem punktów końcowych API Mistral:

  • /v1/chat/completions — Generowanie tekstu konwersacyjnego
  • /v1/embeddings — Obliczanie wektorów semantycznych
  • /v1/fim/completions — Uzupełnianie kodu (fill-in-the-middle)
  • /v1/moderations — Moderacja treści
  • /v1/ocr — Optyczne rozpoznawanie znaków (OCR)
  • /v1/classifications — Klasyfikacja tekstu
  • /v1/conversations — Rozmowy wieloturkowe
  • /v1/audio/transcriptions — Transkrypcja audio

Ten zakres zmienia sposób projektowania zadań masowego przetwarzania: semantyczne indeksowanie bazy dokumentów, digitalizacja archiwów papierowych oraz transkrypcja funduszu nagrań telefonicznych – wszystko to odbywa się przez ten sam zunifikowany mechanizm, z tymi samymi zasadami przesyłania i pobierania.

Dwa tryby przesyłania

Mistral oferuje dwa podejścia do przesyłania żądań wsadowych, a wybór zależy zasadniczo od wolumenu. Wsadowanie plikowe skaluje się do miliona żądań: przygotowujesz plik JSONL, przesyłasz go na platformę, a następnie tworzysz zadanie wskazujące na ten plik. Jest to metoda zalecana, gdy wolumeny stają się poważne, zwłaszcza że plik pozostaje wielokrotnego użytku i możliwy do śledzenia.

Wsadowanie inline ma limit dziesięciu tysięcy żądań i eliminuje etap pracy z plikiem: przesyłasz żądania bezpośrednio w treści wywołania API. Dla skryptu, który generuje swoje zlecenia w locie i nie ma powodu, by zapisywać dane pośrednie na dysku, jest to rozwiązanie znacznie szybsze w konfiguracji. Szczegółowo omówimy każde z tych podejść w kolejnych lekcjach.

Konkretne oszczędności

Cennik inferencji wsadowej różni się od standardowego API. Przy typowych wolumenach produkcyjnych, starting od stu tysięcy żądań dziennie, oszczędności sięgają 50% lub więcej w porównaniu z indywidualnymi wywołaniami synchronicznymi – to wystarczająco dużo, by uczynić opłacalnymi przetwarzania, które przy stawkach czasu rzeczywistego byłyby po prostu niemożliwe do zbudżetowania. Dochodzi często niedoceniany komfort operacyjny: wyniki nie wygasają. Możesz je pobrać ponownie w dowolnym momencie po zakończeniu przetwarzania, co zwalnia Cię z konieczności budowania lokalnej kopii zapobiegawczej.

Kluczowe wnioski

  • Inferencja wsadowa grupuje Twoje żądania w celu asynchronicznego przetwarzania po obniżonym koszcie
  • Obsługuje osiem różnych punktów końcowych, pokrywając niemal wszystkie przypadki użycia
  • Istnieją dwa tryby: wsadowanie plikowe (do 1 mln żądań) i wsadowanie inline (do 10 tys.)
  • Wyniki są trwałe i możliwe do pobrania bez limitu czasowego
  • Ten tryb nie nadaje się do aplikacji wymagających odpowiedzi w czasie rzeczywistym