Batch-inferentie: waarom, wanneer en kostenbesparing
Op deze pagina
Update 2 november 2026 — Modellen. Mistral Large 3 (
mistral-large-2512) en Mistral Medium 3.5 zijn op 31 oktober 2026 verouderd en worden op 30 april 2027 buiten gebruik gesteld. Hun aangewezen opvolger, Mistral Large 4 (mistral-large-4), is sinds 6 oktober beschikbaar als openbare preview. De voorbeelden in deze cursus gebruiken de aliasmistral-large-latest, die volgens het officiële gegevensblad (geverifieerd op 3 november 2026) momenteel verwijst naar Mistral Large 3. Op dezelfde manier verwijstmistral-medium-latestnaar Mistral Medium 3.5. Deze aliassen blijven geldig tot 30 april 2027. Test voor nieuwe projectenmistral-large-4, hun aangewezen opvolger.
Inzicht in batch-inferentie
Zodra u een taalmodel naar productie verplaatst, staat u voor een afweging: u moet enorme volumes aanvragen verwerken zonder dat de kosten uit de hand lopen. Batch-inferentie lost precies dit probleem op. In plaats van de API aanvraag per aanvraag aan te roepen, groepeert u uw verzoeken en voert u ze parallel uit tegen een lager tarief dan bij individuele oproepen.
De workflow volgt een standaard asynchroon patroon: u verzamelt uw verzoeken in een bestand, dient de batch in, gaat door met andere taken en haalt de resultaten op zodra de verwerking is voltooid. Deze geaccepteerde latentie is precies wat waarde creëert: het geeft Mistral AI de vrijheid om werk optimaal te plannen over zijn GPU-bronnen, en de resulterende efficiëntiewinst wordt aan u doorgegeven als een prijsverlaging.
Wanneer gebruikt u batch-inferentie?
Het beslissingscriterium komt neer op één vraag: is de individuele responslatentie cruciaal? Als er niemand voor een scherm wacht, is batch de juiste keuze. Dit geldt voor het verwerken van grote corpora: een juridische dienst die veertigduizend gearchiveerde contracten moet classificeren en samenvatten, heeft geen behoefte aan een respons van twee seconden; het heeft nodig dat alle veertigduizend voor maandag zijn verwerkt tegen een duurzame kostprijs.
Massale contentgeneratie volgt dezelfde logica. Een e-commercecatalogus met zestigduizend artikelen die productbeschrijvingen vereisen, of een campagne met gepersonaliseerde e-mails die de dag ervoor zijn voorbereid, zijn perfecte kandidaten voor indiening ‘s nachts. Evaluatie en benchmarking passen hier ook bij: wanneer u de prestaties van een model meet op een testdataset, is elk verzoek onafhankelijk van de andere en leest u het oordeel pas nadat de volledige set is uitgevoerd.
ETL-pipelines en data-verrijking vormen een derde natuurlijk terrein. U neemt een bestaande database en voegt door AI geëxtraheerde metadata toe—sentiment, categorisatie, benoemde entiteiten—en de verwerking past in een reeds asynchrone keten. Tot slot haalt grootschalige moderatie, waarbij u miljoenen door gebruikers gegenereerde inhoud moet doorzoeken om schendingen op te sporen, het grootste economische voordeel uit deze indieningsmodus.
Als uw applicatie daarentegen moet reageren terwijl de gebruiker kijkt—chatbot, interactieve assistent, auto-aanvulling—valt batch-inferentie af. Deze use-cases behoren tot de standaard synchrone API, en proberen ze in batch-modus te forceren leidt alleen tot frustratie.
Compatibele eindpunten
Batch-inferentie ondersteunt acht Mistral API-eindpunten:
/v1/chat/completions— Conversationele tekstgeneratie/v1/embeddings— Berekening van semantische vectoren/v1/fim/completions— Code-aanvulling (fill-in-the-middle)/v1/moderations— Contentmoderatie/v1/ocr— Optische tekenherkenning (OCR)/v1/classifications— Tekstclassificatie/v1/conversations— Conversaties met meerdere beurten/v1/audio/transcriptions— Audiotranscriptie
Deze dekking verandert de manier waarop u uw massaverwerkingstaken ontwerpt: semantische indexering van een documentenbasis, digitalisering van papieren archieven en transcriptie van een fonds telefoongesprekken lopen allemaal via hetzelfde verenigde mechanisme, met dezelfde indienings- en ophaalmechanieken.
Twee indieningsmodi
Mistral biedt twee benaderingen voor het indienen van uw batch-verzoeken, en de keuze hangt in wezen af van het volume. Bestandsbatching schaalt op tot één miljoen verzoeken: u bereidt een JSONL-bestand voor, uploadt het naar het platform en maakt vervolgens een taak die naar dat bestand verwijst. Dit is de aanbevolen methode zodra de volumes serieus worden, vooral omdat het bestand herbruikbaar en traceerbaar blijft.
Inline batching is beperkt tot tienduizend verzoeken en elimineert de bestandsstap: u geeft de verzoeken direct door in de body van de API-oproep. Voor een script dat zijn verzoeken on-the-fly genereert en geen reden heeft om een tussenbestand naar schijf te schrijven, is dit aanzienlijk sneller in te stellen. We zullen elk van deze benaderingen in de volgende lessen in detail bespreken.
Concrete besparingen
De prijsstelling voor batch-inferentie verschilt van die van de standaard API. Bij typische productievolumes, vanaf honderdduizend verzoeken per dag, lopen de besparingen op tot 50% of meer in vergelijking met individuele synchrone oproepen—genoeg om behandelingen levensvatbaar te maken die tegen een real-time tarief simpelweg onbegrootbaar zouden zijn. Er komt vaak een onderschat operationeel comfort bij: resultaten verlopen niet. U kunt ze op elk moment na voltooiing van de verwerking opnieuw downloaden, wat de noodzaak wegneemt om uit voorzorg een lokale kopie te bouwen.
Belangrijkste punten
- Batch-inferentie groepeert uw verzoeken voor asynchrone verwerking tegen een verlaagde kostprijs
- Het ondersteunt acht verschillende eindpunten, die bijna alle use-cases bestrijken
- Er bestaan twee modi: bestandsbatching (tot 1M verzoeken) en inline batching (tot 10K)
- Resultaten zijn persistent en zonder tijdslimiet downloadbaar
- Deze modus is niet geschikt voor applicaties die real-time responsen vereisen