Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Batchinferens: Varför, när och kostnadsbesparingar

Lektion 1 av 16 Uppdaterad 3 november 2026 Avancerad
På denna sida
  1. Förstå batchinferens
  2. När ska du använda batchinferens?
  3. Kompatibla endpoints
  4. Två inskickningslägen
  5. Konkreta besparingar
  6. Viktiga punkter

Uppdatering 2 november 2026 — Modeller. Mistral Large 3 (mistral-large-2512) och Mistral Medium 3.5 avvecklades den 31 oktober 2026 och kommer att tas bort helt den 30 april 2027. Deras utsedda efterträdare, Mistral Large 4 (mistral-large-4), har funnits tillgänglig i offentlig förhandsversion sedan den 6 oktober. Exemplen i denna kurs använder aliaset mistral-large-latest, vilket för närvarande pekar på Mistral Large 3 enligt dess officiella datablad (verifierat den 3 november 2026). På samma sätt pekar mistral-medium-latest på Mistral Medium 3.5. Dessa alias förblir giltiga fram till den 30 april 2027. För nya projekt bör du testa mistral-large-4, deras utsedda efterträdare.

Förstå batchinferens

När du flyttar en språkmodell till produktion ställs du inför ett vägval: du behöver bearbeta enorma volymer förfrågningar utan att låta kostnaderna skena. Batchinferens löser exakt detta problem. Istället för att anropa API:t begäran för begäran grupperar du dina förfrågningar och kör dem parallellt till en lägre kostnad jämfört med enskilda anrop.

Arbetsflödet följer ett standardiserat asynkront mönster: du samlar dina förfrågningar i en fil, skickar in batchen, går vidare till andra uppgifter och hämtar resultaten när bearbetningen är klar. Denna accepterade latens är precis det som skapar värde: det ger Mistral AI friheten att schemalägga arbete optimalt över sina GPU-resurser, och de resulterande effektivitetsvinsterna förs vidare till dig som en prisreduktion.

1M
Max förfrågningar per batch
-50%
Typisk kostnadsreduktion
8
Supporterade endpoints
∞
Resultatlagring

När ska du använda batchinferens?

Beslutskriteriet kokar ner till en fråga: är individuell svarstid kritisk? Om ingen sitter och väntar framför en skärm är batch vägen att gå. Detta gäller vid bearbetning av stora korpusar: en juristtjänst som behöver klassificera och sammanfatta fyrtiotusen arkiverade kontrakt har inget behov av en svarstid på två sekunder; den behöver att alla fyrtiotusen är bearbetade innan måndag till en hållbar kostnad.

Massgenerering av innehåll följer samma logik. En e-handelskatalog med sextiotusen artiklar som kräver produktbeskrivningar, eller en kampanj med personliga e-postmeddelanden som förbereds dagen innan, är perfekta kandidater för inskickning över natten. Utvärdering och benchmarking passar också in här: när du mäter en models prestanda på en testdatamängd är varje förfrågan oberoende av de andra, och du läser bara domen när hela mängden har körts.

ETL-pipelines och dataanrikning utgör ett tredje naturligt område. Du tar en befintlig databas och lägger till AI-extraherad metadata – sentiment, kategorisering, namngivna entiteter – och bearbetningen passar in i en redan asynkron kedja. Slutligen drar storskalig moderering, där du måste sålla igenom miljontals användargenererade innehåll för att upptäcka överträdelser, störst ekonomisk nytta av detta inskickningsläge.

Omvänt, om din applikation måste svara medan användaren tittar på – chattbot, interaktiv assistent, autokomplettering – är batchinferens uteslutet. Dessa användningsfall hör hemma i det vanliga synkrona API:t, och att försöka tvinga in dem i batch-läge skapar bara frustration.

Kompatibla endpoints

Batchinferens stöder åtta Mistral API-endpoints:

  • /v1/chat/completions — Konversationell textgenerering
  • /v1/embeddings — Beräkning av semantiska vektorer
  • /v1/fim/completions — Kodkomplettering (fill-in-the-middle)
  • /v1/moderations — Innehållsmoderering
  • /v1/ocr — Optisk teckenigenkänning (OCR)
  • /v1/classifications — Textklassificering
  • /v1/conversations — Flerstegskonversationer
  • /v1/audio/transcriptions — Ljudtranskribering

Denna täckning förändrar hur du designar dina massbearbetningsuppgifter: semantisk indexering av en dokumentbas, digitalisering av pappersarkiv och transkribering av ett arkiv med telefonsamtal går alla genom samma enhetliga mekanism, med samma mekanismer för inskickning och hämtning.

Två inskickningslägen

Mistral erbjuder två metoder för att skicka in dina batchförfrågningar, och valet beror i huvudsak på volym. Filbatchning skalar upp till en miljon förfrågningar: du förbereder en JSONL-fil, laddar upp den till plattformen och skapar sedan ett jobb som pekar på den filen. Detta är den rekommenderade metoden så snart volymerna blir seriösa, särskilt eftersom filen förblir återanvändbar och spårbar.

Inline-batchning är begränsad till tiotusen förfrågningar och eliminerar filsteget: du skickar förfrågningarna direkt i API-anropets body. För ett skript som genererar sina förfrågningar i farten och inte har någon anledning att skriva ett mellanliggande steg till disk, är detta betydligt snabbare att komma igång med. Vi kommer att gå igenom vart och ett av dessa tillvägagångssätt i detalj i de följande lektionerna.

Konkreta besparingar

Prissättningen för batchinferens skiljer sig från standard-API:t. Vid typiska produktionsvolymer, från och med hundratusen förfrågningar per dag, når besparingarna 50 % eller mer jämfört med enskilda synkrona anrop – tillräckligt för att göra behandlingar lönsamma som en realtidspris helt enkelt skulle göra omöjliga att budgetera. En ofta underskattad operativ bekvämlighet tillkommer: resultaten löper inte ut. Du kan ladda ner dem igen när som helst efter att bearbetningen är klar, vilket gör att du slipper behöva bygga en lokal kopia som en försiktighetsåtgärd.

Viktiga punkter

  • Batchinferens grupperar dina förfrågningar för asynkron bearbetning till en reducerad kostnad
  • Det stöder åtta olika endpoints, vilket täcker nästan alla användningsfall
  • Två lägen finns: filbatchning (upp till 1M förfrågningar) och inline-batchning (upp till 10K)
  • Resultat är beständiga och kan laddas ner utan tidsbegränsning
  • Detta läge är inte lämpligt för applikationer som kräver svar i realtid