Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Batch-inferens: Hvorfor, hvornår og besparelser

Lektion 1 af 16 Opdateret 3. november 2026 Avanceret
På denne side
  1. Forstå batch-inferens
  2. Hvornår skal du bruge batch-inferens?
  3. Kompatible endpoints
  4. To indsendelsestilstande
  5. Konkrete besparelser
  6. Vigtige pointer

Opdatering 2. november 2026 — Modeller. Mistral Large 3 (mistral-large-2512) og Mistral Medium 3.5 blev udfaset den 31. oktober 2026 og vil blive trukket tilbage den 30. april 2027. Deres udpegede efterfølger, Mistral Large 4 (mistral-large-4), har været i offentlig forhåndsvisning siden den 6. oktober. Eksemplerne i dette kursus bruger aliaset mistral-large-latest, som i øjeblikket peger på Mistral Large 3 ifølge det officielle datablad (verificeret 3. november 2026). Tilsvarende peger mistral-medium-latest på Mistral Medium 3.5. Disse aliaser forbliver gyldige indtil den 30. april 2027. Test mistral-large-4, deres udpegede efterfølger, til nye projekter.

Forstå batch-inferens

Når du flytter en sprogmodel til produktion, står du over for et kompromis: Du skal behandle enorme mængder anmodninger uden at lade omkostningerne løbe løbsk. Batch-inferens løser præcis dette problem. I stedet for at kalde API’en anmodning for anmodning, grupperer du dine forespørgsler og eksekverer dem parallelt til en lavere takst end ved individuelle kald.

Arbejdsgangen følger et standard asynkront mønster: Du samler dine anmodninger i en fil, indsender batchet, går videre til andre opgaver og henter resultaterne, når behandlingen er afsluttet. Denne accepterede ventetid er netop det, der skaber værdi: Det giver Mistral AI frihed til at planlægge arbejdet optimalt på tværs af GPU-ressourcerne, og de deraf følgende effektivitetsgevinster videregives til dig som en prisnedsættelse.

1M
Maks. anmodninger pr. batch
-50%
Typisk omkostningsreduktion
8
Understøttede endpoints
∞
Opbevaring af resultater

Hvornår skal du bruge batch-inferens?

Beslutningskriteriet koges ned til ét spørgsmål: Er individuel svartid kritisk? Hvis ingen sidder og venter foran en skærm, er batch vejen frem. Dette gælder behandling af store korpusser: En juridisk tjeneste, der skal klassificere og opsummere fyrre tusinde arkiverede kontrakter, har ikke brug for et svar på to sekunder; den har brug for at få alle fyrre tusinde behandlet inden mandag til en bæredygtig pris.

Massiv indholdsgenerering følger samme logik. En e-handelskatalog med tres tusinde varer, der kræver produktbeskrivelser, eller en kampagne med personlige e-mails forberedt dagen før, er perfekte kandidater til indsendelse natten over. Evaluering og benchmarking hører også hjemme her: Når du måler en models ydeevne på et testsæt, er hver anmodning uafhængig af de andre, og du læser først dommen, når hele sættet er kørt.

ETL-pipelines og data berigelse udgør et tredje naturligt territorium. Du tager en eksisterende database og tilføjer AI-udtrukne metadata – sentiment, kategorisering, navngivne enheder – og behandlingen passer ind i en allerede asynkron kæde. Endelig opnår storskala moderation, hvor du skal sigte gennem millioner af brugergenereret indhold for at opdage overtrædelser, størst økonomisk fordel af denne indsendelsestilstand.

Omvendt, hvis din applikation skal svare, mens brugeren ser på – chatbot, interaktiv assistent, autofuldførelse – er batch-inferens udelukket. Disse use cases hører hjemme i den standard synkrone API, og forsøg på at tvinge dem ind i batch-tilstand skaber kun frustration.

Kompatible endpoints

Batch-inferens understøtter otte Mistral API-endpoints:

  • /v1/chat/completions — Konversationel tekstgenerering
  • /v1/embeddings — Beregning af semantiske vektorer
  • /v1/fim/completions — Kodefuldførelse (fill-in-the-middle)
  • /v1/moderations — Indholdsmoderation
  • /v1/ocr — Optisk tegngenkendelse (OCR)
  • /v1/classifications — Tekstklassificering
  • /v1/conversations — Flerrunders samtaler
  • /v1/audio/transcriptions — Lydtransskription

Denne dækning ændrer måden, du designer dine massebehandlingsopgaver på: Semantisk indeksering af en dokumentbase, digitalisering af papirarkiver og transskription af en samling telefonoptagelser går alle gennem den samme samlede mekanisme med de samme mekanismer for indsendelse og hentning.

To indsendelsestilstande

Mistral tilbyder to tilgange til indsendelse af dine batch-anmodninger, og valget afhænger i bund og grund af volumen. Fil-batching skalerer op til én million anmodninger: Du forbereder en JSONL-fil, uploader den til platformen og opretter derefter et job, der peger på den fil. Dette er den anbefalede metode, så snart volumenerne bliver seriøse, især fordi filen forbliver genanvendelig og sporbar.

Inline-batching er begrænset til ti tusind anmodninger og eliminerer fil-trinnet: Du sender anmodningerne direkte i API-kaldets body. Til et script, der genererer sine forespørgsler på farten og ikke har nogen grund til at skrive en mellemliggende fil til disken, er dette betydeligt hurtigere at sætte op. Vi vil uddybe hver af disse tilgange i de følgende lektioner.

Konkrete besparelser

Prissætningen for batch-inferens adskiller sig fra standard-API’en. Ved typiske produktionsvolumener, startende fra hundrede tusind anmodninger om dagen, når besparelserne 50 % eller mere sammenlignet med individuelle synkrone kald – nok til at gøre behandlinger levedygtige, som en realtids-takst simpelthen ville gøre umulig at budgettere. En ofte undervurderet operationel komfort tilføjes: Resultater udløber ikke. Du kan downloade dem igen når som helst efter behandlingens afslutning, hvilket fjerner behovet for at bygge en lokal kopi som en forholdsregel.

Vigtige pointer

  • Batch-inferens grupperer dine anmodninger til asynkron behandling til en reduceret omkostning
  • Det understøtter otte forskellige endpoints, der dækker næsten alle use cases
  • Der findes to tilstande: fil-batching (op til 1M anmodninger) og inline-batching (op til 10K)
  • Resultater er persistente og kan downloades uden tidsbegrænsning
  • Denne tilstand er ikke egnet til applikationer, der kræver svar i realtid