Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Järelduste partii töötlemine: miks, millal ja kulude kokkuhoid

Õppetund 1 / 16 Värskendatud 3. november 2026 Edasijõudnutele
Sellel lehel
  1. Järelduste partii töötlemise mõistmine
  2. Millal kasutada partii kaupa järelduste tegemist?
  3. Ühilduvad lõpp-punktid
  4. Kaks esitamise viisi
  5. Konkreetne kokkuhoid
  6. Peamised punktid

Uuendus 2. november 2026 — Mudelid. Mistral Large 3 (mistral-large-2512) ja Mistral Medium 3.5 tunnistati aegunuks 31. oktoobril 2026 ning need eemaldatakse kasutusest 30. aprillil 2027. Nende määratud järeltulija, Mistral Large 4 (mistral-large-4), on olnud avalikus eelvaates alates 6. oktoobrist. Selles kursuses kasutatavad näited põhinevad aliassel mistral-large-latest, mis osutab praegu Mistral Large 3-le vastavalt selle ametlikule andmelehele (kontrollitud 3. novembril 2026). Samuti osutab alias mistral-medium-latest mudelile Mistral Medium 3.5. Need aliased kehtivad kuni 30. aprillini 2027. Uute projektide puhul testi mistral-large-4, nende määratud järeltulijat.

Järelduste partii töötlemise mõistmine

Kui viid keelemudeli tootmiskeskkonda, seisad silmitsi kompromissiga: pead töötlema tohutuid päringumahtusid, lastes kuludel kontrolli alt väljumata. Partiikaupa järelduste tegemine (batch inference) lahendab täpselt selle probleemi. API-le päringute kaupa helistamise asemel rühmitad oma taotlused ja teostad need paralleelselt madalama hinnaga võrreldes üksikute kutsetega.

Töövoog järgib standardset asünkroonset mustrit: kogud oma päringud faili, esitad partii, tegeled muude ülesannetega ja toomid tulemused tagasi, kui töötlemine on lõppenud. Just see aktsepteeritud viivitus loob väärtust: see annab Mistral AI-le vabaduse planeerida tööd optimaalselt oma GPU-resursside vahel ning saadud tõhususe kasv kantakse üle sinule hinnaalanduse näol.

1M
Maksimaalne päringute arv partis
-50%
Tüüpiline kulude vähendamine
8
Toetatud lõpp-punktid
∞
Tulemuste säilitamine

Millal kasutada partii kaupa järelduste tegemist?

Otsuse tegemise kriteerium taandub ühele küsimusele: kas üksiku vastuse viivitus on kriitiline? Kui keegi ei oota ekraani ees, on partii töötlemine õige tee. See kehtib suurte korpuste töötlemisel: õigusteenusel, mis peab liigitama ja kokku võtma nelikümmend tuhat arhiveeritud lepingut, pole vaja kahe sekundi pikkust vastusaega; ta vajab, et kõik nelikümmend tuhat oleksid töödeldud enne esmaspäeva jätkusuutlike kuludega.

Massiline sisu genereerimine järgib sama loogikat. Kuuekümne tuhande tootega e-kaubanduse kataloog, mis vajab tootekirjeldusi, või eelmisel päeval ette valmistatud isikupärastatud meilikampaania on ideaalsed kandidaadid öiseks esitamiseks. Hindamine ja võrdlustestid sobivad samuti siia: kui mõõdad mudeli jõudlust testandmestikul, on iga päring teistest sõltumatu ja loed otsust alles siis, kui kogu komplekt on läbi töötatud.

ETL-torustikud ja andmete rikastamine moodustavad kolmanda loomuliku valdkonna. Võtad olemasoleva andmebaasi ja lisad AI-ga ekstraheeritud metaandmeid – meeleolu, kategoriseerimine, nimetatud üksused – ning töötlemine sobitub juba olemasolevasse asünkroonsesse ahelasse. Lõpuks toob ulatuslik moderatsioon, kus pead läbi sõeluma miljoneid kasutajate loodud sisu rikkumiste tuvastamiseks, suurima majandusliku kasu just sellest esitamise viisist.

Vastupidi, kui sinu rakendus peab vastama ajal, kui kasutaja vaatab – vestlusrobot, interaktiivne assistent, automaatne lõpetamine – on partii kaupa järelduste tegemine välistatud. Need kasutusjuhtumid kuuluvad standardse sünkroonse API alla ja nende sunnitud paigutamine partii režiimi tekitab ainult frustratsiooni.

Ühilduvad lõpp-punktid

Partii kaupa järelduste tegemine toetab kaheksat Mistral API lõpp-punkti:

  • /v1/chat/completions – Vestluspõhine teksti genereerimine
  • /v1/embeddings – Semantiliste vektorite arvutamine
  • /v1/fim/completions – Koodi lõpetamine (fill-in-the-middle)
  • /v1/moderations – Sisu moderatsioon
  • /v1/ocr – Optiline märgituvastus
  • /v1/classifications – Teksti klassifitseerimine
  • /v1/conversations – Mitmekäigulised vestlused
  • /v1/audio/transcriptions – Helisalvestiste transkriptsioon

See hõlmatus muudab viisi, kuidas kavandad oma massilisi töötlemisülesandeid: dokumendibaasi semantiline indekseerimine, paberarhiivide digitaliseerimine ja telefonisalvestiste fondi transkriptsioon läbivad kõik sama ühtse mehhanismi, kasutades samu esitamise ja tagasitoomise reegleid.

Kaks esitamise viisi

Mistral pakub kahte lähenemist partii päringute esitamiseks ja valik sõltub sisuliselt mahust. Failipõhine partii skaalautub kuni miljoni päringuni: valmistad ette JSONL-faili, laadid selle platvormile ja lood seejärel töö, mis osutab sellele failile. See on soovitatav meetod niipea, kui mahud muutuvad tõsiseks, eriti seetõttu, et fail jääb uuesti kasutatavaks ja jälgitavaks.

Reasisene partii (inline batching) on piiratud kümne tuhande päringuga ja välistab faili sammu: edastad päringud otse API kutse kehas. Skripti jaoks, mis genereerib oma taotlused lennult ja millel pole põhjust vahefaili kettaga salvestada, on see oluliselt kiiremini seadistatav. detailselt käsitleme mõlemat neist lähenemistest järgmistes tundides.

Konkreetne kokkuhoid

Partii kaupa järelduste tegemise hinnakujundus erineb standardsest API-st. Tüüpilistes tootmismahudes, alates sajast tuhandest päringust päevas, ulatub kokkuhoid 50% või enam võrreldes üksikute sünkroonsete kutsetega – piisavalt, et muuta elujõuliseks töötlemised, mida reaalajas hind lihtsalt eelarvesse mahutada ei võimaldaks. Lisandub sageli alahinnatud operatiivne mugavus: tulemused ei aegu. Saad neid alla laadida igal ajal pärast töötlemise lõppu, mis välistab vajaduse ehitada ettevaatusabinõuna kohalikku koopiat.

Peamised punktid

  • Partii kaupa järelduste tegemine rühmitab sinu päringud asünkroonseks töötlemiseks madalama hinnaga
  • See toetab kaheksat erinevat lõpp-punkti, kattes peaaegu kõik kasutusjuhtumid
  • Eksisteerib kaks režiimi: failipõhine partii (kuni 1M päringut) ja reasisene partii (kuni 10K)
  • Tulemused on püsivad ja allalaaditavad ilma ajapiiranguta
  • See režiim ei sobi rakendustele, mis nõuavad reaalajas vastuseid