Päättely eräajona: miksi, milloin ja kustannussäästöt
Tällä sivulla
Päivitys 2. marraskuuta 2026 — Mallit. Mistral Large 3 (
mistral-large-2512) ja Mistral Medium 3.5 poistettiin käytöstä 31. lokakuuta 2026, ja ne poistetaan kokonaan 30. huhtikuuta 2027. Niiden nimetty seuraaja, Mistral Large 4 (mistral-large-4), on ollut julkisessa esiversiossa 6. lokakuuta lähtien. Tämän kurssin esimerkeissä käytetään aliastamistral-large-latest, joka osoittaa tällä hetkellä Mistral Large 3 -malliin sen virallisen tietolehden mukaan (varmistettu 3. marraskuuta 2026). Vastaavastimistral-medium-latestosoittaa Mistral Medium 3.5 -malliin. Nämä aliakset pysyvät voimassa 30. huhtikuuta 2027 saakka. Uusia projekteja varten testaamistral-large-4:ää, niiden nimettyä seuraajaa.
Päättelyn ymmärtäminen eräajona
Kun siirrät kielimallin tuotantoon, kohtaat kompromissin: sinun on käsiteltävä valtavia pyyntömääriä antamatta kustannusten karata käsistä. Eräajoina tehtävä päättely (batch inference) ratkaisee juuri tämän ongelman. API:n kutsumisen sijaan pyyntö kerrallaan ryhmittelet pyyntösi ja suoritat ne rinnakkain alennetulla hinnalla verrattuna yksittäisiin kutsuihin.
Työnkulku noudattaa vakiomuotoista asynkronista kaavaa: keräät pyyntösi tiedostoon, lähetät erän, siirryt muihin tehtäviin ja haet tulokset käsittelyn valmistuttua. Juuri tämä hyväksytty viive luo arvoa: se antaa Mistral AI:lle vapauden aikatauluttaa työ optimaalisesti GPU-resurssiensa yli, ja syntyvät tehokkuushyödyt välittyvät sinulle hinnanalennuksena.
Milloin käyttää eräajoina tehtävää päättelyä?
Päätöskriteeri tiivistyy yhteen kysymykseen: onko yksittäisen vastauksen viive kriittinen? Jos kukaan ei odota näytön edessä, eräajo on oikea valinta. Tämä pätee suurten tekstikorpusten käsittelyyn: lakipalvelulla, jonka tarvitsee luokitella ja tiivistää neljäkymmentätuhatta arkistosopimusta, ei ole tarvetta kahden sekunnin vasteajalle; se tarvitsee kaikki neljäkymmentätuhatta käsitelty ennen maanantaita kestävillä kustannuksilla.
Massiivinen sisällöntuotanto noudattaa samaa logiikkaa. Verkkokaupan kuvasto, jossa on kuusikymmentätuhatta tuotetta, jotka tarvitsevat tuotekuvaukset, tai henkilökohtaistettujen sähköpostien kampanja, joka valmistellaan edellisenä päivänä, ovat täydellisiä kohteita yön yli tehtävälle lähetykselle. Myös arviointi ja vertailutestaus sopivat tähän: kun mittaat mallin suorituskykyä testidatajoukossa, jokainen pyyntö on riippumaton muista, ja luet tuomion vasta, kun koko joukko on suoritettu.
ETL-putket ja datan rikastaminen muodostavat kolmannen luontevan alueen. Otat olemassa olevan tietokannan ja lisäät siihen tekoälyn erottamaa metadataa – sentimenttiä, luokittelua, nimettyjä entiteettejä – ja käsittely sopii jo ennestään asynkroniseen ketjuun. Lopuksi laajan mittakaavan moderointi, jossa miljoonia käyttäjien tuottamia sisältöjä on seulottava rikkomusten havaitsemiseksi, saa suurimman taloudellisen hyötynsä juuri tästä lähetystavasta.
Päinvastoin, jos sovelluksesi täytyy vastata käyttäjän katsellessa – chatbot, vuorovaikutteinen avustaja, automaattinen täydennys – eräajoina tehtävä päättely ei tule kyseeseen. Nämä käyttötapaukset kuuluvat vakiomuotoiselle synkroniselle APILLE, ja niiden pakottaminen eräajotilaan tuottaa vain turhautumista.
Yhteensopivat päätepisteet
Eräajoina tehtävä päättely tukee kahdeksaa Mistral API:n päätepistettä:
/v1/chat/completions— Keskusteleva tekstin tuottaminen/v1/embeddings— Semanttisten vektoreiden laskenta/v1/fim/completions— Koodin täydennys (fill-in-the-middle)/v1/moderations— Sisällön moderointi/v1/ocr— Optinen merkkien tunnistus/v1/classifications— Tekstin luokittelu/v1/conversations— Monivaiheiset keskustelut/v1/audio/transcriptions— Äänen transkriptio
Tämä kattavuus muuttaa tapaa, jolla suunnittelet massiivisia käsittelytehtäviä: dokumenttikannan semanttinen indeksointi, paperiarkistojen digitointi ja puhelunauhoitekannan transkriptio kulkevat kaikki saman yhtenäisen mekanismin läpi, samoilla lähetys- ja hakumekanismeilla.
Kaksi lähetystapaa
Mistral tarjoaa kaksi lähestymistapaa eräpyyntöjen lähettämiseen, ja valinta riippuu olennaisesti volyymista. Tiedostopohjainen eräajo skaalautuu miljoonaan pyyntöön: valmistelet JSONL-tiedoston, lataat sen alustalle ja luot sitten työn, joka viittaa kyseiseen tiedostoon. Tämä on suositeltu menetelmä heti, kun volyymit kasvavat merkittäviksi, erityisesti siksi, että tiedosto pysyy uudelleenkäytettävänä ja jäljitettävänä.
Suora eräajo (inline batching) rajoittuu kymmeneentuhanteen pyyntöön ja poistaa tiedostovaiheen: välität pyynnöt suoraan API-kutsun rungossa. Skriptille, joka generoi pyyntönsä lennossa eikä sillä ole syytä kirjoittaa välivaihetta levylle, tämä on huomattavasti nopeampi ottaa käyttöön. Yksityiskohtaamme kumpikin näistä lähestymistavoista seuraavissa oppitunneissa.
Konkreettiset säästöt
Eräajoina tehtävän päättelyn hinnoittelu eroaa vakio-APIsta. Tyypillisissä tuotantovolyymeissä, alkaen sadastatuhannesta pyynnöstä päivässä, säästöt yltävät 50 prosenttiin tai enemmän verrattuna yksittäisiin synkronisiin kutsuihin – tarpeeksi tehdäkseen kannattaviksi käsittelyt, jotka reaaliaikainen hinta tekisi yksinkertaisesti budjetoinnin kannalta mahdottomiksi. Usein aliarvioitu operatiivinen mukavuus lisätään kaupan päälle: tulokset eivät vanhene. Voit ladata ne uudelleen milloin tahansa käsittelyn valmistumisen jälkeen, mikä poistaa tarpeen rakentaa paikallista kopiota varotoimenpiteenä.
Keskeiset asiat
- Eräajoina tehtävä päättely ryhmittelee pyyntösi asynkronista käsittelyä varten alennetulla kustannuksella
- Se tukee kahdeksaa eri päätepistettä, kattaen lähes kaikki käyttötapaukset
- Kaksi tilaa on olemassa: tiedostopohjainen eräajo (jopa 1M pyyntöä) ja suora eräajo (jopa 10K)
- Tulokset ovat pysyviä ja ladattavissa ilman aikarajoitusta
- Tämä tila ei sovellu sovelluksille, jotka vaativat reaaliaikaisia vastauksia