Következtetés kötegben: Miért, mikor és költségmegtakarítás
Ezen az oldalon
Frissítés: 2026. november 2. – Modellek. A Mistral Large 3 (
mistral-large-2512) és a Mistral Medium 3.5 modelleket 2026. október 31-én elavulttá nyilvánították, és 2027. április 30-án végleg kivezetik őket. A kijelölt utódjuk, a Mistral Large 4 (mistral-large-4) már október 6. óta elérhető nyilvános előzetes verzióban. Az ebben a tanfolyamban szereplő példák amistral-large-latestálnevet használják, amely jelenleg a hivatalos adatlap szerint (2026. november 3-i ellenőrzés) a Mistral Large 3-ra mutat. Hasonlóképpen, amistral-medium-latestalias a Mistral Medium 3.5-re irányul. Ezek az álnevek 2027. április 30-ig érvényesek maradnak. Új projektek esetén teszteld a kijelölt utódot, amistral-large-4modellt.
A köteges következtetés megértése
Amint éles környezetbe helyezel egy nyelvi modellt, szembe kell nézned egy kompromisszummal: hatalmas mennyiségű kérést kell feldolgoznod anélkül, hogy a költségek az egekbe szöknének. A köteges következtetés (batch inference) pontosan ezt a problémát oldja meg. Ahelyett, hogy egyesével hívnád meg az API-t, csoportosítod a kéréseidet, és párhuzamosan hajtod végre őket, alacsonyabb díjazás mellett, mint az egyes hívások esetén.
A munkafolyamat egy szabványos aszinkron mintát követ: összegyűjtöd a kéréseidet egy fájlba, beküldöd a köteget, folytathatod más feladataiddal, majd a feldolgozás befejezése után letöltöd az eredményeket. Ez az elfogadott késleltetés teremti meg az értéket: lehetőséget ad a Mistral AI-nak, hogy optimálisan ütemezze a munkát GPU-erőforrásain, a hatékonyságnövekedésből származó megtakarítást pedig áthárítja rád árkedvezmény formájában.
Mikor alkalmazz köteges következtetést?
A döntés kritériuma egyetlen kérdésre vezethető vissza: kritikus fontosságú az egyes válaszok késleltetése? Ha senki sem vár a képernyő előtt, a köteges megoldás a helyes választás. Ez vonatkozik nagy korpuszok feldolgozására is: egy jogi szolgáltatásnak, amelynek negyvenezer archivált szerződést kell osztályoznia és összefoglalnia, nincs szüksége két másodperces válaszidőre; arra van szüksége, hogy mind a negyvenezer dokumentum feldolgozásra kerüljön hétfő reggelre, fenntartható költségek mellett.
A tömeges tartalomgenerálás ugyanerre a logikára épül. Egy hatvanezer tételt számláló e-kereskedelmi katalógus, amelyhez termékleírások kellenek, vagy egy előző nap előkészített, személyre szabott e-mail kampány tökéletes jelölt az éjszakai beküldésre. Az értékelés és a benchmarking is ide illik: amikor egy tesztadathalmazon méred a modell teljesítményét, minden kérés független a többitől, és az ítéletet csak az egész készlet lefutása után olvasod el.
Az ETL-folyamatok és az adatgazdagítás alkotják a harmadik természetes területet. Fogsz egy meglévő adatbázist, és AI-alapú metaadatokat adsz hozzá – hangulatelemzés, kategorizálás, nevesített entitások –, a feldolgozás pedig beillik egy már eleve aszinkron láncba. Végül a nagy léptékű moderáció, ahol milliószámra kell átvizsgálnod a felhasználók által generált tartalmakat szabálysértések után kutatva, gazdasági előnyének nagy részét ebből a beküldési módból nyeri.
Ezzel szemben, ha az alkalmazásodnak valós időben kell válaszolnia, miközben a felhasználó figyel – chatbot, interaktív asszisztens, automatikus kiegészítés –, a köteges következtetés szóba sem jöhet. Ezek a használati esetek a szabványos szinkron API-hoz tartoznak, és ha megpróbálod őket köteges módba kényszeríteni, az csak frusztrációt szül.
Kompatibilis végpontok
A köteges következtetés nyolc Mistral API-végpontot támogat:
/v1/chat/completions— Konverzációs szöveggenerálás/v1/embeddings— Szemantikai vektorszámítás/v1/fim/completions— Kódkiegészítés (fill-in-the-middle)/v1/moderations— Tartalommoderálás/v1/ocr— Optikai karakterfelismerés/v1/classifications— Szövegosztályozás/v1/conversations— Többmenetes beszélgetések/v1/audio/transcriptions— Hangátirat készítése
Ez a lefedettség megváltoztatja, ahogy a tömeges feldolgozási feladataidat megtervezed: egy dokumentumbázis szemantikai indexelése, papíralapú archívumok digitalizálása és telefonfelvételek gyűjteményének átírása mind ugyanazon az egyesített mechanizmuson keresztül zajlik, ugyanazzal a beküldési és lekérési logikával.
Két beküldési mód
A Mistral két megközelítést kínál a köteges kérések beküldésére, és a választás alapvetően a volumenen múlik. A fájlos kötegelés (file batching) akár egymillió kérésig skálázható: előkészítesz egy JSONL fájlt, feltöltöd a platformra, majd létrehozol egy feladatot, amely erre a fájlra mutat. Ez az ajánlott módszer, amint a mennyiségek komolyra fordulnak, különösen azért, mert a fájl újrahasználható és nyomon követhető marad.
A beágyazott kötegelés (inline batching) tízezer kérésben maximalizálódik, és kiküszöböli a fájllépést: a kéréseket közvetlenül az API-hívás törzsében adod meg. Egy olyan szkript esetében, amely menet közben generálja a kéréseket, és nincs oka közbenső fájlt írni a lemezre, ez jelentősen gyorsabban beüzemelhető. E megközelítések mindegyikét részletesen kifejtjük a következő leckékben.
Konkrét megtakarítások
A köteges következtetés árazása eltér a szabványos API-étól. Tipikus éles környezeti mennyiségeknél, napi százezer kéréstől indulva, a megtakarítás eléri az 50%-ot vagy többet az egyes szinkron hívásokhoz képest – ez elég ahhoz, hogy olyan kezelések váljanak életképessé, amelyeket valós idejű díjazás mellett egyszerűen lehetetlen lenne budgetezni. Egy gyakran alábecsült működési kényelem is társul hozzá: az eredmények nem járnak le. A feldolgozás befejezése után bármikor újra letöltheted őket, ami feleslegessé teszi, hogy óvintézkedésként helyi másolatot készíts róluk.
Főbb megállapítások
- A köteges következtetés csoportosítja a kéréseidet aszinkron feldolgozásra, csökkentett költséggel
- Nyolc különböző végpontot támogat, lefedve szinte az összes használati esetet
- Két mód létezik: fájlos kötegelés (akár 1M kérés) és beágyazott kötegelés (akár 10K)
- Az eredmények tartósak, időkorlát nélkül letölthetők
- Ez a mód nem alkalmas valós idejű választ igénylő alkalmazásokhoz