A determinizmus szabálya
Ezen az oldalon
Miért kötelező a determinizmus?
A determinizmus a Mistral munkafolyamatok legkritikusabb kényszere, amely közvetlenül abból a visszajátszási mechanizmusból fakad, amit korábban megtanultál. Amikor egy munkavégző (worker) folytat egy megszakított munkafolyamatot, a munkafolyamat kódját az elejétől kezdi újra végrehajtani, és műveletről műveletre összehasonlítja azt, amit a kód előállít, azzal, amit a napló (history log) rögzített. Addig, amíg a két szekvencia megegyezik, a folytatás láthatatlan marad. Abban a pillanatban azonban, hogy eltérnek egymástól, a platform nem tudja meghatározni, hol tartott: észleli az inkonzisztenciát, és nem-determinizmus hiba miatt meghiúsítja a munkafolyamatot.
A gyakorlatban egy determinisztikus munkafolyamat minden egyes futtatásakor pontosan ugyanazt a műveletsorozatot állítja elő, ha a bemeneti adatok azonosak. Figyeld meg az árnyalatot: az aktivitások eredményei eltérhetnek a végrehajtások között, mivel azok a naplóból származnak. A hívások sorrendjének kell változatlannak maradnia.
Hogyan néz ez ki a kódban?
Vegyünk egy olyan munkafolyamatot, amely a felhasználó előfizetési státusza alapján küld egy jelentést.
@workflows.workflow.define(name="deterministic_workflow")
class DeterministicWorkflow:
@workflows.workflow.entrypoint
async def run(self, user_id: str) -> dict:
# Ugyanazon bemenet esetén mindig ugyanaz a hívási sorrend
profile = await get_profile(user_id)
if profile["premium"]:
report = await generate_full_report(user_id)
else:
report = await generate_basic_report(user_id)
await send_email(profile["email"], report)
return {"status": "completed"}
Ez a munkafolyamat determinisztikus, annak ellenére, hogy tartalmaz egy elágazást. Ennek oka a feltétel forrásában rejlik: a profile["premium"] egy aktivitás eredményéből származik, tehát a naplóból jön. A visszajátszás során a get_profile pontosan ugyanazt az értéket adja vissza, mint az első végrehajtáskor, így ugyanazt az utat járja be a rendszer.
Hasonlítsd ezt most ezzel a verzióval, amely ártalmatlannak tűnik, de mindent tönkretesz.
import datetime
import random
@workflows.workflow.define(name="non_deterministic_workflow")
class NonDeterministicWorkflow:
@workflows.workflow.entrypoint
async def run(self, user_id: str) -> dict:
# TILOS: a datetime.now() minden végrehajtáskor változik
if datetime.datetime.now().hour < 12:
await send_morning_email(user_id)
else:
await send_afternoon_email(user_id)
# TILOS: a random.random() minden alkalommal más eredményt ad
if random.random() > 0.5:
await send_notification(user_id)
return {"status": "completed"}
Képzeld el, hogy a munkavégző reggel 11:58-kor összeomlik, és délután 12:03-kor indul újra. A visszajátszás során a datetime.now() délutáni időt ad vissza, miközben a napló egy send_morning_email hívást tartalmaz. A munkafolyamat meghiúsul. A random.random() ugyanilyen hatást vált ki, csak nehezebb diagnosztizálni.
SDK helyettesítők
Az SDK nemcsak tiltja ezeket a hívásokat, hanem determinisztikus megfelelőket is biztosít a három leggyakoribb művelethez.
from mistralai.workflows import workflow
# Aktuális idő lekérése (visszajátszáskor determinisztikus)
current_time = workflow.now() # A datetime.now() helyett
# Egyedi azonosító generálása (visszajátszáskor determinisztikus)
request_id = workflow.uuid4() # A uuid.uuid4() helyett
# Véletlenszám lekérése (visszajátszáskor determinisztikus)
rand_value = workflow.random() # A random.random() helyett
Az elv ugyanaz, mint az aktivitásoknál: az értéket az első végrehajtáskor kiszámítja és rögzíti a naplóban, majd ezt követően egyszerűen visszajátssza. Az előző példa így teljesen biztonságossá válik.
import mistralai.workflows as workflows
from mistralai.workflows import workflow
@workflows.workflow.define(name="fixed_workflow")
class FixedWorkflow:
@workflows.workflow.entrypoint
async def run(self, user_id: str) -> dict:
# HELYES: a workflow.now() visszajátszáskor determinisztikus
current_hour = workflow.now()
if current_hour.hour < 12:
await send_morning_email(user_id)
else:
await send_afternoon_email(user_id)
# HELYES: a workflow.random() visszajátszáskor determinisztikus
if workflow.random() > 0.5:
await send_notification(user_id)
# HELYES: a workflow.uuid4() visszajátszáskor determinisztikus
trace_id = workflow.uuid4()
await log_trace(str(trace_id), user_id)
return {"status": "completed", "trace_id": str(trace_id)}
Az észben tartandó határvonal
A következők tiltottak a munkafolyamat kódjában: datetime.now(), datetime.utcnow() és time.time(); uuid.uuid4() és uuid.uuid1(); random.random(), random.randint() és random.choice(); bármilyen közvetlen hálózati hívás (httpx, aiohttp, requests); bármilyen fájlolvasás vagy -írás (open(), aiofiles); bármilyen adatbázis-hozzáférés; os.environ, mivel a környezeti változók megváltozhatnak a visszajátszások között; és végül a threading és multiprocessing, mivel a platform kezeli a belső párhuzamosítást.
Minden reprodukálható dolog megengedett marad: aktivitások hívása await segítségével, a workflow.now(), workflow.uuid4() és workflow.random() használata, feltételes logika vagy ciklusok írása, amelyek feltételei aktivitások eredményeitől függenek, memóriabeli adatok manipulálása (számítások, karakterláncok), valamint a naplózás – a naplózás elfogadható mellékhatásnak számít.
Nem-determinizmus hiba diagnosztizálása
Amikor bekövetkezik a hiba, általában négy ellenőrzés elegendő a lokalizálásához.
- Nem-determinisztikus hívások jelenléte — Keress rá a
datetime.now,uuid.uuid4,random.randomkifejezésekre a munkafolyamat kódjában - Közvetlen I/O — Bármilyen hálózati vagy fájlhívásnak egy aktivitásban kell lennie
- Környezeti változók — Ha az
os.environ-t használod elágazáshoz, helyezd az olvasást egy aktivitásba - Harmadik féltől származó könyvtárak — Egyes könyvtárak belsőleg végeznek hálózati hívásokat vagy használnak véletlenszerűséget
Ez utóbbi pont a legárulkodóbb: egy olyan szerializáló könyvtár, amely véletlenszerűen generált azonosító szerint rendez, vagy egy HTTP-kliens, amely a modul betöltésekor példányosul, meghiúsíthatja a visszajátszást anélkül, hogy egyetlen gyanús sor is megjelenne a munkafolyamatodban.
A leghatékonyabb védekezés, ha a munkafolyamatot a lehető legegyszerűbbre tervezed, és az összes összetett logikát aktivitásokba helyezed át. Egy olyan munkafolyamatnak, amely egyszerűen láncol három hívást, mechanikailag nincs lehetősége nem-determinisztikusnak lenni.
# LEGJOBB GYAKORLAT: egyszerű munkafolyamat, a logika aktivitásokban
@workflows.workflow.define(name="simple_pipeline")
class SimplePipeline:
@workflows.workflow.entrypoint
async def run(self, params: dict) -> dict:
step1 = await prepare_data(params)
step2 = await process_data(step1)
step3 = await finalize(step2)
return step3
Főbb megállapítások
- A munkafolyamat kódjának determinisztikusnak kell lennie: ugyanazok a bemenetek = ugyanaz a műveletsorozat
- Használd a
workflow.now(),workflow.uuid4(),workflow.random()függvényeket a szabványos Python megfelelőik helyett - Minden I/O műveletnek (hálózat, fájl, adatbázis) egy aktivitásban kell lennie, soha nem a munkafolyamatban
- Feltételes elágazások megengedettek, ha azok aktivitások eredményeitől függenek
- A determinizmus megsértése a munkafolyamat meghiúsulásához vezet a visszajátszás során
- Ha kétségeid vannak, helyezd át a logikát egy aktivitásba