Taisyklė dėl determinizmo
Šiame puslapyje
Kodėl determinizmas yra privalomas
Determinizmas yra svarbiausias apribojimas „Mistral“ darbo eigose, ir jis tiesiogiai išplaukia iš anksčiau nagrinėto pakartotinio vykdymo (replay) mechanizmo. Kai darbuotojas atnaujina pertrauktą darbo eigą, jis iš naujo paleidžia darbo eigos kodą nuo pat pradžių ir operacija po operacijos palygina tai, ką sukuria kodas, su tuo, kas užfiksuota žurnalo istorijoje. Kol abi sekos sutampa, atnaujinimas yra nematomas. Tačiau vos tik jos išsiskiria, platforma nebeturi kaip nustatyti, kur sustojo: ji aptinka neatitikimą ir nutraukia darbo eigą su nedeterminizmo klaida.
Praktiškai deterministinė darbo eiga kiekvieną kartą, paleista su tais pačiais įvesties duomenimis, sukuria visiškai identišką operacijų seką. Atkreipk dėmesį į niuansą: veiklų rezultatai gali skirtis tarp vykdymų, nes jie gaunami iš žurnalo. Būtent kvietimų tvarka turi išlikti identiška.
Kaip tai atrodo kode
Panagrinėk darbo eigą, kuri siunčia ataskaitą vartotojui pagal jo prenumeratos statusą.
@workflows.workflow.define(name="deterministic_workflow")
class DeterministicWorkflow:
@workflows.workflow.entrypoint
async def run(self, user_id: str) -> dict:
# Visada ta pati kvietimų seka tiems patiems įvesties duomenims
profile = await get_profile(user_id)
if profile["premium"]:
report = await generate_full_report(user_id)
else:
report = await generate_basic_report(user_id)
await send_email(profile["email"], report)
return {"status": "completed"}
Ši darbo eiga yra deterministinė, nors joje yra šakojimasis. Priežastis slypi sąlygos šaltinyje: profile["premium"] gaunamas iš veiklos rezultato, taigi jis ateina iš žurnalo. Pakartotinio vykdymo metu get_profile grąžina tą pačią reikšmę kaip ir pirmojo vykdymo metu, todėl pasirenkamas tas pats kelias.
Dabar palygink tai su šia versija, kuri atrodo nekenksminga, bet sugriauna viską.
import datetime
import random
@workflows.workflow.define(name="non_deterministic_workflow")
class NonDeterministicWorkflow:
@workflows.workflow.entrypoint
async def run(self, user_id: str) -> dict:
# DRAUDŽIAMA: datetime.now() keičiasi kiekvieno vykdymo metu
if datetime.datetime.now().hour < 12:
await send_morning_email(user_id)
else:
await send_afternoon_email(user_id)
# DRAUDŽIAMA: random.random() kiekvieną kartą duoda skirtingą rezultatą
if random.random() > 0.5:
await send_notification(user_id)
return {"status": "completed"}
Įsivaizduok, kad darbuotojas stringa 11:58 val. ir paleidžiamas iš naujo 12:03 val. Pakartotinio vykdymo metu datetime.now() grąžina popietės laiką, o istorijoje yra įrašytas kvietimas send_morning_email. Darbo eiga žlunga. random.random() sukelia tą patį efektą, tik jį diagnozuoti sunkiau.
SDK pakaitalai
SDK ne tik draudžia šiuos kvietimus, bet ir pateikia deterministinius atitikmenis trims dažniausiai naudojamoms operacijoms.
from mistralai.workflows import workflow
# Gauti dabartinį laiką (deterministinis pakartotinio vykdymo metu)
current_time = workflow.now() # Vietoj datetime.now()
# Sugeneruoti unikalų ID (deterministinis pakartotinio vykdymo metu)
request_id = workflow.uuid4() # Vietoj uuid.uuid4()
# Gauti atsitiktinį skaičių (deterministinis pakartotinio vykdymo metu)
rand_value = workflow.random() # Vietoj random.random()
Principas toks pats kaip ir veiklų atveju: reikšmė apskaičiuojama ir įrašoma į žurnalą pirmojo vykdymo metu, o vėliau tiesiog atkuriama. Tuomet ankstesnis pavyzdys tampa visiškai saugus.
import mistralai.workflows as workflows
from mistralai.workflows import workflow
@workflows.workflow.define(name="fixed_workflow")
class FixedWorkflow:
@workflows.workflow.entrypoint
async def run(self, user_id: str) -> dict:
# TEISINGA: workflow.now() yra deterministinis pakartotinio vykdymo metu
current_hour = workflow.now()
if current_hour.hour < 12:
await send_morning_email(user_id)
else:
await send_afternoon_email(user_id)
# TEISINGA: workflow.random() yra deterministinis pakartotinio vykdymo metu
if workflow.random() > 0.5:
await send_notification(user_id)
# TEISINGA: workflow.uuid4() yra deterministinis pakartotinio vykdymo metu
trace_id = workflow.uuid4()
await log_trace(str(trace_id), user_id)
return {"status": "completed", "trace_id": str(trace_id)}
Ribos, kurias reikia prisiminti
Darbo eigos kode draudžiama naudoti: datetime.now(), datetime.utcnow() ir time.time(); uuid.uuid4() ir uuid.uuid1(); random.random(), random.randint() ir random.choice(); bet kokius tiesioginius tinklo kvietimus (httpx, aiohttp, requests); bet kokį failų skaitymą ar rašymą (open(), aiofiles); bet kokią duomenų bazės prieigą; os.environ, nes aplinkos kintamieji gali keistis tarp pakartotinių vykdymų; ir galiausiai threading bei multiprocessing, kadangi platforma tvarko vidinį lygiagretumą.
Viskas, ką galima atkurti, lieka leidžiama: veiklų kvietimas naudojant await, workflow.now(), workflow.uuid4() ir workflow.random() naudojimas, sąlyginės logikos ar ciklų rašymas, kurių sąlygos priklauso nuo veiklų rezultatų, darbą su duomenimis atmintyje (skaičiavimai, eilutės) ir registravimas (logging) – registravimas laikomas priimtinu šalutiniu poveikiu.
Nedeterminizmo klaidos diagnostika
Kai ištinka ši klaida, paprastai užtenka keturių patikrinimų, kad ją lokalizuotum.
- Nedeterministinių kvietimų buvimas – Ieškok
datetime.now,uuid.uuid4,random.randomdarbo eigos kode. - Tiesioginė ĮV/IŠ – Bet koks tinklo ar failo kvietimas turi būti veikloje.
- Aplinkos kintamieji – Jei šakojimuisi naudoji
os.environ, perkelti nuskaitymą į veiklą. - Trečiųjų šalių bibliotekos – Kai kurios bibliotekos viduje atlieka tinklo kvietimus arba naudoja atsitiktinumą.
Šis paskutinis punktas yra klastingiausias: serializavimo biblioteka, kuri rūšiuoja pagal atsitiktinai sugeneruotą ID, arba HTTP klientas, sukurtas modulio įkrovimo metu, gali sugadinti pakartotinį vykdymą, nors tavo darbo eigoje nėra nė vienos įtartinos eilutės.
Efektyviausia gynyba – išlaikyti darbo eigą kuo paprastesnę ir visą sudėtingą logiką perkelti į veiklas. Darbo eiga, kuri tiesiog sujungia tris kvietimus, mechaniškai neturi galimybės būti nedeterministine.
# GERIAUSIA PRAKTIKA: paprasta darbo eiga, logika veiklose
@workflows.workflow.define(name="simple_pipeline")
class SimplePipeline:
@workflows.workflow.entrypoint
async def run(self, params: dict) -> dict:
step1 = await prepare_data(params)
step2 = await process_data(step1)
step3 = await finalize(step2)
return step3
Svarbiausi punktai
- Darbo eigos kodas turi būti deterministinis: tie patys įvesties duomenys = ta pati operacijų seka.
- Vietoj standartinių Python ekvivalentų naudok
workflow.now(),workflow.uuid4(),workflow.random(). - Visos ĮV/IŠ operacijos (tinklas, failai, DB) turi būti veikloje, niekada – pačioje darbo eigoje.
- Sąlyginiai šakojimaisi leidžiami, jei jie priklauso nuo veiklų rezultatų.
- Determinizmo pažeidimas sukelia darbo eigos žlugimą pakartotinio vykdymo metu.
- Kilus abejonėms, perkelk logiką į veiklą.