Töövoogude vastupidavus ja usaldusväärsus
Sellel lehel
Miks vastupidavus muudab kõike
Kujuta ette kümneastmelist torustikku, mis töötleb arve partiisid: ekstraktsioon, valideerimine, mudeli päring, andmebaasi kirjutamine, teavitamine. Tavalises Pythoni skriptis sunnib krahh 7. sammul sind naasma 1. sammu juurde. Esimesed kuus sammu käivituvad uuesti, tekitades tõsiseid probleeme, kui mõni neist kirjutas midagi andmebaasi või saatis sõnumi. Vastupidava töövooga taastab süsteem töö täpselt 7. sammust. See jätab esimesed kuus sammu vahele, väldib tegevuste dubleerimist ja ei kaota ühtegi andmet.
See võimekus põhineb spetsiifilisel mehhanismil nimega sündmustepõhine salvestamine (event sourcing). Selle kontseptsiooni mõistmine on hädavajalik, sest see selgitab piiranguid, millega hiljem kokku puutud.
Sündmustepõhine salvestamine: põhiline printsiip
Sündmustepõhine salvestamine fikseerib iga töövoogu tegevuse muutmatu sündmusena logis. Erinevus traditsioonilisest lähenemisest taandub ühele lausele: praeguse oleku (nt „töötluses, 7. samm“) salvestamise asemel hoiab platvorm kogu operatsioonide ja nende tulemuste ajalugu. Kahe tegevusega töövoogu täitmine jätab järgmise jälje:
- Töövoog käivitub ja saab sisendparameetrid → sündmus salvestatud
- Töövoog kutsub tegevuse A → sündmus salvestatud
- Tegevus A lõpeb tulemusega → sündmus salvestatud
- Töövoog kutsub tegevuse B → sündmus salvestatud
- Tegevus B lõpeb → sündmus salvestatud
- Töövoog tagastab oma lõpptulemuse → sündmus salvestatud
Süsteem püsistab iga sammu enne järgmisele liikumist. Puudub aken, kus tegevus toimuks ilma, et logi sellest teaks. See logi muutub ainsaks tõeallikaks; töövoogu olek ei eksisteeri kusagil mujal.
Automaatne taasesitus: taastumine rikkest
Kui töötaja (worker) krahhatab, võtab uus töötaja üle, toob sündmuste logi ja esitab uuesti (replay) töövoogu koodi algusest. Sõna „taasesitus“ üllatab sageli: kood tõesti taaskäivitub esimeselt realt, kuid iga juba lõpetatud tegevuse puhul ei kutsu mootor sinu funktsiooni uuesti. Selle asemel asendab ta logist salvestatud tulemuse. Töövoog edeneb lugemiskiirusel, kuni jõuab esimese lõpetamata tegevuseni. Alles siis jätkub reaalne töö.
Tegevusi, mis on juba õnnestunud, ei käivitata taasesituse ajal kunagi uuesti. Allpool olev näide muudab selle garantii käegakatsutavaks kõige tundlikumal juhul: e-kirja saatmisel.
import mistralai.workflows as workflows
@workflows.activity()
async def send_email(recipient: str, content: str) -> dict:
"""See tegevus käivitub ainult üks kord,
isegi kui töövoogu esitatakse mitu korda uuesti."""
response = await email_service.send(recipient, content)
return {"status": "sent", "id": response.id}
@workflows.workflow.define(name="notification_workflow")
class NotificationWorkflow:
@workflows.workflow.entrypoint
async def run(self, recipient: str) -> dict:
# Kui töövoog krahhatab PÄRAST e-kirja saatmist,
# ei saadeta e-kirja taasesituse ajal uuesti.
email_result = await send_email(recipient, "Sinu aruanne on valmis")
# Töövoog jätkab siit
log_result = await log_notification(recipient, email_result)
return log_result
Tõrgetaluvus: kaetud stsenaariumid
Platvorm haldab nelja tüüpi intsidente ilma, et peaksid kirjutama ühtegi koodirida. Esiteks, töötaja krahh: Pythoni protsess peatub järsult mäluvea, kill signaali või serveri taaskäivituse tõttu. Teine töötaja võtab töövoogu täpselt sealt, kus see pooleli jäi. Teiseks, mööduv võrguviga: API päring ebaõnnestub ajapiirangu ületamise tõttu. Uuesti proovimise poliitika käivitab tegevuse automaatselt uuesti, kasutades eksponentsiaalset tagasivõtmist (exponential backoff) ja suurenevaid viiteid, et vältida hädas oleva teenuse ülekoormamist.
Kolmandaks, vead sinu enda koodis: tegevuses tekkinud erand proovitakse uuesti määratud arv kordi vastavalt konfigureeritud poliitikale enne lõplikku ebaõnnestumist. Neljandaks, kolmanda osapoole teenuse ajutine kättesaamatus. Siin on efekt dramaatiline: kui partneri API on kümme minutit maas, ei ebaõnnestu sinu öine torustik enam. Ootel tegevused käivitatakse uuesti, kui teenus taastub, ja töötlemine lõpeb vaid kümme minutit hiljem.
Determinismi piirang
Taasesitusel on oma hind. Et logi taasesitus suudaks algset täitmist täpselt reprodutseerida, peab töövoogu kood (mitte tegevused) olema deterministlik. Samade sisendite korral peab see tootma sama operatsioonide jada. Kui sinu töövoog hargneb tingimuse if datetime.now().hour < 12 põhjal, võib taasesitus täna õhtul valida teise haru, desünkroniseerides logi täielikult.
Seetõttu ei tohi sa töövoogu koodis kunagi teha järgmist:
- Kasutada
datetime.now()→ kasutaworkflow.now() - Kasutada
uuid.uuid4()→ kasutaworkflow.uuid4() - Kasutada
random.random()→ kasutaworkflow.random() - Teha võrgu- või I/O päringuid otse → vii need tegevusse
Need kolm asendust tagastavad väärtused, mis salvestati esimesel läbimisel ja esitatakse seejärel identselt uuesti. Detailseerime seda piirangut 8. tunnis, mis keskendub determinismile.
Võrdlus traditsiooniliste lähenemistega
| Lähenemine | Rikke taastumine | Täitmise garantii | Komplekssus |
|---|---|---|---|
| Lihtne Pythoni skript | Ei ole | Puudub | Madal |
| Sõnumijärjekord (Celery, RQ) | Osaline | Vähemalt üks kord (At-least-once) | Keskmine |
| Cron + Andmebaas | Manuaalne | Sõltub implementatsioonist | Kõrge |
| Mistral Workflows (Temporal) | Automaatne | Täpselt üks kord (loogiline) | Madal (SDK) |
Pööra suurt tähelepanu komplekssuse veerule. Sõnumijärjekord tundub alustamiseks lihtne, kuid selle osaline taastumine sunnib sind kirjutama olekuhalduse loogikat, mida SDK pakub karbist välja võetuna.
Täpselt üks kord: loogiline garantii
Platvorm garanteerib, et sinu töövoogu loogika täidetakse täpselt üks kord. Kui tegevus õnnestub, salvestab süsteem tulemuse ja ei käivita seda kunagi uuesti. Kui see ebaõnnestub, proovib süsteem seda uuesti vastavalt konfigureeritud poliitikale.
Sõna „loogiline“ ei ole ilu pärast. Võrgutasandil võib päring tegelikult kaks korda saadetud saada: sinu päring kliendi loomiseks jõuab CRM-i, kuid kinnitus läheb teel kaduma. Sinu seisukohalt ebaõnnestus tegevus ja seda proovitakse uuesti, kuigi klient on juba olemas. See tekitab vajaduse idempotentsete tegevuste järele, mis toodavad sama tulemuse isegi siis, kui neid kutsutakse mitu korda samade parameetritega. Praktikas tähendab see stabiilse ID-ga PUT-i eelistamist POST-ile, mis loob iga kutsega uue rea.
Peamised punktid
- Sündmustepõhine salvestamine fikseerib iga sammu muutmatu sündmusena logis
- Automaatne taasesitus võimaldab katkenud töövoogu jätkata ilma lõpetatud tegevusi uuesti käivitamata
- Platvorm haldab automaatselt krahhe, võrguvigu ja teenuse katkestusi
- Töövoogu kood peab taasesituse toimimiseks olema deterministlik
- Tegevused peavad olema idempotentsed, et tagada järjepidevus uuesti proovimisel
- Täitmise garantii on loogiline „täpselt üks kord“