Durabbiltà u Affidabbiltà tal-Flussi ta' Ħidma
F'din il-paġna
Għaliex id-Durabbiltà Tibdel Kollox
Immaġina pipeline ta’ għaxar passi li tipproċessa lott ta’ fatturi: estrazzjoni, validazzjoni, sejħa tal-mudell, kitba fil-bażi tad-data, notifika. F’script standard tal-Python, ħsara fil-pass 7 tifforzok terġa’ lura għall-pass 1. L-ewwel sitt passi jerġgħu jseħħu, u dan joħloq problemi serji jekk kwalunkwe minnhom kiteb fil-bażi tad-data jew bagħat messaġġ. B’fluss ta’ ħidma durabbli, is-sistema tkompli eżattament fil-pass 7. Tħalli l-ewwel sitt passi, tevita li tirdoppja azzjonijiet, u ma titlef l-ebda data.
Din il-kapaċità tiddependi fuq mekkaniżmu speċifiku msejjaħ event sourcing. Huwa essenzjali li tifhem dan il-kunċett għax jispjega r-restrizzjonijiet li se tiltaqa’ magħhom aktar tard.
Event Sourcing: Il-Prinċipju Bażiku
L-event sourcing jirreġistra kull azzjoni tal-fluss ta’ ħidma bħala avveniment immutabbli f’log. Id-differenza minn approċċ tradizzjonali tinġabar f’sentenza waħda: minflok ma taħżen biss l-istat attwali (eż. “għaddej, pass 7”), il-pjattaforma żżomm storja sħiħa tal-operazzjonijiet u r-riżultati tagħhom. Eżekuzzjoni ta’ fluss ta’ ħidma b’żewġ attivitajiet iħalli t-traċċa li ġejja:
- Il-fluss ta’ ħidma jibda u jirċievi parametri tal-input → avveniment irreġistrat
- Il-fluss ta’ ħidma jsejjaħ l-Attività A → avveniment irreġistrat
- L-Attività A titlem b’riżultat → avveniment irreġistrat
- Il-fluss ta’ ħidma jsejjaħ l-Attività B → avveniment irreġistrat
- L-Attività B titlem → avveniment irreġistrat
- Il-fluss ta’ ħidma jirritorna r-riżultat finali tiegħu → avveniment irreġistrat
Is-sistema tippersisti kull pass qabel ma tgħaddi għal li jmiss. M’hemm l-ebda tieqa fejn azzjoni sseħħ mingħajr ma l-log ikun jaf biha. Dan il-log isir l-unika sors tal-verità; l-istat tal-fluss ta’ ħidma ma jeżisti mkien ieħor.
Replay Awtomatiku: Irkupru minn Ħsarat
Meta ħaddiem (worker) jaqa’, ħaddiem ieħor jieħu f’idejh, jirkupra l-log tal-avvenimenti, u jerġa’ jdaqqar (replays) il-kodiċi tal-fluss ta’ ħidma mill-bidu. Il-kelma “replay” spiss tissorpriża lin-nies: il-kodiċi tabilħaqq jerġa’ jibda mil-linja waħda, iżda għal kull attività diġà lestuta, l-engine ma jsejjaħx il-funzjoni tiegħek mill-ġdid. Minflok, jissostitwixxi r-riżultat irreġistrat mil-log. Il-fluss ta’ ħidma javvanza bil-veloċità tal-qari sakemm jilħaq l-ewwel attività mhux lesta. Biss hemmhekk tibda x-xogħol reali mill-ġdid.
L-attivitajiet li diġà rnexxew qatt ma jerġgħu jiġu eżegwiti waqt replay. L-eżempju hawn taħt jagħmel din il-garanzija tanġibbli għall-aktar każ sensittiv: l-ibgħat ta’ email.
import mistralai.workflows as workflows
@workflows.activity()
async def send_email(recipient: str, content: str) -> dict:
"""Din l-attività tiġi eżegwita darba biss,
anke jekk il-fluss ta' ħidma jerġa' jindaqqar diversi drabi."""
response = await email_service.send(recipient, content)
return {"status": "sent", "id": response.id}
@workflows.workflow.define(name="notification_workflow")
class NotificationWorkflow:
@workflows.workflow.entrypoint
async def run(self, recipient: str) -> dict:
# Jekk il-fluss ta' ħidma jaqa' WARA li tibgħat l-email,
# l-email MA TIĠIX ibgħata mill-ġdid waqt ir-replay.
email_result = await send_email(recipient, "Ir-rapport tiegħek lest")
# Il-fluss ta' ħidma jkompli hawnhekk
log_result = await log_notification(recipient, email_result)
return log_result
Tolleranza għall-Ħsarat: Xenarji Koperti
Il-pjattaforma tittratta erba’ tipi ta’ inċidenti mingħajr ma teħtieġ linja waħda ta’ kodiċi mingħandek. L-ewwel, ħsara f’ħaddiem: il-proċess Python jieqaf għal għarrieda minħabba żball fil-memorja, sinjal kill, jew riavvju tas-server. Ħaddiem ieħor jieħu l-fluss ta’ ħidma eżattament minn fejn kien waqaf. It-tieni, żball tranżitorju fin-netwerk: sejħa API tfalli minħabba timeout. Il-politika ta’ retry terġa’ tibda l-attività awtomatikament b’backoff esponenzjali, tuża dewmien li jiżdied biex tevita li tgħaffeġ servizz li qed isofri.
It-tielet, żbalji fil-kodiċi tiegħek stess: eċċezzjoni mqajma f’attività terġa’ tipprova numru definit ta’ drabi abbażi tal-politika kkonfigurata qabel ma tfalli b’mod permanenti. Ir-raba’, nuqqas temporanju ta’ disponibbiltà ta’ servizz ta’ parti terza. L-effett hawnhekk huwa drammatiku: jekk API ta’ sieħeb tonqos għal għaxar minuti, il-pipeline ta’ kull lejl tiegħek ma jfallix aktar. L-attivitajiet pendenti jerġgħu jibdew meta s-servizz jerġa’ jkun disponibbli, u l-ipproċessar jintemm biss għaxar minuti tard.
Ir-Restrizzjoni tad-Determiniżmu
Ir-replay għandu prezz. Biex ir-replay tal-log jirriproduċi fedelment l-eżekuzzjoni oriġinali, il-kodiċi tal-fluss ta’ ħidma (mhux l-attivitajiet) irid ikun deterministiku. Mogħtija l-istess inputs, irid jipproduċi l-istess sekwenza ta’ operazzjonijiet. Jekk il-fluss ta’ ħidma tiegħek jifferenzja bbażat fuq if datetime.now().hour < 12, replay illum il-lejl jista’ jieħu fergħa oħra, u jiddisinkronizza kompletament il-log.
Għalhekk, qatt m’għandek tagħmel dan li ġej fil-kodiċi tal-fluss ta’ ħidma:
- Tuża
datetime.now()→ użaworkflow.now() - Tuża
uuid.uuid4()→ użaworkflow.uuid4() - Tuża
random.random()→ użaworkflow.random() - Tagħmel sejħiet tan-netwerk jew I/O direttament → ċaqlaqhom f’attività
Dawn it-tliet sostituzzjonijiet jirritornaw valuri rreġistrati waqt l-ewwel għadda u mbagħad jerġgħu jindaqqaru bl-istess mod. Se niddettaljaw din ir-restrizzjoni fil-Lezzjoni 8, li tiffoka fuq id-determiniżmu.
Tqabbil ma’ Approċċi Tradizzjonali
| Approċċ | Irkupru minn Ħsarat | Garanzija ta’ Eżekuzzjoni | Kumplessità |
|---|---|---|---|
| Script Sempliċi tal-Python | Le | L-ebda waħda | Baxxa |
| Queue tal-Messaġġi (Celery, RQ) | Parzjali | Mill-inqas darba (At-least-once) | Medja |
| Cron + Bażi tad-Data | Manwali | Tiddependi mill-implimentazzjoni | Għolja |
| Flussi ta’ Ħidma Mistral (Temporal) | Awtomatiku | Eżattament darba (loġika) | Baxxa (SDK) |
Oqgħod attent ħafna għall-kolonna tal-kumplessità. Queue tal-messaġġi tidher sempliċi biex tibda, iżda l-irkupru parzjali tagħha jifforzok tikteb loġika ta’ ġestjoni tal-istat li l-SDK jipprovdi barra mill-kaxxa.
Eżattament Darba: Garanzija Loġika
Il-pjattaforma tiggarantixxi li l-loġika tal-fluss ta’ ħidma tiegħek tiġi eżegwita eżattament darba. Jekk attività tirnexxi, is-sistema tirreġistra r-riżultat u qatt ma terġa’ teżegwixxiha. Jekk tfalli, is-sistema terġa’ tipprovaha skont il-politika kkonfigurata.
Il-kelma “loġika” mhix dekorattiva. Fil-livell tan-netwerk, sejħa tista’ tabilħaqq tintbagħat darbtejn: it-talba tiegħek biex toħloq klijent tilħaq is-CRM, iżda l-konferma tintilef fit-trasport. Mill-perspettiva tiegħek, l-attività falliet u se terġa’ tipprova, anke jekk il-klijent diġà jeżisti. Dan joħloq ħtieġa għal attivitajiet idempotenti, li jipproduċu l-istess riżultat anke jekk jissejħu diversi drabi bl-istess parametri. Fil-prattika, dan ifisser li tippreferi PUT fuq ID stabbli minflok POST li joħloq ringiela ġdida ma’ kull sejħa.
Punti Ewlenin
- L-event sourcing jirreġistra kull pass bħala avveniment immutabbli f’log
- Ir-replay awtomatiku jħallik tkompli fluss ta’ ħidma interrott mingħajr ma terġa’ teżegwixxi attivitajiet lestuti
- Il-pjattaforma tittratta awtomatikament ħsarat, żbalji fin-netwerk, u nuqqas ta’ servizz
- Il-kodiċi tal-fluss ta’ ħidma irid ikun deterministiku biex ir-replay jaħdem
- L-attivitajiet iridu jkunu idempotenti biex jiżguraw konsistenza waqt ir-ritentattivi
- Il-garanzija ta’ eżekuzzjoni hija loġikament eżattament darba