Trwałość i niezawodność przepływów pracy
Na tej stronie
Dlaczego trwałość zmienia wszystko
Wyobraź sobie dziesięcioetapowy potok przetwarzający partię faktur: ekstrakcja, walidacja, wywołanie modelu, zapis do bazy danych, powiadomienie. W standardowym skrypcie Python awaria na etapie 7 zmusza cię do powrotu do etapu 1. Pierwsze sześć etapów uruchamia się ponownie, co stwarza poważne problemy, jeśli którykolwiek z nich zapisał coś w bazie danych lub wysłał wiadomość. Dzięki trwałemu przepływowi pracy system wznawia działanie dokładnie na etapie 7. Pomija pierwsze sześć kroków, unika dublowania czynności i nie traci żadnych danych.
Możliwość ta opiera się na specyficznym mechanizmie zwanym event sourcing (źródłowanie zdarzeń). Zrozumienie tej koncepcji jest kluczowe, ponieważ wyjaśnia ograniczenia, z którymi spotkasz się później.
Event sourcing: zasada nadrzędna
Event sourcing rejestruje każde działanie przepływu pracy jako niezmienne zdarzenie w dzienniku. Różnica względem tradycyjnego podejścia sprowadza się do jednego zdania: zamiast przechowywać tylko bieżący stan (np. „w toku, krok 7“), platforma utrzymuje pełną historię operacji i ich wyników. Wykonanie przepływu pracy z dwiema aktywnościami pozostawia następujący ślad:
- Przepływ pracy się uruchamia i otrzymuje parametry wejściowe → zdarzenie zarejestrowane
- Przepływ pracy wywołuje aktywność A → zdarzenie zarejestrowane
- Aktywność A kończy się wynikiem → zdarzenie zarejestrowane
- Przepływ pracy wywołuje aktywność B → zdarzenie zarejestrowane
- Aktywność B kończy się → zdarzenie zarejestrowane
- Przepływ pracy zwraca wynik końcowy → zdarzenie zarejestrowane
System utrwalenia każdy krok przed przejściem do następnego. Nie ma okna czasowego, w którym działanie zachodzi bez wiedzy dziennika. Ten dziennik staje się jedynym źródłem prawdy; stan przepływu pracy nie istnieje nigdzie indziej.
Automatyczne odtwarzanie: odzyskiwanie po awarii
Gdy worker ulegnie awarii, nowy worker przejmuje zadanie, pobiera dziennik zdarzeń i odtwarza kod przepływu pracy od samego początku. Słowo „odtwarzanie“ często dziwi użytkowników: kod faktycznie restartuje się od pierwszej linii, ale dla każdej aktywności, która już się zakończyła, silnik nie wywołuje ponownie twojej funkcji. Zamiast tego podstawia zarejestrowany wynik z dziennika. Przepływ pracy przesuwa się z prędkością odczytu, aż natrafi na pierwszą niezakończoną aktywność. Dopiero wtedy wznawiana jest rzeczywista praca.
Aktywności, które już zakończyły się sukcesem, nigdy nie są wykonywane ponownie podczas odtwarzania. Poniższy przykład czyni tę gwarancję namacalną w najbardziej newralgicznym przypadku: wysyłaniu e-maila.
import mistralai.workflows as workflows
@workflows.activity()
async def send_email(recipient: str, content: str) -> dict:
"""Ta aktywność uruchomi się tylko raz,
nawet jeśli przepływ pracy zostanie wielokrotnie odtworzony."""
response = await email_service.send(recipient, content)
return {"status": "sent", "id": response.id}
@workflows.workflow.define(name="notification_workflow")
class NotificationWorkflow:
@workflows.workflow.entrypoint
async def run(self, recipient: str) -> dict:
# Jeśli przepływ pracy ulegnie awarii PO wysłaniu e-maila,
# e-mail NIE zostanie wysłany ponownie podczas odtwarzania.
email_result = await send_email(recipient, "Twój raport jest gotowy")
# Przepływ pracy wznawia działanie tutaj
log_result = await log_notification(recipient, email_result)
return log_result
Tolerancja błędów: objęte scenariusze
Platforma obsługuje cztery rodzaje incydentów bez wymagania od ciebie napisania ani jednej linii kodu. Po pierwsze, awaria workera: proces Pythona zatrzymuje się nagle z powodu błędu pamięci, sygnału kill lub restartu serwera. Inny worker przejmuje przepływ pracy dokładnie w miejscu, w którym został przerwany. Po drugie, przejściowy błąd sieciowy: wywołanie API nie powodzi się z powodu przekroczenia limitu czasu. Polityka ponawiania automatycznie restartuje aktywność z wykładniczym opóźnieniem (exponential backoff), używając rosnących opóźnień, aby nie przeciążyć walczącego serwisu.
Po trzecie, błędy w twoim własnym kodzie: wyjątek zgłoszony w aktywności powoduje jej ponowienie określoną liczbę razy zgodnie ze skonfigurowaną polityką, zanim nastąpi trwała awaria. Po czwarte, tymczasowa niedostępność usługi zewnętrznej. Efekt jest tu dramatyczny: jeśli partnerskie API padnie na dziesięć minut, twój nocny potok przestaje zawodzić. Oczekujące aktywności restartują się, gdy usługa wróci do działania, a przetwarzanie kończy się zaledwie dziesięć minut później.
Ograniczenie determinizmu
Odtwarzanie niesie ze sobą koszt. Aby odtworzenie dziennika wiernie odwzorowało oryginalne wykonanie, kod przepływu pracy (nie aktywności) musi być deterministyczny. Dla tych samych danych wejściowych musi generować tę samą sekwencję operacji. Jeśli twój przepływ pracy rozgałęzia się w zależności od warunku if datetime.now().hour < 12, odtworzenie dziś wieczorem może pójść inną gałęzią, całkowicie desynchronizując dziennik.
Dlatego w kodzie przepływu pracy nigdy nie wolno ci:
- Używać
datetime.now()→ użyjworkflow.now() - Używać
uuid.uuid4()→ użyjworkflow.uuid4() - Używać
random.random()→ użyjworkflow.random() - Bezpośrednio wykonywać wywołań sieciowych lub operacji I/O → przenieś je do aktywności
Te trzy zamienniki zwracają wartości zarejestrowane podczas pierwszego przebiegu i później odtwarzane identycznie. Szczegółowo omówimy to ograniczenie w lekcji 8, która skupia się na determinizmie.
Porównanie z tradycyjnymi podejściami
| Podejście | Odzyskiwanie po awarii | Gwarancja wykonania | Złożoność |
|---|---|---|---|
| Prosty skrypt Python | Nie | Brak | Niska |
| Kolejka wiadomości (Celery, RQ) | Częściowe | Co najmniej raz (At-least-once) | Średnia |
| Cron + Baza danych | Ręczne | Zależy od implementacji | Wysoka |
| Mistral Workflows (Temporal) | Automatyczne | Dokładnie raz (logicznie) | Niska (SDK) |
Zwróć szczególną uwagę na kolumnę złożoności. Kolejka wiadomości wydaje się prosta na start, ale jej częściowe odzyskiwanie zmusza cię do pisania logiki zarządzania stanem, którą SDK dostarcza gotową z pudełka.
Dokładnie raz: gwarancja logiczna
Platforma gwarantuje, że logika twojego przepływu pracy zostanie wykonana dokładnie raz. Jeśli aktywność zakończy się sukcesem, system rejestruje wynik i nigdy nie wykonuje jej ponownie. Jeśli się nie powiedzie, system ponawia ją zgodnie ze skonfigurowaną polityką.
Słowo „logicznie“ nie jest ozdobnikiem. Na poziomie sieci wywołanie może faktycznie zostać wysłane dwukrotnie: twoje żądanie utworzenia klienta dociera do CRM, ale potwierdzenie ginie w tranzycie. Z twojej perspektywy aktywność nie powiodła się i zostanie ponowiona, mimo że klient już istnieje. Stwarza to potrzebę stosowania idempotentnych aktywności, które produkują ten sam wynik nawet przy wielokrotnym wywołaniu z tymi samymi parametrami. W praktyce oznacza to preferowanie metody PUT na stabilnym identyfikatorze zamiast POST, który tworzy nowy wiersz przy każdym wywołaniu.
Kluczowe wnioski
- Event sourcing rejestruje każdy krok jako niezmienne zdarzenie w dzienniku
- Automatyczne odtwarzanie pozwala wznowić przerwany przepływ pracy bez ponownego wykonywania zakończonych aktywności
- Platforma automatycznie obsługuje awarie, błędy sieciowe i przerwy w działaniu usług
- Kod przepływu pracy musi być deterministyczny, aby odtwarzanie działało poprawnie
- Aktywności muszą być idempotentne, aby zapewnić spójność podczas ponawiania
- Gwarancja wykonania to logiczne dokładnie raz