Weekend bez monitoringu

W sobotę o drugiej w nocy formularz zamówień w sklepie zaczyna zwracać błąd. Sama strona się otwiera, więc proste sprawdzenie, czy serwer odpowiada, niczego nie zauważa. Przez weekend kilku klientów próbuje złożyć zamówienie. Część rezygnuje, jeden pisze maila.

W poniedziałek rano szef czyta tego maila i dzwoni do wykonawcy. Wykonawca szuka przyczyny i znajduje ją szybko: zapełnił się dysk serwera. Przy okazji wychodzi, że z tego samego powodu od tygodnia nie robiła się kopia zapasowa. Nikt o tym nie wiedział, bo kopia, której nie ma, niczego nie zgłasza.

Ile zamówień przepadło, nie wiadomo.

Ten sam weekend z monitoringiem

W czwartek wykonawca dostaje mail z ostrzeżeniem, że dysk serwera zbliża się do zapełnienia. W treści są liczby, więc od razu widać, ile miejsca zostało. Jest jeszcze czas, żeby zrobić porządek, i w piątek dysk ma znowu sporo wolnego miejsca.

Załóżmy jednak, że w sobotę w nocy formularz i tak przestaje działać, tym razem z innego powodu. Kilka minut później przychodzi alarm, bo sprawdzenie pyta samą aplikację, czy działa i czy widzi bazę danych. Kiedy wykonawca zareaguje, zależy od umowy. W każdym razie o awarii pierwszy wie on, zanim napisze klient.

Co sprawia różnicę

Wystarczy kilka ustawień przy uruchomieniu systemu.

Ważne zadania zgłaszają, że się wykonały. Nocna kopia zapasowa, sprawdzenie strony i pomiar zajętości dysku po zakończeniu wysyłają sygnał do usługi monitorującej, która działa poza serwerem. Alarm przychodzi, gdy sygnał mówi „błąd”, ale też wtedy, gdy sygnału nie ma w oczekiwanym czasie. To drugie łapie awarię całego serwera, bo serwer, który leży, sam już niczego nie zgłosi.

Sprawdzenia są dwa i nie zależą od siebie. Jedno sprawdza aplikację od środka, drugie sprawdza z zewnątrz, czy serwer w ogóle odpowiada. Mało prawdopodobne, żeby oba zawiodły naraz.

Ostrzeżenie przychodzi wcześnie, kiedy jest jeszcze czas coś zrobić. Gdy dysk jest już pełny, na porządki jest za późno.

Sam alarm też jest sprawdzony. Monitoring, który nigdy nie wysłał maila, równie dobrze może nie działać. Dlatego warto wywołać próbną awarię i zobaczyć, czy mail przyszedł, a potem, czy przyszedł też komunikat, że wszystko wróciło do normy. Monitoring nie powinien przy tym niczego blokować. Jeśli usługa monitorująca nie odpowiada, kopia zapasowa i tak ma się zrobić.

Sam sygnał, że kopia się zrobiła, nie mówi jeszcze, czy da się z niej odtworzyć dane. Jak to sprawdzać i jak wprowadzać zmiany bez zatrzymywania strony, piszemy w artykule Wdrożenia bez przestojów.

Kto odbiera alarm w sobotę w nocy

Monitoring mówi, że coś się stało, ale niczego sam nie naprawi. Razem z nim ustala się więc, kto dostaje alarm i jak szybko ma zareagować. To zależy od tego, ile kosztuje firmę godzina przerwy. Dla małej strony firmowej zwykle wystarcza mail i reakcja następnego ranka. Przy sklepie, który w weekend robi dużą część sprzedaży, warto policzyć, czy szybsza reakcja się opłaci, i zapisać ją w umowie.

Częstotliwość sprawdzania też dobiera się do sytuacji. Zbyt nerwowy monitoring wysyła alarmy o każdym chwilowym spowolnieniu i po tygodniu nikt ich nie czyta. Lepiej mieć mniej alarmów, za to takich, które wymagają reakcji.