Żądny wiedzy? Wbijaj na Mega Sekurak Hacking Party w maju! -30% z kodem: majearly
Politechnika Wrocławska zrobiła ćwiczenia ewakuacyjne. „Wystrzeliła” instalacja gaśnicza w serwerowni. Serwery nie działają.
Na stronie Politechniki można zobaczyć taki komunikat:
Jeśli poszukamy nieco więcej informacji o „awarii”, znajdziemy takie oświadczenie:
Trochę niejasne jest wskazane powiązanie ćwiczeń z awarią infrastruktury przeciwpożarowej. W każdym razie wygląda na to, że pył gaśniczy trwale unieruchomił serwery.
Poza stroną informacyjną, nie działa szereg aplikacji / usług oferowanych przez Uczelnię (np. Uniwersytecki System Obsługi Studiów). Trzymamy kciuki za pełne odzyskanie danych z kopii zapasowych, a wszystkim polecamy przejrzeć własne procedury testowania ewakuacji / testy instalacji przeciwpożarowych.
~ms
Dzisiaj nam prowadzący na zajęciach mówił co nieco o tej sytuacji z serwerami.
Robili testy automatycznego systemu gaszenia pożaru w serwerowni. Gasili nieistniejący pożar jakimś środkiem gaśniczym w proszku. Niestety nie wyłączyli serwerów na czas testu. Wentylatory zassały cały ten proszek do środka serwerów, same też się zapchały i przestały pracować. Serwery bez chłodzenia i wypełnione tym czynnikiem gaśniczym zaczęły się przegrzewać i palić. Teraz siedzą i wciągają proszek odkurzaczami, żeby jak najszybciej przywrócić działanie serwerów. Tylko, że odkurzacze bardzo fajnie się elektryzują i udało im się ubić kolejne kilka serwerów przez ESD.
Podsumowując, gasząc nieistniejący pożar, środek gaśniczy spowodował „kolejny pożar” (spalenie przegrzanie się serwerów kilku serwerów), a usuwanie skutków gaszenia dobija te jeszcze działające xD
Skoro jest przerwa to raczej nie mają drugiego DC, więc nawet jakby wyłączyli serwery, na czas testów, to i tak by nic nie działało – więc to jakiś dziwne testy w środku tygodnia centralnie na produkcji ;)
Dwa, że rozsypanie proszku na wyłączone serwery to niby jest już ok? No i kto w tych czasach używa jeszcze „proszków gaśniczych”?
To nikt im nie powiedział, że takie testy infry p-poż robi się na sucho, tj. blokujesz system wyzwalający środek gaśniczy (a nawet fizycznie odłączasz zasobniki ze środkiem gaśniczym)a testujesz głównie czujki…
I to jest właściwy tok rozumowania i postępowania przy testowaniu tego typu systemów. Odłączyć, Zabezpieczyć sprawdzić i dopiero testować.
Swoją drogą szkoda, że przyoszczędzili na systemie P.Poż i dali proszek zamiast gazu obojętnego. Na pewno nie było by teraz takiego problemu.
Swoją drogą ciekawe, czy system P.Poż mieli podłączony do zacisków EPO UPS’ów bo jeśli tak to niektóre serwery które pracowały 24h/dobę i dawno nie były odłączane od zasilania również mogą mieć problemy ze wstaniem.
Układ zabezpieczający spalił układy zabezpieczane zgodnie z jednym z praw Murphy’ego :D
Poprosiłem chatgpt by znalazł mi to konkretne prawo Murphy’ego.
„Prawo to często odnosi się do sytuacji, w których nadmierne skomplikowanie systemów zabezpieczających, nieprzewidziane interakcje lub błędy ludzkie mogą doprowadzić do niewłaściwego działania tych systemów lub wprowadzenia dodatkowych zagrożeń. Dlatego istotne jest dokładne projektowanie, testowanie i utrzymanie systemów zabezpieczających w celu minimalizacji ryzyka ich nieodpowiedniego działania.”
Z tego co opisujesz to mamy idealne zgłoszenie do UODO dot. incydentu ;)
Przypomina to identyczną sytuację jaka miała miejsce chyba w 2017 w Netii na Półeczki 13. Tam wypuścili niechcący inergen na halę i dowiedIeli się, że instalacja nie wytrzymała ciśnienia. Fala dźwiękowa uwalniała mnustwo dysków twardych.
To było ING, 12 września 2016 Z3S opisała sytuację.
Crosslink do kolegów bezpieczników pozostawię w gestii redaktorów, a chętni po dacie sobie znajdą. ;)
Zaoszczędzone środki na „gaszenie serwerowni” [syfem, zamiast gazem neutralnym lub innym np. FM-200] może teraz spokojnie wydać na zakup nowych serwerów po nowych lepszych cenach.
Fachowcy nie ma co, przeżyłem setki testów ppoż w DC i nigdy nie było żadnych problemów. Przed testami zawsze zabezpiecza się butle z gazem specjalnymi zawleczkami. Tylko trzeba pamiętać aby po teście je odbezpieczyć ;-)
W miejsce przechowywania zawleczkę kładzie się klucze do samochody , wtedy trudnij o nich zapomnieć
szczególnie jak ktoś dojeżdża do pracy rowerem albo komunikacją publiczną
To można powiesić zamiast kluczy z samochodu klucze z domu ;)