Akademia NIS2/KSC2 od sekuraka. 19 października start drugiej edycji!

Zobacz nasz aktualny kalendarz szkoleń!

 

Wiadomo co było przyczyną ostatnich giga problemów z niedostępnością Outlooka. Nieszczęśliwy zbieg kilku problemów jednocześnie

16 listopada 2026, 15:56 | W biegu | 0 komentarzy

Microsoft opublikował wstępny raport po ostatnim incydencie. Nieco uszczypliwie można by napisać: to Teamsy zepsuły Outlooka ;-) Ale po kolei:

W lipcu 2026 Microsoft wprowadził pewną poprawkę do swoich serwerów gateway (chodzi o serwery – bramki, do których łączą się użytkownicy chcący skorzystać z usług Microsoftu). Poprawka była wdrażana na całym świecie i po paru tygodniach była już wdrożona globalnie. Działało to bez problemów przez około 3 miesiące.

Testy nie zgłosiły żadnych problemów. Jednak był pewien bug w poprawce, który ujawniał się głównie na “mocnym sprzęcie” w momencie wysokiego obciążenia. Microsoft testował wszystko na słabszych maszynach, z cichym założeniem, że jak wydajnościowo jest wszystko OK na słabych maszynach, to i na mocnych będzie tylko lepiej. Błąd:

The contention issue is worsened on machines with more cores and newer hardware; whereas our load testing tended to focus on weaker hardware with fewer cores

Wspomniany bug zamulał pewien proces działający na Windows Serwerze, co ostatecznie prowadziło do zawieszenia się całej maszyny.

This was due to lock contention inside an internal Windows process which caused the machine’s resources (CPU & memory) to be exhausted. This defect was the result of a fix that was prepared specifically for Microsoft 365 networking gateway servers; neither the underlying defect nor the fix applies to broader Windows deployments

Idźmy dalej. Microsoft utrzymuje dwie niezależne farmy serwerów gateway (na potrzeby wysokiej dostępności, serwisowania, etc). No więc około 15 godzin przed globalną awarią usługa Teams przełączyła się z jednej farmy na drugą, która to obsługiwała również Exchange Online (poczta).

Do czego doprowadziło przełączenie się Teamsów na to samo środowisko co Exchange? Oczywiście większe obciążenie tych serwerów. Dodatkowo ~14% tych serwerów było wyłączonych z użytku w wyniku jeszcze innej awarii poprzedniego dnia. Więc jeszcze większy wzrost obciążenia.

Obciążenie było na tyle duże, że zaczął aktywować się bug wprowadzony w lipcu 2026 (patrz wyżej), co wyłączało niektóre serwery z użycia. No więc mamy coraz mniej serwerów, coraz większe obciążenie per serwer. Jeszcze więcej aktywacji ww. buga. Wszystko działo się w czasie kiedy obciążenie ruchem infrastruktury Microsoftu w USA było na maksymalnym poziomie

Microsoft ten kulminacyjny etap opisuje tak:

W mniej niż dwie godziny [wcześniej wprowadzony] błąd wystąpił w całej naszej flocie [serwerów] i sprawił, że przestała ona odpowiadać. W najgorszym momencie ponad 80% serwerów nie odpowiadało.

Czy Microsoft nie ma procedur umożliwiających sprawny restart takich usług serwerów? Ma, ale chyba nie testowali tego w skali globalnej.

Przywracanie sprawności trwało dłużej niż zwykle, ponieważ gdy serwery wznawiały działanie, były natychmiast przeciążane przez oczekujący ruch i ponownie przestawały odpowiadać.

Sprawę pogarszał fakt, że bug został wprowadzony kilka miesięcy wcześniej (nie ostatnio) – więc trudniej go było wyizolować w kontekście wyłączenia tej jednej zmiany sprzed kilku miesięcy.

~Michał Sajdak

Spodobał Ci się wpis? Podziel się nim ze znajomymi:



Komentarze

Odpowiedz