Cloudflare chciało ochronić swoich klientów przed krytyczną podatnością w React, ale przypadkiem na 25 minut zabiło znaczną część swojej infrastruktury

No więc cloudflare próbował zabezpieczyć internet przed atakami na krytyczną podatność w popularnym React (CVE-2025-55182). W wyniku tego dotkniętego zostało ~28% globalnego ruchu HTTP chronionego przez Cloudflare. Innymi słowy dużo chronionych przez Cloudflare serwisów po prostu nie działało (błąd 500). Incydent trwał 25 minut. Na foto poniżej widać normalny ruch obsługiwany przez Cloudflare (zielony) i błędy (czerwony).

Normalnie WAF Cloudflare buforuje chronioną komunikację HTTP w pamięci (analiza czy wysyłany do serwera ruch HTTP jest bezpieczny czy nie, odbywa się w pamięci – chodzi o prędkość działania całości). Do dzisiaj limit tego buforu wynosił 128kB, ale został zwiększony do 1MB – tak żeby wykryć maksymalnie wszystkie próby ataków. Jak jest tutaj ktoś dociekliwy – to uzupełniam: ten bufor służy do przechowywania body analizowanego żądania HTTP.

Ale zmiana spowodowała pewne – raczej drobne – błędy w wewnętrznym narzędziu, wpiętym w infrastrutkurę Cloudflare, a służącym do diagnozowania reguł WAF. Ale z racji, że to narzędzie nie było krytyczne w działaniu całej infrastruktury, zdecydowano się na jego awaryjne odłączenie. Mechanizm odłączania zadziałał i rozpropagował zmianę w całej infrze Cloudflare w kilka sekund.

Tylko podczas użycia tego szybkiego wyłączenia (killswitch), objawił się pewien błąd w kodzie LUA:

“This is a straightforward error in the code, which had existed undetected for many years.”

Co ciekawe błąd nie występował w nowszej wersji silnika Cloudflare FL2, napisanego w Rust:

“This type of code error is prevented by languages with strong type systems. In our replacement for this code in our new FL2 proxy, which is written in Rust, the error did not occur.”

Tylko dlatego nie padło całe Cloudflare…

~ms