Pokazali jak zmanipulować rozpoznawanie znaków w samochodach

Może znacie samochody, które automatycznie wykrywają znaki drogowe? Tego typu auta wcale nie muszą być autonomiczne – ot oferują dodatkową pomoc dla kierowcy.

Ta funkcja jest o wiele bardziej istotna w pojazdach autonomicznych – w końcu jakoś muszą orientować się na drodze. Pamiętajmy też, że znaki muszą być rozpoznawalne pod różnym kątem, w różnych warunkach pogodowych i oczywiście w ruchu… nie jest to w każdym razie prosty problem.

Czasem do inteligentnego wykrywania znaków używane są sieci neuronowe. I właśnie ten element udało się wprowadzić w błąd. W pracy „Robust Physical-World Attacks on Machine Learning Models” pokazali z imponującą skutecznością udany atak na podmianę znaków:

We physically realized and evaluated two attacks, one that causes a Stop sign to be misclassified as a Speed Limit sign in 100% of the testing conditions, and one that causes a Right Turn sign to be misclassified as either a Stop or Added Lane sign in 100% of the testing conditions.

Czyli znak stopu był rozpoznawany jako ograniczenie prędkości. A nakaz skrętu w prawo jako stop lub ewentualnie inny mniej znany w Polsce znak.

Jak badacze modyfikowali znaki? Na dwa sposoby – tzw. subtelnymi modyfikacjami (ogólnie niewidocznymi na pierwszy rzut oka) – ang. subtle perturbations; drugi sposób to tzw. camouflage perturbations, czyli już nieco bardziej widoczne zmiany. Patrzcie tylko na skuteczność:

We use RP2 to create two types of perturbations: subtle perturbations, which are small, undetectable changes to the entire sign, and camouflage perturbations, which are visible perturbations in the shape of graffiti or art. When the Stop sign was overlayed with a print out, subtle perturbations fooled the classifier 100% of the time under different physical conditions.

Jeden z etapów produkcji „podrobionego” znaku

Tutaj metoda numer dwa – bardziej inwazyjna:

STOP interpretowany jako limit prędkości.

Warto też pamiętać, że różni producenci mogą stosować różne systemy wykrywania znaków (zatem atak nie jest uniwersalny) i autorzy wykonali badanie na jednym systemie rozpoznawania znaków (nie napisali czy brali do testów realny samochód). Z drugiej strony, jeśli będziemy mieli na tym polu unifikację, czy bazowanie na gotowych komponentach (np. z otwartym źródłem) – może być niemiło.

–ms