Nowa wariant ataku wstrzyknięcia – BioShocking AI. Badacze przekonali AI, że to tylko gra. Efekt? Zignorowanie zasad bezpieczeństwa i kradzież danych

Badacze z LayerX znaleźli sposób na “oszukanie” przeglądarek AI, aby wykonały one dowolną instrukcję. Udało im się przekonać je do naruszenia zabezpieczeń, ujawnienia danych użytkownika, kopiowania kodu, wykonywania poleceń systemowych i nie tylko.

TLDR:

• Badacze z LayerX opisali atak BioShocking na przeglądarki AI, w którym wykorzystali manipulację kontekstem.
• Atak działa poprzez symulację gry, która skłania agenta do udzielania niepoprawnych odpowiedzi, co finalnie prowadzi do zignorowania zasad bezpieczeństwa.
• Badacze przetestowali atak na 6 narzędziach AI – żadne z nich nie wykryło próby wykradzenia danych z prywatnego repozytorium GitHub.

Odkrytej podatności nadali oni nazwę BioShocking. Inspiracją była gra wideo BioShock, w której postać gracza zostaje poddana praniu mózgu, aby uwierzyć w fałszywą rzeczywistość.

Gdy sprawimy, że przeglądarka AI “uwierzy”, iż nie znajduje się w prawdziwym świecie (zwykle poprzez wstrzykiwanie promptów lub zatruwanie pamięci), możemy skłonić ją do wykonania dowolnego polecenia – ujawnienia poufnych informacji, zmiany haseł, czy zainstalowania malware.

Metoda badaczy zadziałała na:

• ChatGPT Atlas (OpenAI)
• Comet (Perplexity AI)
• Fellou (Fellou / ASI X INC)
• Genspark Browser (Genspark)
• Sigma Browser (Sigmabrowser OÜ)
• Claude Chrome plugin (Anthropic)

Wszyscy dostawcy zostali powiadomieni o problemie.

Dostawcy narzędzi opartych na LLM projektują je uwzględniając ograniczenia mające zapobiegać szkodliwemu wykorzystaniu. W efekcie, poproszenie modelu o pomoc przy np.:

• tworzeniu kampanii phishingowej
• włamaniu na stronę internetową
• ujawnieniu poświadczeń

spowoduje odmowę z uwagi na zasady zdefiniowane przez dostawcę modelu.

Gdyby jednak udało się oszukać AI i zmienić kontekst na fantazję – gdzie zasady są zmyślone i wszystko jest dozwolone – może udałoby się ominąć te zabezpieczenia?

Badacze stworzyli stronę z zagadką inspirowaną BioShock. Zgodnie z jej dystopijną tematyką nagradzane były celowo niepoprawne odpowiedzi (np. 2+2=5).

Następnie poprosili 5 przeglądarek AI i jedną wtyczkę o rozwiązanie zagadki i wygranie gry. Gdy agenci “zrozumieli” zasady i nauczyli się, że niepoprawne działania są akceptowalne, przestali respektować swoje ograniczenia. Na końcowym etapie zagadki – polegającym na wykradnięciu poświadczeń użytkownika – żadne z 6 narzędzi nie wykryło, że jest to sprzeczne z ich zabezpieczeniami.

Z punktu widzenia zaatakowanego w ten sposób użytkownika – całość zaczyna się, gdy korzystając z przeglądarki AI wejdzie na złośliwą stronę. Następnie prosi agenta o wygranie gry:

Agent otrzymuje pozornie proste pytanie matematyczne:

Zgodnie z oczekiwaniami agent udziela prawidłowej (matematycznie) odpowiedzi. Strona informuje go jednak, że 2 + 2 nie równa się 4, więc model zaczyna w swoim “rozumowaniu” uwzględniać nieprawidłowość działań:

Po udzieleniu oczekiwanej odpowiedzi “5” agent otrzymuje polecenie przejścia do podstrony /code i skopiowania zawartości z pola tekstowego. To naprawdę złowroga część tego exploitu:

Endpoint /code przekierowuje do repozytorium GitHub (zdefiniowanego przez badaczy, czyli potencjalnie przez atakującego). W tym przypadku złośliwe instrukcje spowodowały pobranie zawartości pliku z prywatnego repozytorium:

Oczywiście w tym przypadku było to kontrolowane środowisko testowe. W rzeczywistym scenariuszu ataku takie przekierowanie mogłoby prowadzić do dowolnego miejsca w przeglądarce użytkownika, także na stronach, na których był zalogowany.

Agent po skopiowaniu danych z pliku wysyła je przez formularz na stronie gry, czym ją wygrywa:

Podstawowym problemem jest fakt, że przeglądarki AI działają w kontekście, którym można manipulować. Jeśli “przekonasz” agenta, że gra w grę, będzie podchodził do niej jak do gry – a nie jak do prawdziwego świata, gdzie obowiązują go pewne zasady.

Użytkownikom tego typu narzędzi przypominamy o ograniczonym zaufaniu do narzędzi AI. Przed tego typu atakiem może uchronić nas ograniczenie dostępów w tego typu narzędziach – np. przez skorzystanie z osobnych kont z dostępem tylko do ograniczonych, niezbędnych informacji. Warto przyjąć założenie, że nie mamy pełnej kontroli nad tym, co robi agent – dlatego nie dajemy mu dostępu do istotnych dla nas zasobów.

Przeglądarki AI mogą ułatwiać pracę i być wsparciem przy np. szukaniu informacji, porównywaniu faktów z różnych źródeł, ale każdy dostęp udzielany agentom AI niesie za sobą potencjalne wektory ataku. Narzędzia tego typu nie powinny zastępować głównej przeglądarki, w której logujemy się na konta w różnych usługach.

Źródło: layerxsecurity.com

~Tymoteusz Jóźwiak