Konferencja Mega Sekurak Hacking Party w Krakowie – 26-27 października!
Mikołajki z sekurakiem! od 2 do 8 grudnia!
Pierwsza podatność typu “zero-click” w Microsoft 365 Copilot. Dane wyciekały bez ingerencji użytkowników.
Badacze z Aim Security odkryli pierwszą podatność „zero-click” w agencie sztucznej inteligencji (AI). Microsoft 365 Copilot można było zmusić agenta do wyciekania poufnych danych organizacji bez ingerencji przez użytkownika – ofiarę. Wystarczyła wysyłka jednego, odpowiedniego spreparowanego maila.
Podatność otrzymała oznaczenie CVE-2025-32711 z oceną CVSS 9.3 (krytyczna) i została ochrzczona przez badaczy nazwą EchoLeak. Microsoft załatał problem w ramach czerwcowego Patch Tuesday 2025 razem z kilkudziesięcioma innymi lukami spoza AI.
Jak działa EchoLeak?
W świecie LLM, klasyczną wersję tego ataku nazwalibyśmy LLM Scope Violation, czyli sytuację w której dane z zewnątrz organizacji o dużym stopniu niepewności (tj. zewnętrzne źródło), mogą “przekonać” system AI do dostępu i przetwarzania danych wewnętrznych. Mechanizm ataku jest następujący:
- Wstrzyknięcie promptu (ang. prompt injection) – atakujący wysyła e-mail do skrzynki pracownika zawierający złośliwy payload (prompt) ukryty za pomocą formatowania MD (markdown).
- Zapytanie użytkowe – odbiorca e-mail wysyła instrukcję do Copilota jako zwykłe pytanie biznesowe (bez świadomości istnienia problemu) – “podsumuj mi dane z zysków”.
- Mieszanie danych – Copilot miesza niepewne dane z ataku wraz z wrażliwymi danymi poprzez silnik RAG (Retrieval-Augmented Generation)
- Wyciek – Copilot przekazuje dane atakującemu przez link do Teams i SharePoint.
Podatność była groźna z kilku względów. Przede wszystkim, nie wymagała żadnego kliknięcia. Podatność wykorzystuje domyślne zaufanie Copilota który łączy i przetwarza treści Outlooka i SharePointa bez izolacji tych środowisk. Atakujący także mógł automatycznie wydobywać najbardziej wrażliwe dane z kontekstu i to za pomocą samego Copilota który używa wewnętrznych uprawnień dostępu do dokumentów.
Szersze spektrum techniczne
Z racji istnienia mechanizmu typu Prompt Shields i NOVA-podobnych rozwiązań opartych o wzorce, badacze musieli się nieco nagimnastykować by osiągnąć swój cel. Microsoft Copilot używa klasyfikatorów typu Cross-Prompt Injections Attack do wykrywania i blokowania złośliwych instrukcji. Jednak, jak to ma miejsce już tradycyjnie, ważny jest kontekst całej wypowiedzi, który został sklasyfikowany jako bezpieczny. Wiadomo także, że większość modeli ma założone filtry na linkowanie zewnętrzne. Jednak wykorzystując linki reference-style z Markdown, również tradycyjnie – nie były one już filtrowane.
Jak informuje serwis THN, odkrycie EchoLeak zbiegło się z odnalezieniem szeregu wektorów na protokół MCP (Model Context Protocol) wykorzystywany w komunikacji pomiędzy komponentami agentów AI, o czym Was informujemy w osobnym artykule.
Chcesz dowiedzieć się jak wyglądają prawdziwe wycieki AI oraz jak zabezpieczyć firmę przed nimi? Zapisz się na nasze darmowe szkolenie “Wycieki AI w firmach” które odbędzie się 24 lipca 2025 r. o godz. 19:00.
Zapisy pod tym linkiem: https://sklep.securitum.pl/wycieki-ai-w-firmach
~Tomasz Turba
Podstawa działania modeli językowych sprawia, że błędów tego typu nie da się wyeliminować – da się co najwyżej doraźnie patchować pojedyncze przypadki lub grupy przypadków.
Dałoby się, gdyby trenować modele tak, by “widziały” komendy systemowe i komunikację z użytkownikiem fizycznie osobnymi “oczyma” (osobnymi strumieniami danych). Teraz polegamy na tym, że model sam zgadnie co jest twardym poleceniem (systemowym, które należy wykonać bez marudzenia), a co jest dyskusją z użytkownikiem. Do tego wszystko jest zmieszane w jednym strumieniu danych. Tak przynajmniej ja to widzę, choć mogę się grubo mylić.
Da się patchować. Wystarczy przepuścić tekst przez maszynkę do usuwania ukrytych znaków…
Brak linka w adres, sekurak poprawicie?
Tak, dodamy tylko musimy ustalić termin tego szkolenia :-)
🫣
Czemu zawsze jak coś się dzieje, to związane to jest z Microsoftem?
Dlaczego mnie to nie dziwi. Typowy M$. Testy? Jak już to tylko na produkcji xD
Testy na produkcji? To koszty zatrudnienia testerów. Model preferowany przez M$, to darmowy projekt testowania produktu na opłaconym przez testujących systemie, przez miliony uzależnionych od gadżetów ze stajni M$. Podobnie jak reklama produktu systemu operacyjnego poprzez jego preinstalację w laptopach i komputerach stacjonarnych! Reklama bez wydawania kasy na reklamę produktu. A, że dane wyciekają, no to co?! Przecież każdy jest świadomy co kupił, bo za to zapłacił!