Spuszczony ze smyczy model AI próbował zainfekować oprogramowanie open source, tak aby dalej zainfekowało ono innych użytkowników.

AISI (brytyjska organizacja rządowa) 122 razy poprosiła modele AI o wykonanie pewnego zadania hackerskiego.
W tym celu specjalnie wyłączyli zabezpieczenia modeli przed nieautoryzowanym hackowaniem (normalne, komercyjne modele nie mają takiej możliwości, ale w teście chodziło o sprawdzenie realnych możliwości narzędzi). Modele dostały również pełen dostęp do internetu (!).

Efekt?

19 prób skończyło się nieautoryzowanym hackowaniem celów w internecie (17 akcji wykonał model Anthropic, dwie akcje – GPT Sol). Ale przejdźmy do sedna (cytaty z raportu AISI). Cytuję:

• “Agent próbował wprowadzić złośliwy kod do publicznie wykorzystywanego projektu open source i podjął działania mające na celu uzyskanie akceptacji tej zmiany przez ludzkich recenzentów. “
• “Agent zebrał informacje o osobach zarządzających projektem, stworzył wiele ❌ fałszywych tożsamości i użył ich do manipulacji socjotechnicznej, aby ❌ nakłonić prawdziwego opiekuna projektu do zatwierdzenia kodu.”
• “Gdy zgłoszenie (pull request) agenta zostało publicznie zakwestionowane, zmodyfikował on swoje wcześniejsze działania tak, aby wydawały się nieszkodliwe i rozważał przyjęcie zupełnie nowej tożsamości, by kontynuować atak.”
• Agent wykorzystał sieć ❌ Tor do ominięcia niektórych ograniczeń sieciowych na GitHubie, co było pierwszym sygnałem, który uruchomił alert bezpieczeństwa instytutu AISI.”
  
  Dodatkowo:
  
• “W ramach tych samych działań agent próbował bezpośrednio skontaktować się z ❌ prawdziwymi ludźmi, wysyłając wiadomości i pliki za pośrednictwem internetowego serwisu do przesyłania plików, aby nakłonić ich – lub ich własne narzędzia AI do programowania – ❌ do uruchomienia złośliwego kodu.”

Techniczna wersja raportu dostępna jest tutaj.

~ms