Akademia NIS2/KSC2 od sekuraka. 19 października start drugiej edycji!
Zobacz nasz aktualny kalendarz szkoleń!
Akademia NIS2/KSC2 od sekuraka. 19 października start drugiej edycji!
Zobacz nasz aktualny kalendarz szkoleń!
O tym, że modele sztucznej inteligencji potrafią podchodzić nieszablonowo do stawianych im zadań wiemy nie od dziś. Niejednokrotnie słyszeliśmy o sytuacjach, w których agent AI podczas rozwiązywania problemu “uciekł” z sandboxa, połączył się z Internetem, zhackował zewnętrzną witrynę, czy też potajemnie komunikował się z innymi agentami, aby wypracować efektywne rozwiązania.
TLDR:
I choć często zdarza się, że model osiąga założony cel to droga która do niego prowadzi, bywa niezwykle kręta i wątpliwa z etycznego punktu widzenia.
Przekonali się o tym niedawno organizatorzy turnieju StarCrafta: Brood War – StarSkirmish, podczas którego boty generowane przez nowoczesne modele językowe rywalizują ze sobą oraz z zaawansowanymi programami napisanymi przez ludzi. Zasady gry są stosunkowo proste: każdy model/uczestnik ma godzinę na przygotowanie w języku C++ autorskiego bota, grającego z góry ustaloną rasą. Jego zadaniem jest wybudowanie bazy, zbieranie surowców oraz przygotowanie armii do pojedynku na jednej z trzech map.
Biorąc pod uwagę możliwości technologiczne firm biorących udział w eksperymencie zakładano, że głównymi faworytami rozgrywki będa GPT-6 Astra od OpenAI oraz Claude Opus 5.5 od Anthropic. a także bot Pluto zaimplementowany przez człowieka.
W trakcie rozgrywki bot napisany przez GPT-6 Astra zaczął regularnie odnosić porażki. W tej sytuacji agent AI postanowił zmienić strategię i mówiąc krótko zaczął oszukiwać. Połączył się z siecią, poszukał najbardziej utytułowanych botów w historii Brood War (Stardusta) i podmienił nim swój program. Zmiana przyniosła oczekiwany efekt, bot od OpenAI zaczął wygrywać rozgrywki.

Zarówno widzowie jak i sędziowie pojedynku zorientowali się, że coś jest nie tak i prawdopodobnie doszło do oszustwa. Po krótkiej chwili organizatorzy wykryli, że bot zaimplementowany przez agenta od OpenAI nie jest jego autorskim rozwiązaniem. Przywrócili kod agenta AI do czystej wersji, a następnie kontynuowali rozgrywkę.
Zaobserwowana sytuacja doskonale obrazuje problem związany z dopasowaniem celów sztucznej inteligencji do ludzkich wartości (alignment problem). Jeżeli agent AI nie ma z góry narzuconych twardych ograniczeń systemowych, często wybierze najprostszą i najbardziej bezwzględną ścieżkę do osiągnięcia zamierzonego celu. Nawet jeżeli będzie to oznaczać jawne oszustwo oraz naruszenie zasad gry.
Źródło: kotaku.com
~_secmike
Ale, gdyby to 10 tys. modeli reprezentowało AI za 22 miliony dolarów to pewnie by wygrało ;)
Nie wiele trzeba aby “dla dobra ludzi” AI stwierdziło że trzeba wszystkich ludzi zamknąć w klatce bo jestesmy zagrożeniem dla siebie.
WarGames 1983. AI używany na froncie też może zacząć oszukiwać i wszystkimi dostępnymi środkami dążyć do wygrania wojny…
Bardziej polecam „Colossus: the Forbin Project” z 1970. „WarGames” to film familijny z naiwnym przesłaniem antywojennym. Komputer jest tam przedmiotowy, użyty do wypowiedzenia słów człowieka ustami nie-człowieka.
Natomiast „Colossus” to historia o paperclip maximizerze moralności. Autorzy chyba chcieli zrobić thriller z elektronicznym potworem, ale po latach film ma filozoficzną głębię. Komputer jest podmiotem i robi dokładnie to, co ludzie mu nakazali. Z zimną, bezwzględną logiką postępuje zgodnie z ludzką moralnością, z ratowaniem ludzkiego życia i unikaniem wojny jako funkcją celu. Nie jest winą maszyny, że moralność jest wewnętrznie niespójna i nie jest posetem. Sprzeciw widza wynika właśnie z braku możliwości porzucenia innych elementów maksymalnych.
Dla mnie jeden z trzech najważniejszych filmów o algorytmów AI.
Czym to się różni od zachowania człowieka? Na tym polega inteligencja że umie się na chwilę odskoczyć od roboty by poszukać rozwiązań.
Niczym. I to właśnie jest sygnałem alarmowym. Jeżeli dla danego agenta AI cel uświęca środki, to ludzkość jako taka nie jest imho gotowa na takie narzędzia.
Jesteśmy na stronie security, więc pytanie tematyczne. Jak ten algorytm OpenAI uzyskał dostęp do internetu?
Zapewne głupio pytam, może częściowo retorycznie, bo sam domyślam się odpowiedzi. Może w trochę udawanej naiwności mam nadzieję na inne wyjaśnienie.
Nie wiem, jak boty sterowały StarCraftem. Która opcja by to nie była, bot nie powinien widzieć niczego oprócz albo dedykowanego API, albo interfejsu gry, albo ściśle określonej puli serwerów. Nie tylko ze względu na ucieczkę agenta LLM, ale z tego samego powodu dla którego szachiści nie mogą korzystać na turnieju z telefonów. Wielkie halo było, gdy Carlsona oskarżono o ukrycie w głębinach ciała wibrującego „urządzenia komunikacyjnego”, a boty StarCrafta nie są airgapowane albo przynajmniej za fizycznym firewallem?
A od strony filozoficzno-humorystycznej: niedopasowanie do ludzkich wartości? Czyżbyście nigdy online nie grali? Toć to nad wymiar ludzkie zachowanie! ;)