Mega Sekurak Hacking Party w Krakowie! 20.10.2025 r. Bilety -30%

Tag: ai

Time Bandit czyli jak zmusić ChatGPT-4o do złamania zasad, nowa technika jailbreakingu modeli LLM

06 lutego 2025, 07:13 | W biegu | komentarzy 29
Time Bandit czyli jak zmusić ChatGPT-4o do złamania zasad, nowa technika jailbreakingu modeli LLM

Na stronie CERT/CC pojawiła się szczegółowa notatka dotycząca nowej metody obejścia zabezpieczeń produktu firmy OpenAI – ChatGPT-4o. Jak większość produkcyjnie dostępnych dużych modeli językowych (LLM), tak i ChatGPT posiada zabezpieczenia, które mają na celu uniemożliwić lub ograniczyć odpowiedzi na niektóre tematy.  Metoda “przekonania” modelu do odpowiedzi na zakazane pytania nosi…

Czytaj dalej »

Baza danych chińskiego LLM DeepSeek wystawiona do sieci, a w niej historia chatów

30 stycznia 2025, 04:41 | W biegu | komentarzy 6
Baza danych chińskiego LLM DeepSeek wystawiona do sieci, a w niej historia chatów

DeepSeek – to nazwa chińskiego startupu, który podniósł i odrzucił rękawicę rzuconą między innymi przez OpenAI w zakresie użyteczności modeli LLM. W ostatnich dniach, jest odmieniana w mediach przez wszystkie przypadki. Jednak w tym wyścigu technologicznym, pośpiech nigdy nie będzie dobrym doradcą. Firma Wiz opublikowała niepokojący wpis informujący o znalezieniu…

Czytaj dalej »

Walka z oszustami internetowymi za pomocą AI. Brytyjska sieć komórkowa O2 opracowała bota głosowego rozmawiającego ze scammerami.

15 listopada 2024, 18:06 | W biegu | komentarze 4

Daisy, bo tak nazywa się ten eksperymentalny bot, zamienia głos rozmówcy na tekst. Tekst jest następnie wprowadzany do dedykowanego LLMa, który generuje odpowiedź tekstową. Odpowiedź jest czytana rozmówcy (scammerowi) głosem starszej osoby. Wszystko dzieje się w czasie rzeczywistym. Sieć O2 ma dwa cele: 1) Zajęcie jak największej ilości czasu scammerom2)…

Czytaj dalej »

Jak zepsuć uczenie maszynowe? Wprowadzenie do ataków adwersarialnych.

20 września 2024, 18:53 | Narzędzia, Teksty | komentarzy 10
Jak zepsuć uczenie maszynowe? Wprowadzenie do ataków adwersarialnych.

Poniższe obrazki wydają się jednakowe; czy jesteś w stanie określić, czym się różnią? Przykład adwersarialny z wykorzystaniem FGSM, Źródło: TensorFlow, https://www.tensorflow.org/tutorials/generative/adversarial_fgsm?hl=pl Mam mocne przeczucie, że nie widzisz różnicy. Natomiast dla AI (sieci neuronowej) mogą to być dwa absolutnie różne obrazki; ten po lewej przedstawia pandę, a drugi – rzecz jasna –…

Czytaj dalej »

Rodzina wylądowała w szpitalu. Zakupili książkę o grzybach, która była najpewniej napisana przez AI.

12 września 2024, 10:03 | W biegu | komentarzy 18
Rodzina wylądowała w szpitalu. Zakupili książkę o grzybach, która była najpewniej napisana przez AI.

Wg tej relacji również zdjęcia w książce były wygenerowane przez sztuczną inteligencję. Książka została użyta do identyfikacji grzybów na przechadzce, a po spożyciu rodzina wylądowała w szpitalu z zatruciem. W szczególności w książce można znaleźć takie „kwiatki”: In conclusion, morels are delicious mushrooms which can be consumed from August to…

Czytaj dalej »

Ciekawe potknięcia bezpieczeństwa przy popularnym startupie Rabbit R1

31 lipca 2024, 03:25 | W biegu | komentarze 3
Ciekawe potknięcia bezpieczeństwa przy popularnym startupie Rabbit R1

Firmy technologiczne nie przestają przedstawiać AI jako rozwiązania większości problemów ludzkości. Do czatów bazujących na dużych modelach językowych (LLM), użytkownicy Internetu zdążyli już przywyknąć. Asystenci głosowi stali się kolejną funkcją smartfona. Nic więc dziwnego, że aby jeszcze bardziej ułatwić codzienne życie, powstały startupy rozwijające projekty takie jak Rabbit R1. Czym…

Czytaj dalej »

Probllama – RCE w znanym projekcie do uruchamiania modeli LLM

25 czerwca 2024, 20:21 | W biegu | komentarze 3
Probllama – RCE w znanym projekcie do uruchamiania modeli LLM

Boom na LLM spowodował olbrzymią popularność nie tylko chatów online, udostępnionych przez firmy trzecie, ale także rozwiązań pozwalających na korzystanie z modeli obsługiwanych lokalnie. Jednym ze sposobów dystrybucji i uruchamiania popularnych modeli takich jak np. LLama od firmy Meta jest projekt Ollama, który pokazywaliśmy na szkoleniu z Narzędziownika AI w…

Czytaj dalej »

Deserializacja atakuje modele ML po raz kolejny, tym razem jeszcze skuteczniej

20 czerwca 2024, 23:37 | Aktualności | 1 komentarz
Deserializacja atakuje modele ML po raz kolejny, tym razem jeszcze skuteczniej

Zachłyśnięcie się rozwojem technologii powszechnie określanej jako AI (sztuczna inteligencja), powoduje lawinowy wzrost projektów, również tych otwartych. Ponieważ procesy uczenia, nakładania ograniczeń na model oraz fine-tuningu (dostrajania) są raczej kosztowne, to możliwe jest zapisanie stanu poprzez wyeksportowanie zserializowanych modeli w celu ich późniejszego załadowania i użycia lub udostępniania w sieci….

Czytaj dalej »

Halucynacje AI jako dobra inspiracja do ataku na łańcuch dostaw

21 kwietnia 2024, 22:26 | W biegu | 1 komentarz
Halucynacje AI jako dobra inspiracja do ataku na łańcuch dostaw

AI na dobre zagościło w zestawie narzędzi wspierających współczesnych pracowników. Boom na tę technologię nie ominął też samego IT, gdzie co rusz słychać głosy i reklamy nowych produktów opartych o duże modele językowe (ang. LLM). Są takie, które pozwalają pisać kod na podstawie opisu funkcjonalności, dokonywać transkrypcji tekstu mówionego czy…

Czytaj dalej »

Manager haseł LastPass – do naszego pracownika zadzwonił deepfake naszego CEO. Próba celowanego ataku socjotechnicznego.

12 kwietnia 2024, 09:18 | W biegu | komentarze 3

Komunikacja odbywała się na WhatsAppie; poza sklonowanym głosem prezesa, atakujący wysyłał również wiadomości tekstowe. Obecnie głos można sklonować bardzo prosto – wystarczy kilkuminutowa próbka wypowiedzi ofiary i można sfałszowanym głosem wypowiadać wszystko. OpenAI chwali się nawet, że wystarczy 15 sekund próbki: Swoją drogą klonowanie głosu na żywo pokażemy na najbliższym…

Czytaj dalej »

Modele AI wektorem ataku na infrastrukturę AaaS

09 kwietnia 2024, 07:57 | W biegu | 0 komentarzy
Modele AI wektorem ataku na infrastrukturę AaaS

Niedawno pisaliśmy o tym, jak wykorzystanie niebezpiecznych mechanizmów serializacji może być metodą ataku na developerów. Tym razem przedstawiamy research przeprowadzony przez WIZ, który korzystając z podobnych mechanizmów umożliwia atak na infrastrukturę usługi AI-as-a-Service.  AaaS jest kuszącym rozwiązaniem w dobie AI ze względu na spore wymagania sprzętowe. Skorzystanie z rozwiązań chmurowych…

Czytaj dalej »

Wykradanie fragmentów modeli LLM – Google wydało publikację z nowym atakiem

26 marca 2024, 13:33 | W biegu | komentarze 3
Wykradanie fragmentów modeli LLM – Google wydało publikację z nowym atakiem

W świecie dużych modeli językowych (LLM) dynamika zmian jest całkiem spora. Boom na rozwój AI nakręca też wyścig w kierunku coraz ciekawszych ataków skierowanych w akurat tę gałąź technologii. Ostatnio pisaliśmy o tym, jak popularny portal może być wykorzystany do ataków na developerów AI. Jednak infrastruktura oraz same modele mogą…

Czytaj dalej »

Modele językowe LLM podpowiadają, jak zbudować bombę – atak typu ArtPrompt

21 marca 2024, 09:50 | W biegu | komentarze 2
Modele językowe LLM podpowiadają, jak zbudować bombę – atak typu ArtPrompt

Niektórzy nie mogą już sobie wyobrazić życia bez “inteligentnych” pomocników. Duże modele językowe (LLM – Large Language Models) zyskały bardzo dużo zastosowań w ostatnich latach. Wykorzystywane są do obsługi klientów, generowania niewielkich snippetów kodu, w charakterze osobistych asystentów i nie tylko. Wciąż poprawiane, uczone na coraz większej ilości danych, modele…

Czytaj dalej »

NextChat – popularny czatbot AI z niezałatanymi podatnościami

13 marca 2024, 21:42 | W biegu | 1 komentarz
NextChat – popularny czatbot AI z niezałatanymi podatnościami

Przeglądając Internet w poszukiwaniu ciekawych podatności, można się natknąć na niezałatane błędy, które stanowią idealny przykład dydaktyczny. Takie przykłady mało skomplikowane, a do tego podkreślają istotę problemu. CVE-2023-49785 może stać się jednym z lepszych przykładów do demonstracji wpływu SSRF (Server Side Request Forgery) na aplikację. O SSRF pisaliśmy już nie…

Czytaj dalej »