Tag: llm

Od pewnego czasu na łamach sekuraka pojawia się coraz więcej informacji łączących bezpieczeństwo IT oraz sztuczną inteligencję (najczęściej mowa o generatywnej SI, a dokładniej dużych modelach językowych). Boom, a właściwie bańka AI zdaje się rosnąć w zatrważającym tempie. Jednak patrząc na rzeczywiste zdolności modeli w działaniach ofensywnych – jak na…

Open WebUI to otwartoźródłowa, samodzielnie hostowana platforma AI. Można korzystać z niej na własnym serwerze, ale również lokalnie na urządzeniu. Obsługuje różne interfejsy LLM, takie jak Ollama i API kompatybilne z OpenAI.  TLDR: W październiku 2025 badacz zgłosił podatność XSS występującą w aplikacji. 21 października została załatana, a 7 listopada…

Badacze bezpieczeństwa z Oligo Security wykryli szereg podatności pozwalających na zdalne wykonanie kodu w głównych frameworkach do wnioskowania sztucznej inteligencji. Luki bezpieczeństwa występują w produktach oferowanych przez Meta, NVIDIA, Microsoft, vLLM oraz SGLang. Problem tkwi w niebezpiecznej kombinacji ZeroMQ i deserializacji pickle w Pythonie. Co ciekawe, szczególną uwagę badaczy zwrócił…

Systemy agentowe, duże modele językowe oraz już-nie-taka-nowość (chociaż wciąż zyskujące popularność) serwery MCP gościły na łamach sekurak.pl wielokrotnie. Pod jednym z artykułów, gdzie opisywaliśmy możliwe wektory ataków na serwery MCP, można było spotkać głosy sceptycznie podchodzące do tematu niebezpiecznych serwerów. Dlatego tym razem chcielibyśmy przedstawić atak, którego wystąpienie było tylko…

Anton Cherepanov, badacz bezpieczeństwa z firmy ESET podczas rutynowej analizy próbek wrzucanych na portal VirusTotal, odkrył nowy wariant malware. Jego uwagę zwrócił plik (kod napisany w Golang), zawierający odwołanie do modelu gpt-oss-20b oraz instrukcje sterujące (prompty), umożliwiające generowanie potencjalnie złośliwych skryptów bezpośrednio w systemie ofiary. Nowo wykryty malware został rozpoznany…

Nie da się ukryć, że LLMy na stałe wpisały się w krajobraz naszej rzeczywistości. Dodatkowo, szczególną rolę, odgrywają w świecie IT, gdzie stają się nieodzownym elementem narzędzi, np. środowisk programistycznych. Generowanie kodu, podpowiadanie składni, przygotowanie dokumentacji czy także także dodatkowe funkcjonalności dostępne dzięki rozwiązaniu Model Context Protocol, o którym już…

Niedawno pisaliśmy o różnych aspektach bezpieczeństwa rozwiązania MCP. Jednak to nie wszystkie zagrożenia, z którymi muszą mierzyć się inżynierowie wdrażający rozwiązania oparte o AI. W przypadku dużych dostawców oczekiwania rozbudowy funkcjonalności są spore. Brak odpowiedniego modelowania zagrożeń, może okazać się krytyczny z punktu widzenia bezpieczeństwa. Badacze z Eye Research opisali…

Proton, znany z takich usług jak Proton Mail czy Proton VPN, zaprezentował nowy produkt: Lumo, narzędzie AI zaprojektowane z myślą o pełnej ochronie danych. Firma podkreśla, że Lumo nie przechowuje żadnych logów konwersacji po stronie serwera, nie wykorzystuje promptów użytkowników do trenowania modeli AI, stosuje szyfrowanie typu zero‑access, dzięki czemu nawet Proton…

Tematy związane z agentami LLM jeszcze przez długi czas będą na czele gorących zagadnień. Głównie za sprawą usprawnień i automatyzacji. Jednak wprowadzany na prędce standard MCP oraz wiele rozwiązań na nim bazujących to wciąż świetne miejsce do nadużyć. Ostatnio opisywaliśmy moduł mcp-remote i zagrożenia z nim związane. W skrócie jest…

O tym, czym jest Model Context Protocol pisaliśmy na łamach sekuraka już nie raz. W skrócie, jest to ustandaryzowany protokół pozwalający na rozszerzenie możliwości dużych modeli językowych (LLM, Large Language Models). Dzięki niemu LLMy mogą korzystać z zewnętrznych narzędzi udostępnianych przez serwery MCP w sposób ujednolicony, bez konieczności implementowania tzw….

Model Context Protocol (MCP) szybko staje się fundamentem nowoczesnych systemów agentycznych AI, łącząc modele językowe z zewnętrznymi narzędziami i danymi. Jednak wraz z masowym przyjęciem tej technologii pojawiają się nowe, wysoce zaawansowane wektory ataków, które wykraczają daleko poza tradycyjne luki bezpieczeństwa. Badacze z m.in. CyberArk, Invariant Labs i Straiker AI…

W naszym ostatnim tekście przybliżyliśmy problemy opisane przez firmę Legit, które pozwalały na wykorzystanie asystenta Duo do kradzieży poufnych informacji z prywatnych repozytoriów lub zmuszania modelu LLM do wykonywania niepożądanych przez prawowitego właściciela projektu działań. Jak można się było domyślić, poruszana tematyka jest związana raczej z architekturą rozwiązań niż z…

Agenty LLM na stałe wpisały się w dziedzinę rozwoju oprogramowania. Chociaż nie zanosi się na to, aby miały zastąpić programistów, to ich integracja ma znacznie ułatwić i przyspieszyć ich pracę. Oprócz narzędzi takich jak Cursor.sh (IDE wspierane generatywnym AI) firmy oferujące platformy do przechowywania kodu w repozytoriach Git (GitHub i…

Ostatnie badania zespołu HiddenLayer ujawniły poważną lukę w zabezpieczeniach dużych modeli językowych (LLM), takich jak GPT-4, Claude, Gemini czy Llama. Nowa technika, nazwana „Prompt Puppetry”, pozwala na obejście mechanizmów bezpieczeństwa tych modeli, umożliwiając generowanie treści, które normalnie byłyby zablokowane, czyli klasyczny już jailbreaking. Czym jest „Prompt Puppetry”? „Prompt Puppetry” to…

Przeszukiwanie zasobów w poszukiwaniu kluczy API nie jest nowatorską praktyką i bywa bardzo często wykorzystywane przez atakujących na etapie rekonesansu. Powstały liczne narzędzia, które potrafią przeszukiwać np. repozytoria kodu (np. na GitHubie). Sytuacje, w których produkcyjne poświadczenia trafiają do publicznych baz danych nie są wyjątkiem, dlatego nic dziwnego, że badacze…