Tag: llm

Nie da się ukryć, że LLMy na stałe wpisały się w krajobraz naszej rzeczywistości. Dodatkowo, szczególną rolę, odgrywają w świecie IT, gdzie stają się nieodzownym elementem narzędzi, np. środowisk programistycznych. Generowanie kodu, podpowiadanie składni, przygotowanie dokumentacji czy także także dodatkowe funkcjonalności dostępne dzięki rozwiązaniu Model Context Protocol, o którym już…

Niedawno pisaliśmy o różnych aspektach bezpieczeństwa rozwiązania MCP. Jednak to nie wszystkie zagrożenia, z którymi muszą mierzyć się inżynierowie wdrażający rozwiązania oparte o AI. W przypadku dużych dostawców oczekiwania rozbudowy funkcjonalności są spore. Brak odpowiedniego modelowania zagrożeń, może okazać się krytyczny z punktu widzenia bezpieczeństwa. Badacze z Eye Research opisali…

Proton, znany z takich usług jak Proton Mail czy Proton VPN, zaprezentował nowy produkt: Lumo, narzędzie AI zaprojektowane z myślą o pełnej ochronie danych. Firma podkreśla, że Lumo nie przechowuje żadnych logów konwersacji po stronie serwera, nie wykorzystuje promptów użytkowników do trenowania modeli AI, stosuje szyfrowanie typu zero‑access, dzięki czemu nawet Proton…

Tematy związane z agentami LLM jeszcze przez długi czas będą na czele gorących zagadnień. Głównie za sprawą usprawnień i automatyzacji. Jednak wprowadzany na prędce standard MCP oraz wiele rozwiązań na nim bazujących to wciąż świetne miejsce do nadużyć. Ostatnio opisywaliśmy moduł mcp-remote i zagrożenia z nim związane. W skrócie jest…

O tym, czym jest Model Context Protocol pisaliśmy na łamach sekuraka już nie raz. W skrócie, jest to ustandaryzowany protokół pozwalający na rozszerzenie możliwości dużych modeli językowych (LLM, Large Language Models). Dzięki niemu LLMy mogą korzystać z zewnętrznych narzędzi udostępnianych przez serwery MCP w sposób ujednolicony, bez konieczności implementowania tzw….

Model Context Protocol (MCP) szybko staje się fundamentem nowoczesnych systemów agentycznych AI, łącząc modele językowe z zewnętrznymi narzędziami i danymi. Jednak wraz z masowym przyjęciem tej technologii pojawiają się nowe, wysoce zaawansowane wektory ataków, które wykraczają daleko poza tradycyjne luki bezpieczeństwa. Badacze z m.in. CyberArk, Invariant Labs i Straiker AI…

W naszym ostatnim tekście przybliżyliśmy problemy opisane przez firmę Legit, które pozwalały na wykorzystanie asystenta Duo do kradzieży poufnych informacji z prywatnych repozytoriów lub zmuszania modelu LLM do wykonywania niepożądanych przez prawowitego właściciela projektu działań. Jak można się było domyślić, poruszana tematyka jest związana raczej z architekturą rozwiązań niż z…

Agenty LLM na stałe wpisały się w dziedzinę rozwoju oprogramowania. Chociaż nie zanosi się na to, aby miały zastąpić programistów, to ich integracja ma znacznie ułatwić i przyspieszyć ich pracę. Oprócz narzędzi takich jak Cursor.sh (IDE wspierane generatywnym AI) firmy oferujące platformy do przechowywania kodu w repozytoriach Git (GitHub i…

Ostatnie badania zespołu HiddenLayer ujawniły poważną lukę w zabezpieczeniach dużych modeli językowych (LLM), takich jak GPT-4, Claude, Gemini czy Llama. Nowa technika, nazwana „Prompt Puppetry”, pozwala na obejście mechanizmów bezpieczeństwa tych modeli, umożliwiając generowanie treści, które normalnie byłyby zablokowane, czyli klasyczny już jailbreaking. Czym jest „Prompt Puppetry”? „Prompt Puppetry” to…

Przeszukiwanie zasobów w poszukiwaniu kluczy API nie jest nowatorską praktyką i bywa bardzo często wykorzystywane przez atakujących na etapie rekonesansu. Powstały liczne narzędzia, które potrafią przeszukiwać np. repozytoria kodu (np. na GitHubie). Sytuacje, w których produkcyjne poświadczenia trafiają do publicznych baz danych nie są wyjątkiem, dlatego nic dziwnego, że badacze…

Wprowadzenie integracji dużych modeli językowych (Large Language Model, LLM) ze środowiskami programistycznymi może okazać się zbawienne w przypadku pisania tzw. boiler plate code (czyli szablonów). Nudne i powtarzalne zajęcie, to idealne zadanie dla sztucznej inteligencji. Jednak zachłyśnięcie się technologią oraz poszukiwanie na siłę oszczędności może prowadzić do katastrofalnych skutków. Dlaczego?…

Na stronie CERT/CC pojawiła się szczegółowa notatka dotycząca nowej metody obejścia zabezpieczeń produktu firmy OpenAI – ChatGPT-4o. Jak większość produkcyjnie dostępnych dużych modeli językowych (LLM), tak i ChatGPT posiada zabezpieczenia, które mają na celu uniemożliwić lub ograniczyć odpowiedzi na niektóre tematy.  Metoda “przekonania” modelu do odpowiedzi na zakazane pytania nosi…

DeepSeek – to nazwa chińskiego startupu, który podniósł i odrzucił rękawicę rzuconą między innymi przez OpenAI w zakresie użyteczności modeli LLM. W ostatnich dniach, jest odmieniana w mediach przez wszystkie przypadki. Jednak w tym wyścigu technologicznym, pośpiech nigdy nie będzie dobrym doradcą. Firma Wiz opublikowała niepokojący wpis informujący o znalezieniu…

Seria podatności związanych z Microsoft 365 Copilot pozwala na: Kilka dni temu wygasło embargo na dzielenie się informacją o łańcuchu exploitów związanych z asystentem opartym o LLM od Microsoftu. Mowa oczywiście o produkcie Microsoft 365 Copilot, czyli rozwiązaniu dla firm. Johann Rehberger opublikował writeup opisujący dokładne szczegóły podatności, pozwalającej na…

Na łamach sekuraka nieraz opisywaliśmy wpadki związane z szeroko pojętym AI, które szturmem zdobywa kolejne rynki. Zachwyt technologią oraz jej powszechne wdrażanie, sprowadza na użytkowników końcowych produktów nowe zagrożenia. Tak też stało się tym razem – badacze odkryli sposób na doprowadzenie do wycieku informacji z prywatnych kanałów popularnego rozwiązania do…