Literka I w LLM oznacza Inteligencję :-) Zobaczcie na zgłoszenie bug bounty do curla wygenerowane w AI. Oraz reakcję autora narzędzia.

Daniel Stenberg, twórca narzędzia curl właśnie pochwalił się swoimi „przygodami” z AI.

Jaki tu mamy problem, ano taki, że w międzynarodowym środowisku często zgłoszenia błędów bezpieczeństwa są niejasne, skrótowe, często niestety mają też postać tzw. beg bounty („zgłoszę coś, co nie jest podatnością, a nuż wypłacą mi parę dolarów”). Wszystko to sprawia, że porządna analiza każdego zgłoszenia wymaga sporej ilości energii (nie chcemy przeoczyć zgłoszenia rzeczywiście istotnego problemu).

No ale teraz do całego bigosu dochodzi jeszcze AI. Czemu nie zapuścić sztucznej inteligencji na kodzie źródłowym jakiegoś narzędzia i niech wygeneruje mi kilka ładnych raportów? Wysyłam do producenta narzędzia / aplikacji raport i liczę na sukces. Beg bounty nowej generacji.

Zobaczcie dwa przykłady.

Przykład pierwszy (zgłaszający przyznał się, że wykorzystał Barda): https://hackerone.com/reports/2199174 [Critical] Curl CVE-2023-38545 vulnerability code changes are disclosed on the internet.

Twórca curla komentuje zgłoszenie w ten sposób:

Raport ocieka typowymi halucynacjami w stylu AI: miesza fakty i szczegóły znane ze starych problemów/zgłoszeń bezpieczeństwa, tworząc oraz wymyślając coś nowego, co nie ma związku z rzeczywistością. Zmiany o których mowa w zgłoszeniu nie zostały ujawnione w Internecie. Zmiany, które faktycznie zostały ujawnione, dotyczyły poprzednich, starszych problemów bezpieczeństwa. Zgodnie zresztą z zamierzeniami (informacje zawarte były changelogu).

The report however reeks of typical AI style hallucinations: it mixes and matches facts and details from old security issues, creating and making up something new that has no connection with reality. The changes had not been disclosed on the Internet. The changes that actually had been disclosed were for previous, older, issues. Like intended.

Przykład drugi (nieco bardziej realistycznie rozpisany przez zgłaszającego, chociaż kompletnie fejkowy): https://hackerone.com/reports/2298307 Buffer Overflow Vulnerability in WebSocket Handling

Twórca curla prawie dał się nabrać, a przynajmniej zainteresował się przynętą zawieszoną na haczyku:

Raport został sporządzony całkiem starannie. Zawierał szczegółowe informacje i był napisany poprawnym angielskim. Zawierał również proponowaną poprawkę. Wyglądało na to, że ten użytkownik wykrył dziurę i rozumiał problem na tyle, aby znaleźć rozwiązanie. Jeśli chodzi o raporty dotyczące bezpieczeństwa, wyglądało to lepiej niż przeciętne pierwsze zgłoszenie w ramach bug bounty.

The report was pretty neatly filed. It included details and was written in proper English. It also contained a proposed fix. It did not stand out as wrong or bad to me. It appeared as if this user had detected something bad and as if the user understood the issue enough to also come up with a solution. As far as security reports go, this looked better than the average first post.

Zobaczcie jednak dalszy sposób dyskusji AI z autorem curla. AI generuje rozbudowane, „mądrze wyglądające” wypowiedzi. Używa pełnych, okrągłych zdań. Nie szczędzi detali (również fragmentów kodu). W końcu AI posiada nieograniczony czas :-) Wszystko spoko, tylko że wszystkie te odpowiedzi są bez sensu.

W pewnym momencie Daniel Stenberg ma chyba dość i punktuje delikwenta krótko:

Nie. Ten kod, o którym teraz mówisz, nie jest obecny w bieżącym git master. Wygląda na to, że to Twoja edycja. Dziwne wydaje mi się narzekanie na kod, który sam napisałeś.

Nope. That code you talk about now is not present in current git master. It looks like an edit done by you. Seems odd to complain about code you wrote yourself.

~ms