Google’a szkiełko i oko. Czyli co nowego w wyszukiwaniu zawartością obrazów [czwartki z OSINTem]

Wracamy do naszego znanego i lubianego cykl tekstów na sekuraku: czwartki z OSINT-em.

TLDR: co tydzień, w czwartki będziemy publikować nowy tekst autorstwa Krzyśka Wosińskiego – dzisiaj część pierwsza (tak, piątek… :-). Przy okazji – jeśli nie chcesz przegapić żadnego odcinka, zapisz się poniżej (okazyjnie możemy Ci też podsyłać inne informacje od ekipy sekuraka):

---

Kiedy w 2021 roku przeprowadziłem badanie Jak wyszukiwarki radzą sobie z analizą zawartości obrazów, najpopularniejsze z nich – Google i Bing – wypadły dość blado na tle wyszukiwarki Yandex. Od tego czasu Google zrobiło duży krok naprzód, integrując stopniowo narzędzie Obiektyw Google (Google Lens) ze swoją wyszukiwarką grafiki. Od listopada 2022 roku narzędzie to jest już domyślnie wykorzystywane w przypadku korzystania z funkcjonalności wyszukiwania za pomocą obrazu w Google. Czas więc na sprawdzenie, jak zabieg ten zmienił układ sił wśród trzech najpopularniejszych wyszukiwarek.

Obiektyw Google – narzędzie, które zmieniło znacząco jakość wyszukiwania obrazem w Google

Zanim zagłębimy się w świat analizy zawartości obrazów przez silniki wyszukiwania, chciałbym zaznaczyć, że badanie to nie obejmuje serwisu TinEye. Pomijam go celowo, gdyż mimo bardzo dobrych wyników w wyszukiwaniu obrazów, nie analizuje on zawartości obrazów, a jedynie wyszukuje, czy konkretny obraz nie został umieszczony gdzieś w Internecie (na tyle, na ile oczywiście pozwalają mu na to jego bazy obrazów). TinEye zatem polecam do wyszukiwania konkretnych zdjęć czy grafik, a pod lupę po raz kolejny wezmę trzy najpopularniejsze serwisy: Google, Bing i Yandex. Do badania posłużą te same obrazy, które zostały wykorzystane za pierwszym razem, w celu weryfikacji, czy i w jakim stopniu zmieniły się wyniki wyszukiwania. Dodatkowo zostaną wykorzystane także inne, nowe obrazy, aby upewnić się co do otrzymanego wyniku, a wyniki poszczególnych wyszukiwarek zostaną porównane, aby zobaczyć, która z nich obecnie radzi sobie najlepiej i która zanotowała największy progres lub regres.

Zasada wyszukiwania za pomocą Google Lens jest taka sama jak w przypadku tradycyjnej wersji Google Grafika – wybieramy plik z obrazem z dysku lub przeciągamy go do okna z otwartą wyszukiwarką Google (nawet z poziomu strony wyszukiwarki tekstowej, niekoniecznie zakładki “Grafika”) i upuszczamy we wskazanym polu, aby otrzymać wynik wyszukiwania. Jeśli chcemy skorzystać z tradycyjnej wersji wyszukiwania obrazem (a nie analizy jego zawartości przez Google Lens), musimy po wyszukaniu kliknąć przycisk „Znajdź źródło obrazu” znajdujący się nad przesłanym przez nas obrazem.

Miejsca

Jako przykład zdjęcia miejsca w poprzednim badaniu posłużyła nam fotografia paryskiej Statuy Wolności. Google był wówczas w stanie wskazać inne obrazy przedstawiające to miejsce, chociaż trzeba było się im przyjrzeć, aby nie popełnić błędu. Bing nie poradził sobie w ogóle, a Yandex odnalazł miejsce bezbłędnie.

Aktualnie Grafika Google (poprzez Google Lens) nie ma już najmniejszego problemu, aby rozpoznać, co znajduje się na zdjęciu i wskazać od razu nazwę obiektu. Dla sprawdzenia, jak radzi sobie klasyczna wersja wyszukiwania graficznego od Google, kliknąłem w opisywany wcześniej przycisk „Znajdź źródło obrazu”, jednak wśród wyszukanych wyników królowały linki do sekuraka (ze względu na obecność zdjęcia w jednej z grafik w poprzednim artykule), a zdjęcia podobne wizualnie pokazywały różne miasta nad wodą, jednak żadne z nich nie przypominało poszukiwanego paryskiego widoku. Podobnie dobrze Google Lens poradziło sobie ze zdjęciem dachów kamienic na starówce w Brnie – tutaj także bezbłędnie wskazane zostało miasto, a nawet konkretne miejsce wykonania zdjęcia.

Wyszukiwanie w Google przy użyciu zdjęcia miasta

Bing poradził sobie lepiej niż poprzednio – tym razem wśród podobnych wizualnie obrazów znalazły się zdjęcia miejsc zgodnych z tym, co przedstawiają nasze zdjęcia. Wyszukiwarka ta uzyskuje jednak lepsze wyniki, jeśli użyjemy opcji „Wyszukiwanie wizualne”, dostępnej pod zdjęciem, które zostało przez nas przesłane. W przypadku zdjęcia brneńskiej starówki wyniki jednak były zdecydowanie niezadowalające. Wśród wskazanych stron z obrazami były wprawdzie takie, które dotyczyły tego samego miasta, jednak na liście znalazły się także m.in. zdjęcia z Monachium czy Pragi. Uzyskując takie wyniki, osoba poszukująca danej lokalizacji musi włożyć dodatkowy wysiłek w znalezienie poprawnych odpowiedzi, a nie zweryfikować jedynie otrzymane informacje.

Wyszukiwanie w Bing przy użyciu zdjęcia miasta

Yandex poradził sobie równie dobrze, co Google – zidentyfikował miejsce łącznie z jego wskazaniem tekstowym oraz pokazał zdjęcia poszukiwanego obiektu. Dla zdjęcia z Brna dodatkowo opis był dłuższy, jednak pomimo korzystania z anglojęzycznej wersji serwisu tekst był dostępny jedynie w cyrylicy, co może nieco utrudniać analizę osobom, które nie są obeznane z tego typu zapisem.

Wyszukiwanie w Yandex przy użyciu zdjęcia miasta

Tekst

Rozpoznawanie tekstu badane było ostatnim razem z wykorzystaniem zdjęcia tablicy informacyjnej zapisanej głównie tajskim alfabetem. Najlepiej poradził sobie wtedy Yandex, który był w stanie rozpoznać tekst i przetworzyć go tak, aby możliwe było jego skopiowanie i przetłumaczenie. Dość dobrze poradził sobie Bing, natomiast Google wypadło najsłabiej.

Tym razem Google nie miał już najmniejszych problemów z rozpoznaniem tekstu na zdjęciu. Jeśli obraz zawiera jakikolwiek tekst i chcemy go dalej przetwarzać (np. skopiować lub od razu przetłumaczyć), możemy skorzystać z przycisku „Tekst” poniżej przesłanego obrazu. Dodatkowo w przypadku badanego zdjęcia Google od razu wskazał, jakie to miejsce, dodając opinie i zdjęcia, jednak w tym przypadku mogło to być głównie pokłosiem rozpoznanej nazwy, zapisanej w alfabecie łacińskim na zdjęciu. Niemniej skok jakościowy w tym przypadku jest naprawdę znaczny. Dla dodatkowej weryfikacji przeprowadziłem także test z rozpoznawaniem napisu w języku bengalskim (jako przykład dość rzadko spotykanego języka) oraz umiejętnością odczytywania drogowskazów zapisanych pismem chińskim. W obu przypadkach Google nie miał problemu z odczytaniem napisu, a dodatkowo dla drogowskazów od razu wskazywał dane miejsce na mapie lub wyświetlał wskazówki dotarcia do niego.

Analiza bengalskich napisów w wyszukiwarce Google

Bing, który dość dobrze radzi sobie z rozpoznawaniem tekstu w alfabecie łacińskim, niestety cały czas pozostaje w tyle, jeśli chodzi o inne systemy pisma. Biorąc pod uwagę postępy konkurencji, Microsoft powinien pomyśleć nad aktualizacją i rozwojem tej funkcji, tym bardziej, że jej podstawę ma już gotową. Dla wskazanych zdjęć, odnalezione zostały poprawnie ich wystąpienia na powiązanych stronach internetowych, co dało pewną wskazówkę odnośnie poszukiwanej lokalizacji. Tym razem Bing dostaje tylko małego plusa.

Analiza bengalskich napisów w wyszukiwarce Bing

Dla wyszukiwarki Yandex inne alfabety niż łaciński nie są zazwyczaj problemem. Dlaczego zazwyczaj? Otóż podczas badania odkryłem, że nie radzi sobie ona z alfabetem bengalskim. Po dalszych dociekaniach okazało się, że nie radzi sobie z wieloma systemami pisma z tego rejonu świata, ponieważ nie była w stanie rozpoznać także pisma dewanagari używanego w Indiach. To niestety zaniżyło jej ocenę w tym zestawieniu.

Analiza bengalskich napisów w wyszukiwarce Yandex

Samochody

W poprzednim badaniu z rozpoznawaniem samochodów najlepiej poradziły sobie wyszukiwarki Google i Yandex, a Bing pozostał w tyle. W tym zakresie wszystkie silniki wyszukiwania zanotowały duży progres i poprawiły swoje wyniki w porównaniu z rokiem 2021.

Zacznijmy standardowo od Google. Zdjęcie zawierające przód klasycznego samochodu zostało tym razem bezbłędnie rozpoznane, a dodatkowo w bocznym panelu wyświetlona została jego marka i model wraz ze zdjęciami przedstawiającymi inne egzemplarze poszukiwanego samochodu. Dla dodatkowej weryfikacji umiejętności Google Lens zostały sprawdzone także na kilku innych przykładach, m.in. na takich „klasykach” jak Fiat 126p i oraz przykład innowacyjnej myśli brytyjskiej motoryzacji: Bond Bug. W obu przypadkach wyszukiwarka nie miała problemu z rozpoznaniem marki i modelu oraz zaprezentowaniem informacji o nich. Kiedy już myślałem, że Google radzi sobie z rozpoznawaniem samochodów naprawdę dobrze, sprawdziłem jej mechanizmy na zdjęciu, na którym było widać tył busa Iveco Power Daily. I tutaj niestety nastąpił moment rozczarowania, połączony z pewnym zdziwieniem, gdyż pomimo odczytania marki na tylnych drzwiach, Google stwierdził, iż jest to… Mercedes Sprinter albo Ford Transit (w zależności od kadrowania, gdyż ten zabieg potrafi zmienić wyniki, jakie otrzymamy).

Analiza marki samochodu w wyszukiwarce Google

W wyszukiwarce Bing za każdym razem możliwe było odnalezienie na liście podobnych obrazów, linków do stron dotyczących danego modelu. Tylko w przypadku Fiata 126p jasno wskazana została marka i model. Rozpoznanie busa wyszło wyszukiwarce Microsoftu gorzej, jeśli włączony został tryb wyszukiwania wizualnego, który teoretycznie powinien poprawić osiągane rezultaty.

Analiza marki samochodu w wyszukiwarce Bing

Yandex poradził sobie dość dobrze ze wszystkimi obrazami, wskazując poprawne modele samochodów i dodatkowe informacje o nich, jednak tak samo jak Google poległ na przykładzie busa marki Iveco. Co prawda wśród wskazanych podobnych grafik znalazły się przykłady tego modelu, jednak w informacjach tekstowych na pierwszym miejscu Yandex wskazał, że może to być Gaz 32215 z 2009 roku, Iveco 45203d lub Ford Transit Hi Cube. Przy braku włączonego wyszukiwania graficznego, wyszukiwarka wskazuje, że na zdjęciu może znajdować się samochód dostawczy Mercedes.

Analiza marki samochodu w wyszukiwarce Yandex

W związku z tym, że Bing nie wskazał konkretnego modelu samochodu dostawczego, nie pomylił się tak, jak Google czy Yandex. Być może takie podejście jest lepsze niż wskazywanie błędnej odpowiedzi przy niskim poziomie dopasowania? Na pewno oznacza to, że nawet jeśli otrzymamy jakiś wynik podany „na tacy” przez wyszukiwarkę, powinniśmy go jeszcze zweryfikować, gdyż, jak widać, surowy efekt pracy samego narzędzia to jeszcze nie wszystko.

Owoce

Zdjęcia owoców za pierwszym razem sprawiły trudność jedynie wyszukiwarce Google. Tym razem, tak jak i w innych punktach, wykorzystanie mechanizmów Google Lens znacznie poprawiło efektywność wyszukiwania, gdyż wskazane zostały nazwy owoców pokazanych na zdjęciach wraz z innymi przykładowymi zdjęciami danego owocu oraz (w niektórych przypadkach) nawet ich ceny. Wśród podobnych wizualnie obrazów znalazły się także inne, podobne owoce, ale biorąc pod uwagę fakt, że Google potrafi się mylić co do obiektu przedstawionego na zdjęciu, może dobrze, że takie wyniki też się pojawiają.

Rozpoznawanie owoców w wyszukiwarce Google

Dla Bing wyniki były średnie; na przykład w przypadku granatów powiązane strony zawierały poszukiwane owoce, a w dwóch przypadkach odnalezione zostały strony konkretnie ze zdjęciem, za pomocą którego wyszukiwano. Kiedy na zdjęciu znajdowała się papaja, wyniki nie były już takie dobre i Bing oprócz jednego zdjęcia papai wskazywał całą serię różnych owoców, podpowiadając przy okazji hasła takie jak „babaco fruit tree” (blisko), „Power Bank Fajny Renifer” lub „Brelok jednorożec” (chyba dość daleko). Włączenie trybu wyszukiwania wizualnego praktycznie nic nie zmieniło.

Rozpoznawanie owoców w wyszukiwarce Bing

Yandex co prawda rozpoznał granaty, jednak nie wyświetlił w bocznym panelu informacji o tych owocach, a jedynie wskazał, że obrazy mogą je zawierać. Dla zdjęć papai taka informacja szczegółowa już została wyświetlona, jednak wystąpiła jedna zastanawiająca sytuacja. Wyszukiwarka Yandex dla rozpoznanych elementów obrazu wskazuje możliwość wyszukania informacji o nich. Niekiedy jest to informacja ogólna (np. budynek lub samochód), a niekiedy konkretne rodzaje przedmiotów (np. w tym przypadku był to konkretny owoc). Niestety, pomimo pierwotnego poprawnego rozpoznania owocu, kliknięcie w okrągły przycisk na samym zdjęciu, oznaczający wyszukiwanie informacji o danym obiekcie, przyniosło w efekcie wyświetlenie informacji o… nieśpliku japońskim. Szybka analiza wykazała co prawda pewne pokrewieństwo tej rośliny z papają, ale nazbyt dalekie, by uznać wynik wyszukania za poprawny. Po raz kolejny więc doszło do sytuacji, kiedy wyszukiwarka dla tego samego zdjęcia potrafi znaleźć różne wyniki.

Rozpoznawanie owoców w wyszukiwarce Yandex

Logo

Dla znaków graficznych odpowiadających znanym markom lub wydarzeniom w poprzednim badaniu najgorzej zaprezentował się Bing, mający problemy z rozpoznawaniem tego typu obrazów. Google i Yandex wypadły podobnie.

W nowej odsłonie Google poradził sobie najlepiej ze wszystkich. Bez problemu rozpoznał zarówno znak japońskiej firmy kurierskiej, igrzysk w Pekinie, jak i jednej z polskich cukierni (w formie z nazwą i bez). Nawet kiepska jakość obrazu nie uniemożliwiła odczytania nazwy ze zdjęcia.

Rozpoznawanie logotypu w wyszukiwarce Google

Bing radził sobie dużo lepiej niż poprzednim razem, ale duża liczba błędnych wyników dla logo igrzysk, a także brak wyszukania powiązanych treści nawet pomimo odczytania tekstu ze zdjęcia szyldu cukierni powodują, że wynik tego badania w wykonaniu wyszukiwarki Microsoftu jest zaledwie średni.

Rozpoznawanie logotypu w wyszukiwarce Bing

Dla wyszukiwarki Yandex nie stanowiło problemu odnalezienie stron z logo cukierni i igrzysk, ale w przypadku szyldu odczytanie napisu ją przerosło i nie była w stanie wskazać dobrego wyniku. Logo firmy kurierskiej zostało za to poprawnie dopasowane do innych obrazów z sieci.

Rozpoznawanie logotypu w wyszukiwarce Yandex

Twarze

Ostatnim elementem badania było rozpoznawanie twarzy i tutaj poprzednim razem nastąpiło największe zaskoczenie, gdy Bing zwyciężył w tej kategorii, z dużą przewagą nad konkurencją.

Google Lens przyzwyczaił nas do dobrych wyników, jednak w zakresie rozpoznawania twarzy poległ. To jest zdecydowanie najsłabsza strona tego mechanizmu. Przy wyszukiwaniu zdjęciem Johna McAfee przekonwertowanym do skali szarości Google Lens pochwaliło się, że znalazło na zdjęciu… okulary! Dopiero powrót do tradycyjnej Google Grafiki uratował honor tej wyszukiwarki, gdyż wskazana została prawidłowa osoba. Niestety w przypadku obrócenia zdjęcia o 90 stopni było tylko gorzej – wyszukiwanie wizualne nadal twierdziło, że widzi tylko okulary, a tradycyjny silnik wyszukiwania tym razem zobaczył głównie… leniwce oraz różne gatunki małp i małpiatek, a także pandę małą. Podobnie było z twarzami dwóch szwajcarskich skoczków narciarskich. Wizualnie byli oni (według Google) podobni do bluz sportowych, a Grafika nie mogła się zdecydować, czy na zdjęciu znajduje się ktoś z Uniwersytetu w Miami czy piłkarz ręczny. Wyszukiwanie stockowego obrazu dziewczyny przyniosło zaskakująco mało wyników jak na tego typu grafikę.

Rozpoznawanie twarzy w wyszukiwarce Google Grafika

Bing po raz kolejny dobrze poradził sobie z wizerunkami skoczków i jako jedyny wskazał z imienia i nazwiska, kto znajduje się na zdjęciu, a także rozpoznał, że na obrazie w skali szarości znajduje się John McAfee. Dla stockowego zdjęcia dziewczyny wskazał więcej stron z wyszukiwaną grafiką niż Google. Najgorzej jednak wypadło wyszukiwanie zdjęciem obróconym o 90 stopni – tutaj wyszukiwarka się poddała i nie wskazała żadnych wyników.

Rozpoznawanie twarzy w wyszukiwarce Bing

Yandex nie rozpoznał co prawda żadnego ze skoczków, wskazując w obu przypadkach, że na zdjęciu mogą znajdować się osoby o nazwisku Schumacher, jednak był w stanie wyszukać dużą liczbę powiązanych stron, na których wykorzystano stockowe zdjęcie dziewczyny. Także wyszukiwanie zdjęciem Johna McAfee, zarówno w skali szarości, jak i w przypadku obrócenia zdjęcia o 90 stopni, dało poprawny wynik. Z tym ostatnim przypadkiem Yandex poradził sobie jako jedyny.

Rozpoznawanie twarzy w wyszukiwarce Yandex

Podsumowanie i rady

Aby podsumować badanie i przedstawić graficznie, jak duże zmiany zaszły w popularnych wyszukiwarkach graficznych w ostatnich niemal dwóch latach, musiałem nieco zmienić skalę ocen. Za pierwszym razem brak umiejętności poprawnego wyszukania oznaczałem znakiem „-”, poprawne wyszukanie znakiem „+”, a wyszukanie pełne, ze wskazaniem szczegółów, oznaczone było jako „++”. Tym razem, aby zwiększyć gradację, posłużę się skalą od 1 do 5, przy czym 1 oznaczać będzie brak umiejętności wyszukania, 3 poprawne wyszukanie, a 5 informację pełną, podaną ze szczegółami. Nie jest to rozwiązanie idealne, ale pozwoli mi odnieść tegoroczne wyniki do tych z 2021 roku.

Różnice w wynikach działania wyszukiwarek pomiędzy badaniami z 2021 i 2023 roku.

Jak widać wdrożenie mechanizmów Google Lens do wyszukiwarki grafiki Google to była dobra decyzja. Zyskała dzięki temu tyle usprawnień, że z ostatniego miejsca w poprzedniej klasyfikacji przeskoczyła na pierwsze. Nie jest to oczywiście rozwiązanie idealne, gdyż ma jeszcze dużo do poprawy, np. w zakresie rozpoznawania osób, ale skok jakości wyszukiwania jest naprawdę znaczący. W tyle niestety została wyszukiwarka Bing, która cały czas najlepiej radzi sobie z rozpoznawaniem twarzy, jednak pozostałe wyniki są co najwyżej zadowalające lub średnie. Yandex w stosunku do 2021 roku stracił najwięcej. Tracąc pozycję wiodącej wyszukiwarki graficznej, pozostał nadal dobrym narzędziem, ale mającym pewne niedociągnięcia. Wciąż jednak znajduje się blisko lidera.

Przy wyszukiwaniu wizualnym, gdzie mamy możliwość zmiany wielkości obszaru zdjęcia, które jest analizowane, warto sprawdzić, jakie inne wyniki zostaną wyświetlone dla różnych ustawień. Czasami nawet niewielka zmiana w tym zakresie może mieć duży wpływ na zwracane wyniki. Warto też w tym przypadku zapisywać interesujące nas zestawy wyszukanych danych, gdyż z doświadczenia mogę powiedzieć, że niekiedy naprawdę trudno jest tak zmienić obszar zaznaczenia, aby trafić w wyniki, które jeszcze przed chwilą udało nam się uzyskać.

Należy mieć na uwadze, że mechanizmy wyszukiwania są cały czas poprawiane i już niedługo powyższa klasyfikacja może znowu się zmienić. Przy każdym wyszukiwaniu jednak konieczne jest sprawdzenie i analiza wyników, gdyż ślepe zawierzenie narzędziom, nawet tym najlepszym, może skończyć się ogromną pomyłką. O weryfikacji otrzymywanych informacji przeczytacie więcej w kolejnym odcinku serii.

Krzysztof Wosiński

@SEINT_pl / @SEINT@infosec.exchange