Блог компании Positive Technologies | Мона Лиза, обманувшая искусственный интеллект

Недавно в Сети открылась очень необычная выставка. В экспозиции представлено сто копий одной и той же картины — «Мона Лиза» Леонардо да Винчи. Внимательно вглядитесь в это лицо. Не замечаете ничего необычного?

Однако загадочная Мона Лиза, скрывает множество тайн. На самом деле все картины выставки имеют незаметные различия.

То, что человеческому глазу кажется сотней одинаковых изображений, система распознавания лиц определяет как портреты ста разных знаменитостей.


В этом случае искусственный разум принял Мону Лизу за Майкла Джексона

Организатором выставки выступил стартап Adversa, специализирующийся на обнаружении и устранении уязвимостей в технологиях искусственного интеллекта. А целью данного проекта является наглядная демонстрация слабых мест в системе распознавания лиц.

Для создания изображений коллекции использовались фотографии 8631 знаменитости, взятые из открытых источников. Обманывалась модель распознавания лиц FaceNet от Google, обученная на самом популярном наборе данных VGGFace2.

Набор данных VGGFace2 содержит изображения лиц разных возрастов и в различных ракурсах. Обучающий набор довольно внушительный – в нем собрано более 3 млн изображений, разделенных на более чем 9 тыс. категорий. Поэтому VGGFace2 довольно часто используется для глубокого обучения моделей распознавания лиц.

Итак, исследователи взяли работающую систему распознавания лиц, обученную на обширном наборе данных. Вроде все в порядке. Так что же пошло не так?  Почему вместо Моны Лизы искусственный интеллект видит Майкла Джексона? Нет, улыбка Джоконды не свела искусственный разум с ума, все дело в состязательных атаках.

Искусственный интеллект видит в ста, по сути, одинаковых изображениях сто разных из-за предубеждений и уязвимостей в состязательных примерах. Этими недочетами потенциально могут воспользоваться киберпреступники для взлома систем распознавания лиц, автономных автомобилей, медицинских систем сканирования, финансовых алгоритмов и пр.

Ни одно из представленных на выставке изображений не является реальной копией «Моны Лизы». Все они были модифицированы особым образом, чтобы алгоритм распознал их как портреты разных знаменитостей, хотя для человеческого глаза это вся та же «Мона Лиза».

«Для того, чтобы классификатор распознал незнакомца, к фотографии человека следует добавить состязательный патч. Такой патч генерируется особым алгоритмом, считывающим пиксельные значения в фотографии, чтобы классификатор выдал желаемое значение. В нашем случае фотография заставляет модель распознавания лиц вместо Моны Лизы видеть знаменитость», — пояснили в Adversa.

Чтобы обмануть системы распознавания лиц в реальном мире, злоумышленнику необходимо поместить свой поддельный образ в базу данных распознавания лиц. Подделку можно внедрить путем взлома базы или с помощью социальной инженерии во время принятия фотографий. 

Например, стажер, находящийся на важном объекте, с помощью подобной техники может обмануть систему распознавания лиц, заставить алгоритм воспринимать себя как генерального директора, и получить доступ туда, где стажеру быть не положено.

Выставка «Мона Лиза» наглядно демонстрирует наличие уязвимостей в алгоритмах искусственного интеллекта и возможность их использования в злонамеренных целях. Поэтому не стоит слепо верить выводам искусственного мозга. Несмотря на продвинутость компьютерных алгоритмов, последнее слово всегда должно оставаться за человеком.