Современные системы компьютерного зрения, специализирующиеся на распознавании человеческого лица, можно обмануть с помощью бумажных очков со специальным узором.
Об этом свидетельствуют данные исследования ученых из Университета Карнеги — Меллона, сообщил портал N+1.
Исследователи отмечают, что системы видеонаблюдения могут с помощью методов машинного обучения могу определить присутствие человека в кадре, а также определить личность человека по лицу.
Если по каким-либо причинам человек хочет остаться неопознанным такой системой, ему необходимо частично или полностью скрыть лицо.
Для обмана интеллектуальных систем видеонаблюдения ученые использовать очки со специальным узором, который осложняет распознавание лица. В работе использовалась онлайн-платформа машинного обучения Face++, которая специализируется именно на распознавании и анализе человеческих лиц. Исследователям удалось с помощью очков как полностью стать «невидимым» для системы, так и выдать человека в очках за другую личность.
Для распознавания лиц исследователи обучили три разных нейросети с помощью методов глубокого машинного обучения. Основная нейросеть была обучена на базе 2622 знаменитостей, а другие две на ее основе методом переноса обучения, использовали около 40 фотографий каждого человека. Первая из «вторичных» нейросетей была обучена распознавать пять сотрудников лаборатории и пять знаменитостей, а вторая 143 человека, среди которых было 140 знаменитостей и трое авторов исследования. После завершения тренировки нейросетей они обе показали точность распознавания выше 96%.
Трое авторов работы, фотографии которых использовались в обучающих выборках «вторичных» нейросетей, сами участвовали в качестве испытуемых в пяти фотоcессиях, на которых было сделано от 30 до 50 фотографий каждого ученого. В первой сессии испытуемые фотографировались без специальных очков для анализа изображения и разработки узоров, а на остальных сессиях они фотографировались в очках, узор на которых позволял полностью «исчезнуть» или выдать себя за другого человека.
В результате исследователи пришли к выводу, что очки со специальным узором очень надежны для обмана нейросетей. В серии проведенных экспериментов использовалась простая оправа очков без стекол, на которую крепилась цветная накладка с узором, которая была напечатана обычным струйным принтером на фотобумаге. Вся конструкция занимала около шести процентов общего числа пикселей, анализируемых нейросетями при распознавании лица.
При экспериментах с «исчезновением» вторая нейросеть, натренированная на 143 людях, не смогла увидеть ни одного из авторов в 100% случаев. Первая нейросеть, натренированная на 10 людях, показала более интересный результат: два испытуемых успешно спрятались (97,22% и 100%), а третий, который в жизни носил очки, был «невидим» только в 80% случаев. В остальных 20% случаев нейросеть верно определяла присутствие человека в кадре.