Компания Google разработала нейросетевой алгоритм замены фона видео, способный обрабатывать видео в реальном времени даже на мобильных устройствах. Новая функция уже доступна части пользователей мобильного приложения YouTube.
Об этом сообщается в блоге Google.
Замену фона часто применяют при съемке современных фильмов или сериалов. Обычно для этого применяют хромакей — технологию, при которой актеры снимаются на ярком зеленом или синем фоне, после чего на этот фон в видеоредакторе накладывается другое изображение. Эта технология удобна для съемки больших проектов, но для повседневного использования обычными людьми плохо подходит, поскольку требует как наличия самого зеленого экрана для фона, так и навыков обработки подобного контента. Помимо этого также существуют технологии автоматического компьютерного вырезания фона, но большинство из них имеет низкое качество конечного изображения или требуют большой вычислительной мощности.
Разработчики из Google создали нейросетевой алгоритм для замены фона в реальном времени, который подходит даже для мобильных устройств. Они взяли за основу предложенную ранее архитектуру сверточной нейросети, разработанную именно для сегментации изображений. Поскольку задача заключалась в том, чтобы нейросеть могла работать в реальном времени на обычных смартфонах, разработчики оптимизировали нейросеть, снизив количество каналов на среднем уровне сети более, чем в 10 раз.
Суть работы нейросети сводится к стандартной процедуре сегментации на объект и фон. Для того, чтобы увеличить временную согласованность соседних кадров программисты добавили к трем каналам (красный, зеленый, синий) еще один, представляющий собой предыдущий сегментированный кадр.
Для тренировки нейросети разработчики создали набор данных, состоящий из десятков тысяч фотографий людей с размеченными частями лица и дополнительными объектами, к примеру, очками.
В результате программисты получили нейросетевую модель, которая обрабатывает видео с камеры в реальном времени со скоростью более ста кадров в секунду на Apple iPhone 7 и более сорока кадров в секунду на Google Pixel 2. При этом коэффициент схожести обработанного нейросетью изображения с разметкой человеком достигает почти 95 процентов. Google уже встроила нейросеть в раздел историй мобильного приложения YouTube, в котором доступно несколько режимов замены фона, правда, пока новая функция доступна лишь части пользователей.