Компания Facebook представила систему машинного обучения Rosetta, способную в режиме реального времени извлекать текст из опубликованных в соцсети изображений и видео на разных языках и распознавать их смысловое содержание.
Об этом сообщает сайт code.fb.com.
«Для удовлетворения наших конкретных потребностей мы построили и развернули крупномасштабную систему машинного обучения под названием Rosetta . Она извлекает текст из более чем миллиарда общедоступных изображений Facebook и Instagram и видеокадров (на самых разных языках) в режиме реального времени и вводить его в модель распознавания текста, которая была обучена классификаторам, чтобы понять контекст текст и изображение вместе», — говорится в публикации на сайте.
В ходе обнаружения текста Rosetta выполняет одновременно два независимых друг от друга процесса: обнаружение областей, которые могут содержать текст, и распознавание слов с помощью сверточной нейросети Faster R-CNN на архитектуре ResNet18.
Алгоритм распознает английский, арабский, хинди, немецкий, испанский и другие языки, включая те, что имеют горизонтальное написание справа налево, диакритические знаки и другие специфические символы.
В будущем корпорация постарается научить систему распознавать большее количество языков, видов нанесения текста и шаблонов изображений.
Facebook собирается использовать Rosetta для выдачи более персонализированной ленты новостей, а также отслеживания спама, оскорбительного или запрещенного контента. Сейчас его сортируют операторы и это занимает много времени.
В июне 2018 года исследователи из Стенфорда рассказали о модели машинного обучения, способной создавать мемы в стиле «советующих животных». Авторы отметили, что в среднем «искусственный» мем сложно отличить от «настоящего» в контексте качества шутки в нем.
Также, напомним, что ранее Facebook удалил страницу руководителей армии Мьянмы, которых обвиняют в геноциде.
«Руководство Facebook удалило страницы ряда руководителей армии Мьянмы, которых обвиняют в геноциде. Среди них — главнокомандующий войска Минг Аун Хлаин. Это первый случай, когда соцсеть умышленно удаляет страницы чиновников, руководствуясь подобными мотивами», — говорится в сообщении.