Разработчики из OpenAI создали среду для обучения искусственного интеллекта искусству борьбы сумо, и создали алгоритмы, которые самостоятельно научились бороться друг с другом за счет применения метаобучения.
Об этом сообщает N+1.
Исследователи планируют открыть доступ к среде под названием RoboSumo на платформе OpenAI Gym, предназначенной для обучения и тренировки алгоритмов искусственного интеллекта. Описание разработки доступно на специальной странице, а также в виде препринта на сайте arXiv.org.
По информации издания, в последние годы во всем мире для создания алгоритмов, предназначенных для решения сложных задач, часто используют машинное обучение, а не традиционные «жесткие» алгоритмы. В последние годы активно развивается подход машинного обучения, называемый мета-обучением. Кратко его можно представить как метод, при котором алгоритм может на основе предыдущего опыта адаптировать сам процесс обучения в зависимости от конкретной стоящей перед ним задачи. Это позволяет искусственному интеллекту быстро адаптироваться к меняющимся условиям, и, в частности, хорошо применим к соревновательным задачам и играм.
Исследователи из OpenAI применили этот подход для создания алгоритмов, эффективно борющихся в стиле сумо. Для этого разработчики создали специальную виртуальную среду под названием RoboSumo, поддерживающую несколько обучающихся агентов. Разработчики экспериментировали с относительно простой анатомией: четырех-, шести-, и восьминогими «существами». Они вывели «популяцию» из 1050 агентов, различающихся строением и методами обучения. Для начала они самостоятельно научились ходить, а затем и бороться с использованием разных тактик.
Затем исследователи сталкивали агентов между собой. Как и в настоящем сумо, агенты должны были вытолкнуть противника с площадки или перевернуть его. Проигравшие конфигурации исчезали, а победившие воспроизводили себя, в результате чего состав популяции периодически менялся. К концу такого теста шестиногие агенты, использующие метаобучение, стали доминировать в популяции.
Также исследователи смоделировали на компьютере состязания агентов с гораздо более сложной анатомией, в которых они продемонстрировали различные тактики. Разработчики планируют выпустить RoboSumo в качестве среды для OpenAI Gym — платформы для разработки и обучения виртуальных агентов.
Ранее исследователи из Кембриджского университета и компании Microsoft, используя машинное обучение, разработали программу, которая способна создавать другие программы, заимствуя код.