Двуногий робот учится ходить, используя обучение с подкреплением

Группа исследователей из Калифорнийского университета в Беркли построила двуногого робота. Он сам учится ходить, используя обучение с подкреплением. Инженеры написали статью с описанием своей работы и загрузили её на сервер препринтов arXiv.

Работа заключалась в создании двуногого робота. Его пара конечностей соединена вместе небольшой удерживающей рамой. Сейчас робот, которого авторы назвали «Кэсси», выполняет свои задачи привязанным к раме, которой руководит один из исследователей. По сравнению с другими роботами, например с разработками Boston Dynamics, «Кэсси» кажется примитивным. Однако он представляет собой передовую технологию нового типа, в которой робот сам учится ходить без прямого программирования или имитации.

Как учатся ходить люди? Используя обучение с подкреплением! Младенцы приобретают этот навык, пробуя новые движения. Они не понимают весь процесс сразу, но запоминают шаги, которые приводят к ходьбе. А затем опираются на то, что узнали, добавляя дополнительную информацию, которая в конечном итоге приводит к правильной ходьбе. При этом дети не останавливаются на достигнутом; они продолжают учиться, и их походка становятся лучше. Со временем дети осваивают новые приемы — как бег и прыжки.

Чтобы помочь роботу научиться ходить таким же образом, исследователи начали с его моделирования в виртуальном мире. Там робот он обучен с помощью информации, а ИИ мог запоминать и использовать ей. Моделирование позволило роботу научиться ходить, не повредив оборудование.

Как только робот научился ходитьв симуляции, исследователи передали его знания «Кэсси», которая использовала их для ходьбы, как у младенцев. И, как малыш, «Кэсси» она совершенствовала свои навыки. Она научилась не падать при небольшом скольжении или восстанавливаться, когда её толкают сбоку. Кроме того, ей удалось научить компенсировать ущерб, когда оба её двигателя повреждены. Исследователи планируют продолжить свою работу с обучением с подкреплением в роботах, чтобы увидеть, насколько далеко они могут зайти.

Читать далее

Создана первая точная карта мира. Что не так со всеми остальными?

Уран получил статус самой странной планеты в Солнечной системе. Почему?

В НАСА рассказали, как они доставят образцы Марса на Землю