Виртуальный спинной мозг постоянно совершенствуется — ScienceDaily

Исследователи из Института интеллектуальных систем Макса Планка (MPI-IS) в Штутгарте провели исследование, чтобы выяснить, как животные учатся ходить и учатся спотыкаться. Они построили четвероногого робота размером с собаку, который помог им разобраться в деталях.

«Как инженеры и робототехники, мы искали ответ, создавая робота, который реагирует точно так же, как животное и учится на ошибках», — говорит Феликс Роберт, бывший докторант исследовательской группы Dynamic Motion Research Group в MPI-IS. «Если животное спотыкается, является ли это ошибкой? Нет, если это происходит один раз. Но если оно спотыкается неоднократно, это дает нам представление о том, насколько хорошо робот может ходить».

Феликс Роберт — первый автор книги «Научитесь сопоставлять пластик с динамикой робота в генераторах шаблонов с закрытым центром.», который будет опубликован 18 июля 2022 года в журнале Nature Machine Intelligence.

Алгоритм обучения улучшает виртуальный спинной мозг

Научившись ходить всего за час, робот Роберта хорошо использует сложную механику ног. Алгоритм байесовской оптимизации направляет обучение: измеренная информация датчика стопы сопоставляется с целевыми данными из типичного виртуального спинного мозга, работающего как программа на компьютере робота. Робот учится ходить, постоянно сравнивая передаваемую и проецируемую сенсорную информацию, используя реверсивные циклы и адаптируя схемы управления двигателем.

Алгоритм обучения адаптирует параметры управления центрального генератора шаблонов (CPG). У людей и животных эти центральные генераторы паттернов представляют собой сети нейронов в спинном мозге, которые производят периодические мышечные сокращения без участия головного мозга. Сети центрального генератора паттернов помогают генерировать ритмические задачи, такие как ходьба, моргание или пищеварение. Кроме того, рефлексы представляют собой непроизвольные действия по управлению моторикой, которые запускаются сильно закодированными нервными путями, соединяющими датчики в ноге со спинным мозгом.

Пока молодое животное ходит по идеально ровной поверхности, устройств CPG может быть достаточно для управления сигналами движения от спинного мозга. Однако наличие небольшой неровности на земле меняет походку. Инициируйте реакцию и изменяйте модели движения, чтобы животное не упало. Эти мгновенные изменения в сигналах движения являются обратимыми или «гибкими», и модели движения возвращаются к своей первоначальной конфигурации после возмущения. Но если животное не перестает спотыкаться в течение многих циклов движения, несмотря на активные рефлексы, то модели движения необходимо переучивать и делать «пластичными», т. е. необратимыми. У новорожденного животного ЦПГ изначально поставлены недостаточно хорошо, и животное спотыкается, как на ровной, так и на неровной местности. Но животное быстро учится тому, как его рефлексы контролируют мышцы ног и сухожилия.

То же самое относится и к роботу-собаке размером с лабрадора по имени Мурти. Более того, робот улучшает свои движения быстрее, чем животное, примерно за час. CPG Морти моделируется на небольшом легком компьютере, который управляет движением ног робота. Этот виртуальный спинной мозг помещается на спину четвероногого робота, где будет голова. В течение часа, который требуется роботу для плавной ходьбы, данные датчика от ног робота постоянно сравниваются с ожидаемым касанием, предсказанным CPG робота. Если робот спотыкается, алгоритм обучения изменяет, насколько далеко ноги качаются вперед и назад, как быстро качаются ноги и длина ноги на земле. Модифицированное движение также влияет на то, насколько хорошо робот может использовать совместимую механику ног. В процессе обучения CPG посылает модифицированные сигналы движения, чтобы робот теперь меньше спотыкался и улучшал походку. В этой обстановке виртуальный спинной мозг не имеет четких знаний о конструкции ноги, двигателей и пружин робота. Ничего не зная о физике машин, ему не хватает «модели» робота.

«Наш робот практически родился и ничего не знает ни об анатомии своей ноги, ни о том, как она работает», — объясняет Роберт. «CPG похож на встроенный автоматический интеллект ходьбы, предоставленный природой, который мы превратили в робота. Компьютер выдает сигналы, которые управляют моторами ног, и робот изначально ходит и спотыкается. Данные возвращаются от датчиков к виртуальному спинной мозг, где сравниваются данные датчика и CPG. Если данные датчика не соответствуют ожидаемым данным, алгоритм обучения изменяет поведение при ходьбе, чтобы робот ходил хорошо и не спотыкался. Изменение выходных данных CPG при сохранении активной обратной связи и наблюдение за спотыканием робота является неотъемлемой частью процесса обучения».

Энергосберегающий робот-собака

Компьютер Морти потребляет всего пять ватт энергии при ходьбе. Счетверенные промышленные роботы известных производителей, которые научились работать с помощью сложных контроллеров, более энергоемки. Их контроллеры закодированы со знанием точной массы и геометрии тела робота — с использованием модели робота. Обычно они потребляют от нескольких десятков, до нескольких сотен ватт мощности. Оба типа роботов работают динамично и эффективно, но потребление вычислительной мощности в штутгартской модели значительно ниже. Он также дает важные сведения об анатомии животных.

«Мы не можем легко найти спинной мозг живого животного. Но мы можем смоделировать его у робота», — говорит Александр Бадри Спровиц, который является соавтором публикации вместе с Робертом и возглавляет Исследовательскую группу динамической локомоции. «Мы знаем, что CPG присутствуют у многих животных. Мы знаем, что задействована обратная связь; но как нам объединить их, чтобы животные научились движениям с помощью реакций и CPG? Это фундаментальное исследование на стыке робототехники и биологии. Роботизированная модель дает нам ответ на вопросы, на которые не может ответить только биология.