Фото pixabay.com

Корейские ученые из Научно-исследовательского института электроники и телекоммуникаций (ETRI) и Корейского института передовых технологий (KAIST) научили гуманоидного робота NAO жестикулировать, используя для этого записи выступлений на TED Talks. Об этом стало известно в понедельник.

Как пишет N+1 со ссылкой на препринт статьи с описанием работы алгоритма на arXiv.org, ученые собрали датасет из 52 часов записей. Они разметили жесты спикеров на видео и соотнесли их с отдельными акцентными словами фраз с помощью рекуррентной нейросети. Получившаяся система способна воспроизводить положение тела в трехмерном пространстве согласно синтезированной речи.

Затем систему применили к роботу. Ученые утверждают, что NAO сумел успешно воспроизвести заданные ему комбинации движений.

Ранее американские и канадские ученые разработали нейросеть для обучения виртуальных героев движениям из видео. Алгоритм разбивает кадр на сетку и фиксирует положение тела на ней. После этого модель пытается повторить движение.