Американские ученые научили нейросеть оживлять фигуры людей на фотографиях

Американские ученые из Вашингтонского университета и разработчики из Facebook создали алгоритм, который позволяет нейросети оживлять фигуры людей на фотографиях. Об этом говорится в статье ученых, опубликованной на сайте arXiv.org.

Алгоритм позволяет создать на основе двумерного кадра полноценную анимацию с «выбеганием» человека за пределы фото, пишет N + 1. Система обрабатывает 2D-изображение с помощью нейросети Mask R-CNN. Так алгоритм распознает область с человеком на изображении и отделяет ее от фона. Затем еще один алгоритм превращает ее в двумерную модель скелета, а другой создает реалистичный фон в областях кадра, ранее закрытых человеком. На базе двумерной модели создается трехмерная, на которую накладывается текстура, созданная с учетом изображения человека на исходном кадре.

Напомним, в прошлом году был создан алгоритм для создания реалистичной анимации. Он может вставлять запись речи в видеоряд, изменяя мимику человека. Этим также занимались разработчики из Facebook под руководством Иры Кмельмахер-Шлицерман.

Автор:

Новости партнеров