Нейросеть научили по описанию генерировать сцены из «Флинстоунов» (ВИДЕО)

16 апреля 2018 года

Группа исследователей из Института искусственного интеллекта Пола Аллена и Иллинойсского университета в Урбане-Шампейне создала нейросеть, которая может по текстовому описанию создавать короткие анимированные ролики с персонажами мультсериала "Флинтстоуны". Статья, посвященная разработке, была размещена на сайте arXiv.org.

Как пишет N+1, система, получившая название CRAFT (Composition, Retrieval and Fusion Network, "составляющая, добывающая и спаивающая нейросеть"), способна генерировать анимированные сцены на основе описания сцены и действий персонажей. CRAFT включает в себя три разные нейросети, которые выделяют в тексте описания подходящую композицию сцены, сущности (сюда входят как одушевленные, так и неодушевленные объекты) и фон.

Для обучения системы ее создатели использовали свыше 25 тысяч размеченных вручную 75-кадровых роликов продолжительностью по три секунды. При помощи этой выборки CRAFT училась понимать, кто и что делает в каждом отрывке, и затем использовала подходящие части роликов для генерации новых сцен.

Судя по небольшому демонстрационному видеоролику, который был опубликован на YouTube, порой CRAFT допускает бросающиеся в глаза ошибки при генерировании сцен. Так, в одном из фрагментов Фред (главный персонаж мультсериала) бежит на месте. Однако в целом система демонстрирует заметный прогресс в области генерации видеоконтента из текстового описания в сравнении с существующими аналогами.

Напомним, в январе этого года разработчики из компании Microsoft представили нейросеть, способную рисовать изображения на основе текстового описания. Ее особенность состоит в том, что алгоритм генерирует изображение не из всего описания сразу, превращая его в один вектор-предложение, а изучает детали, оценивая каждое слово описания.

Источники

Эта статья загружена автоматически ботом NewsBots в архив и ещё не проверялась редакторами Викиновостей.
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.

Комментарии

Викиновости и Wikimedia Foundation не несут ответственности за любые материалы и точки зрения, находящиеся на странице и в разделе комментариев.

Мнения

Пожалуйста, прочтите правила общения и оформления реплик на портале Викиновости

Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.

Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.

Несколько советов по оформлению реплик:

• Новые темы начинайте, пожалуйста, снизу.
• Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
• Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
• Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.

Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.

Добавить комментарий