Новый метод позволяет менять выражение лица в дипфейк-видео
24 сентября 2021 года
Специалисты разработали новую технику машинного обучения, позволяющую произвольно менять эмоциональное выражение лиц в видео, адаптируя такие недавно появившиеся технологии, как синхронизация движений губ с дубляжем на иностранном языке.
Исследование (Архивная копия от 20 сентября 2021 на Wayback Machine) под названием «Обратимая хмурость: Перевод выражений лица с-видео-на-видео» (Invertable Frowns: Video-to-Video Facial Emotion Translation) является совместной работой специалистов Северо-Восточного университета в Бостоне и лаборатории Media Lab Массачусетского технологического института. Хотя исследователи признают, что в дальнейших исследованиях исходное качество результатов должно быть улучшено, они также утверждают, что разработанный ими метод Wav2Lip-Emotion является первым в своем роде, который напрямую меняет мимику в видеоизображении с помощью нейронной сети.
Кодовая база проекта опубликована на GitHub, а контрольные точки модели будут добавлены в репозиторий с открытым исходным кодом несколько позднее, пообещали исследователи.
Теоретически, подобные манипуляции возможны благодаря полноценному обучению моделей с помощью традиционных репозиториев дипфейков, таких как DeepFaceLab и FaceSwap. Однако стандартная рабочая нагрузка предполагает использование альтернативной личности вместо настоящей. Например, за целевую личность выдавать себя может актер, чья мимика, наряду с другими действиями, будет переноситься на другого человека. Вдобавок, для придания видео достоверности потребуется использовать дипфейк-технологии для подделки голоса.
Более того, само изменение выражения лица в исходном видео с помощью этих популярных репозиториев требует изменения векторов центровки накладываемого лица способами, которые данные архитектуры в настоящее время не облегчают.
Wav2Lip-Emotion эффективно копирует связанные с эмоциями выражения лица из одной части видео и заменяет их в других точках, сберегая исходные данные, что в конечном итоге обеспечит простой и удобный метод манипулирования мимикой.
Позже могут быть разработаны offline-модели, обученные на альтернативных видеоизображениях говорящего и тем самым устраняющие необходимость в том, чтобы видео содержало всю палитру выражений лица.
Источники[править]
Эта статья содержит материалы из статьи «Новый метод позволяет менять выражение лица в дипфейк-видео», опубликованной на сайте SecurityLab.ru и распространяющейся на условиях лицензии Creative Commons Attribution 3.0 Unported (CC-BY 3.0 Unported). |
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии[править]
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.