Нейросеть подстраивает мимику актёра под дублированную речь.
1318 просмотров
Британская компания Flawless выпустила программный пакет TrueSync, который с помощью нейросетей синтезирует движения губ и лицевых мышц актёров так, как если бы они говорили на другом языке. Это позволяет добиться иллюзии того, что актёры в фильме произносят реплики из дубляжа, а не из оригинальной звуковой дорожки.
По словам представителей компании, их программный пакет, использующий глубокое машинное обучение, сохраняет все нюансы и эмоции исходного материала. TrueSync замещает лицо актёра дипфейком с учётом оригинальной мимики, чтобы не потерять тонкости игры актёра.
Дипфейки уже использовали в искусстве для «воскрешения» умерших музыкантов, и вот теперь их применение добралось до кинематографа. Технология неидеальна — в некоторых моментах видны недочёты работы дипфейка, которые могут создавать эффект «зловещей долины». Также возникает вопрос, насколько фильм с таким «визуальным дубляжом» близок к тому, что хотел выразить режиссёр с актёрами.
{ "author_name": "Никита Логинов", "author_type": "editor", "tags": ["\u043d\u043e\u0432\u043e\u0441\u0442\u0438","\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","\u043a\u0438\u043d\u043e","\u0434\u0438\u043f\u0444\u0435\u0439\u043a\u0438"], "comments": 29, "likes": 22, "favorites": 3, "is_advertisement": false, "subsite_label": "tech", "id": 378441, "is_wide": false, "is_ugc": false, "date": "Fri, 07 May 2021 12:11:28 +0300", "is_special": false }
Еженедельная рассылка
Одно письмо с лучшим за неделю
Проверьте почту
Отправили письмо для подтверждения