Как дипфейки меняют кинематограф
Убьют новые технологии кино как искусство или сделают его сильнее
Возможно, уже сейчас идет обратный отсчет последних лет, когда награда «Оскар» за лучшую мужскую или женскую роль еще что-то значит, пишет Fortune. В кино и рекламе все чаще используются компьютерные технологии не только чтобы отрисовать декорацию или реквизит, но и для изменения внешности актеров, а то и вовсе их замены.
В мае этого года в технологии дипфейка решили задачу омоложения героя и создатели сериала «Эпидемия». В одном из эпизодов этого проекта, нашумевшего по всему миру, Александр Робак возвращается в 90-е и предстает перед зрителем в образе подтянутого жгучего брюнета.
Также в мае этого года на «Первом канале» вышел четвертый сезон сериала «Диверсант», где появляется актер Владислав Галкин. Он играл одну из главных ролей в первых двух частях. В этой новости на первый взгляд нет ничего удивительного, если не знать, что Галкин скончался в 2010 г. Его образ удалось воссоздать с помощью дипфейка. Ради восьми минут в кадре техническим специалистам пришлось трудиться четыре месяца.
В прошлом году в сериале «Контакт» актера Павла Майкова омолодили на 15 лет с помощью компьютерной технологии дипфейка, а не грима. Обучение нейросети, которая автоматически отрисовывала измененное лицо актера, заняло 15 дней. Затем специалистам пришлось еще поработать, чтобы довести изображение до ума.
Как обмен стал фейком
Технология, когда лицо одного человека на видео заменяется другим, долгое время оставалась довольно узкоспециализированным инструментом, использующимся в основном в кино. Например, актер Оливер Рид умер от сердечного приступа, не успев сняться в двух сценах фильма «Гладиатор» (Gladiator, 2000 г.). С помощью компьютерной графики на него сделали похожим дублера.
Во время съемок «Форсажа 7» (Furious 7, 2015 г.) разбился в автокатастрофе один из исполнителей главных ролей – Пол Уокер. Что делать? Переснимать эпизоды с другим актером было дорого, тем более что Уокер играл почти во всех предыдущих фильмах франшизы. В итоге оставшиеся сцены сняли с кузеном Уокера, которому на компьютере заменили лицо. Создатели фильма «Изгой-один: Звездные войны. Истории» (Rogue One: A Star Wars Story, 2016 г.) очень хотели, чтобы в нем участвовал персонаж оригинального фильма «Звездные войны» 1977 г. гранд-мофф Таркин. Вот только игравший его актер Питер Кушинг скончался еще в 1994 г. В итоге был снят актер похожего телосложения, а потом его лицо заменили лицом Кушинга.
Как распознать дипфейки
В начале 2018 г. дипфейки было легко распознать, потому что они либо вообще не моргали (так как на фотографиях, с которых копировалось лицо, глаза обычно открыты), либо моргали очень странно для живого человека. Но стоило информации об этом широко разойтись – разработчики улучшили код, дипфейки стали моргать нормально.
Но у дипфейков есть немало других слабых мест. Например, их можно вычислить по плохой синхронизации губ, коже с разными оттенками, мерцанию по краям лица, неестественным движениям глаз, странно выглядящим волосам и зубам, неестественности при замедлении скорости воспроизведения, несоответствию бликов в глазах освещенности в кадре и т. д. Чтобы убрать эти недостатки, видео обрабатывается потом вручную.
Немецкий ученый Хао Ли выдвинул еще один критерий. У каждого человека есть индивидуальные паттерны мимики и движения лица. При переносе они наследуются от донора – человека, на лицо которого накладывается изображение. Если тот же Уилл Смит начинает необычно гримасничать – это повод задуматься.
Такую технологию называли face swap («обмен лица»), а иногда face replacement («замена лица») или face morphing («трансформация лица»). Считалось, что она требует немалого бюджета и кропотливой работы специалистов. Все изменилось в декабре 2017 г., когда пользователь соцсети Reddit опубликовал порноролики, где лица актеров были заменены лицами голливудских звезд. Начал он с Галь Гадот, за ней последовали Скарлетт Йоханссон, Мэйси Уильямс, Тейлор Свифт, Обри Плаза и др. Это буквально взорвало интернет. Ник автора роликов в Reddit был Deepfakes – от слова deep, используемого в словосочетаниях вроде deep learning («глубинное обучение»), и fake («подделка»). С тех пор эту технологию называют не иначе как дипфейк.
В январе 2018 г. другой пользователь Reddit выложил бесплатную программу для создания дипфейков с подробной инструкцией. После этого подобных программ появилось множество. Например, в 2019 г. приложение для смартфонов Zao позволило людям, загрузив всего одну фотографию, поменять лицо у персонажей блокбастеров. Правда, работало это для ограниченного набора видеофрагментов, которые длились всего несколько секунд, чтобы не нарушить авторские права.
В мае 2018 г. дипфейк впервые был использован в политике. Бельгийская партия Socialistische Partij Anders опубликовала в Facebook ролик, в котором Трамп издевался над Бельгией за то, что она придерживается Парижских климатических соглашений. Изображение президента выглядело несколько странно, а в конце голос за кадром честно предупреждал, что это фейк: «Мы все знаем, что изменение климата – фальшивка, как и это видео». Несмотря на это, многие поверили, что американский президент действительно говорил подобное.
А в мае этого года мошенники попытались с помощью дипфейков раскрутить аферу с якобы новой криптовалютой BitVex. Был выпущен ролик, в котором изображение Илона Маска заявляло, что он владеет этим проектом, и обещало до 30% прибыли от вложений. Но люди уже научились не доверять глазам своим. Особенно после дипфейка, где Маск исполняет песню «Трава у дома» с группой «Земляне». По данным исследовательского сайта Bleeping Computer, на адрес мошенников поступило не более $1400.
Зачем нужны дипфейки
Интерес к старым фильмам вполне можно вернуть, поместив в них с помощью технологии дипфейка современных звезд, предрекает интернет-издание Screen Rant. Кроме омоложения (или, наоборот, состаривания) и воскрешения дипфейки еще много чем полезны киношникам. Например, озвучка. Если диалог при монтаже надо чуть изменить, не нужно снова созывать актеров и переснимать сцену. Новая фраза может быть произнесена актером на камеру, фиксирующую движение, а затем вклеена в отснятый ранее материал.
Дипфейки открывают простор для дубляжа. В 2019 г. благотворительная организация Malaria No More выпустила видео с Дэвидом Бекхэмом, говорящим о малярии на девяти языках: английском, испанском, киньяруанда, арабском, французском, хинди, китайском, суахили и йоруба. Естественно, большинством из них актер не владеет. Но губы совпадали со словами благодаря компьютерной технологии. Теперь специалистам по дубляжу не обязательно будет подгадывать перевод, чтобы он совпадал с мимикой. Звезды заговорят на вашем родном языке так, как будто родились по соседству с вами.
Движущая сила – порнография
В 2019 г. компания Deeptrace провела исследование и нашла в интернете 15 000 видео с дипфейками. 96% из них – видео для взрослых. Но были случаи и так называемой порномести, когда вклеивалось лицо бывшей возлюбленной и потом ссылка на ролик распространялась среди ее знакомых.
Звезду можно снимать без ее физического присутствия на площадке. По этому поводу вспоминается старая карикатура, когда режиссер предлагает актеру, одиноко лежащему в кровати, изобразить бурную постельную сцену: «А партнершу мы вам потом на компьютере сляпаем!» Шутки шутками, но для актеров, которые постоянно сталкиваются с конфликтами в расписании, это просто спасение.
Как и в случае, когда звезда физически не может добраться до места съемок. Как это было с рекламной кампанией «Мегафона» с Брюсом Уиллисом, которая обошлась без съемок самого Уиллиса. Из-за пандемии коронавируса с приездом Уиллиса возникли сложности. В результате нейронная сеть обработала сотни его изображений (в основном из «Крепкого орешка» и «Пятого элемента», поэтому он так молод), а вместо голливудской звезды снялся российский актер Константин Соловьев (известен по фильму «Балканский рубеж», сериалу «Склифосовский»), который похож на голливудского актера в молодости. Чем более схожи фигурой и структурой лица дублер и копируемая звезда, тем проще. Естественно, от дублера требуется имитировать походку, жесты и выражения лица изображаемого человека.
Помогут дипфейки и в случае если полюбившийся зрителям актер уже умер. Яркий пример – реклама 2013 г. шоколада Galaxy (бренд для Великобритании и Ирландии, в России продавался как Dove). В рекламе «снялась» Одри Хепберн, скончавшаяся за 20 лет до этого, причем был взят ее образ времен 1950-х. Для съемок потребовались две дублерши. У одной было тело, максимально похожее пропорциями на тело актрисы с ее осиной талией. У второй – похожая структура лица. Потом обработанное лицо и тело склеили. К счастью, эта технология была отработана: Framestore работала над спецэффектами фильма «Гравитация» (Gravity, 2013 г.), где тело Сандры Буллок временами было компьютерной графикой, а лицо – настоящим. Иначе получился бы так называемый «эффект кивающей собаки» (когда голова неестественно двигается, как у игрушечных собак на приборной панели).
Но есть и полностью виртуальные герои. Обычно для них создают базу данных из движений живого человека, потом компьютер самостоятельно нарезает, тасует, склеивает и дорисовывает имеющиеся фрагменты. Так, в ноябре 2018 г. китайское государственное новостное агентство «Синьхуа» показало первого полностью виртуального ведущего, а через год добавило к нему и ведущую.
Закон и этика
После выхода «Диверсанта» с воскрешенным Владиславом Галкиным его приемный отец Борис Галкин пригрозил иском против кинокомпании. Он уверяет, что «оживление» не было согласовано с родными. Fortune пишет, что голливудские актеры забеспокоились, что сиквелы могут быть сняты не то что без их участия, но даже без их ведома и выплаты гонорара. Ведь во многих контрактах права на изображение и голос героя передаются киностудии. The Guardian писала, что звезды всерьез задумались о пункте о посмертном использовании своих изображений, а самые сообразительные, по слухам, сканируют свои тела в разном возрасте ради будущих виртуальных съемок.
Вопрос цены
В 2019 г. на экраны вышел боевик «Гемини» (Gemini) с Уиллом Смитом в главной роли. Точнее, с двумя Уиллами Смитами: по сценарию постаревшего главного героя пытается убить он же, но на 30 лет моложе. Грим или цифровое ретуширование не могли создать впечатление молодости, заявили специалисты по спецэффектам. Поэтому была сделана полноценная цифровая копия Уилла Смита. Опрошенные The Hollywood Reporter оценили расходы в $0,5–1 млн на оцифровку и еще по $100 000 на доведение до ума изображения в каждой сцене. Источники Financial Times говорили уже о $25 млн, т. е. где-то вдвое больше гонорара Уилла Смита.
Представление о том, каких затрат требовал на тот момент дипфейк, также дает эксперимент интернет-издания Ars Technica, проведенный в том же 2019 году. Журналист Тимоти Ли заменил лицо Марка Цукерберга, дающего показания перед конгрессом, на лицо лейтенанта-коммандера Дейты, которого сыграл актер Брент Спайнер в сериале «Звездный путь: Следующее поколение» (Star Trek: The Next Generation, 1987–1994). Редакция выделила ему $1000. Он потратил $552 – и то потому, что не хотел ждать и арендовал мощную виртуальную машину. Если бы он пользовался собственным ноутбуком, 38-секундный ролик стоил бы сущие копейки, но на его просчитывание алгоритму потребовалось бы куда больше недели. С тех пор появилось множество новых программ, часть из которых вовсе бесплатны.
Интернет-издание Deep Fake Challenge в январе этого года писало, что фрилансерам можно заказать дипфейки по цене от 300 до 3000 евро за 30 секунд. Но кино нужно то, чего не могут дать дешевые аналоги: высокое разрешение картинки и достоверность.
Например, в случае с рекламой шоколада с Хепберн 95% изображения актрисы, которое мы видим на экране, было создано за половину потраченного на создание ролика времени. А на оставшиеся 5% ушла еще половина рабочих часов: в это время специалисты с помощью различных программ, а порой и вручную добивались того, чтобы образ актрисы был неотличим от настоящего человека. Например, много проблем было с роботизированным совершенством кожи, которая была не похожа на настоящую.
Но ученый из Института креативных технологий Университета Южной Калифорнии Арно Хартхольт успокаивает на страницах The Guardian: профессия актера в безопасности, компьютеры не оставят их без работы. Ведь каждая работа актера – это новый образ, новое перевоплощение, с которым нейросеть справиться не может. Во всяком случае, пока не может. Поэтому хотя есть примеры виртуальных поп-звезд вроде созданной в 2007 г. японской певицы Мику Хацунэ, но виртуальных кинозвезд пока не появилось.
Впрочем, в конце этого года должна выйти компьютерная игра британской студии Maze Theory по сериалу «Острые козырьки» (Peaky Blinders, 2013 – н. в.). Обещают, что ее персонажи, управляемые искусственным интеллектом, будут реагировать на действия игрока. Причем не только изменять речь, но и язык тела и жесты. Стоит проверить, насколько качественно они будут это делать. Но с развитием технологий все больше шансов, что виртуальный актер научится играть на уровне живого человека.
Будучи новой технологией, дипфейки пока слабо регулируются законодательством. Штат Нью-Йорк, например, принял закон о посмертном праве на цифровые копии актеров. Но возникает множество юридических вопросов, на которые пока нет четкого ответа. Например, если на экране появляется образ Трампа, который говорит то, что настоящий президент написал в своем Twitter, – это законно или нет, приводит пример интернет-издание Mind Matters. А если это документальный фильм, может ли Трамп засудить его создателей за фейк? Или же иск будет отклонен, потому что, хотя запись и поддельная, заявление истинное? Создателей дипфейков можно засудить и по существующим законам, отмечает The Guardian. Например, он может нарушить авторские права, закон о защите персональных данных или его расценят как клевету.
Журнал Vox заглядывает в будущее (возможно, не столь уж отдаленное) и обозначает этическую проблему. Киноиндустрия все чаще прибегает к высоким технологиям, чтобы спрогнозировать коммерческий успех фильма. Например, в программе компании Cinelytic можно вводить жанр и имена исполнителей, чтобы понять, каким интересом он будет пользоваться на разных рынках. Что будет, если вместо Оскара Айзека позвать на главную роль Майкла Б. Джордана, а вместо драмы запустить в производство боевик?
Затем Vox рисует вовсе футуристическую картину. Представьте потоковый сервис будущего с развитыми технологиями. Вы плюхаетесь на диван, берете пульт и выбираете несколько переменных вроде жанра, уровня насилия, исполнителей главных ролей, времени действия. Щелк-щелк-щелк, и вот искусственный интеллект за считанные минуты создал на основе базы данных уникальный фильм по вашим критериям.
Это будет мир, где мы сможем полностью контролировать наш опыт общения с искусством без всяких неожиданностей вроде смерти главного героя в середине фильма. По сути, искусство превратится в эхо, в отражение личности каждого пользователя. Ведь и сейчас многие из нас склонны пересматривать одни и те же фильмы и сериалы, где все известно наперед. И только многочисленные советы друзей или шум в прессе заставляют нас выбраться поглядеть на новое странное произведение вроде «Паразитов» (Gisaengchung, 2019 г.).