Чем фундаментально отличается генеративная модель искусственного интеллекта SORA от ранее существовавших моделей? Как работает эта технология? Стоит ли нам ожидать появления тысяч реалистичных дипфейков, и конечно же, сможем ли мы применять возможности модели в рекламе и маркетинге — об этом наш интересный разговор с дизайнером Александром Барышевым.
GreenSMM: Не прошло и месяца, как создатели GPT-chat из компании OpenAI представили свою новую разработку SORA. И первый вопрос, который мы бы хотели задать тебе, на основе каких данных и как работает эта модель?
Александр: Модель Sora обучается на большом разнообразном наборе визуальных данных, включая видео и изображения различной продолжительности, разрешения и соотношений сторон. Она использует архитектуру трансформера и модель диффузии для генерации видео. Sora начинает процесс генерации с начального состояния, похожего на шум, и постепенно улучшает его, уменьшая шум поэтапно. Это позволяет модели создавать видео целиком или дополнять существующие видео, сохраняя согласованность объектов внутри видео.
GreenSMM: Какова основная идея и цель создания новой генеративной модели SORA компанией OpenAI?
Александр: Основная идея создания модели Sora заключается в разработке универсальной генеративной модели, способной создавать разнообразные видео и изображения разного размера и формата. Она стремится преодолеть ограничения предыдущих моделей, обеспечивая высокое качество генерации видео и сохраняя согласованность объектов даже при их временном отсутствии на кадре.
GreenSMM: Чем SORA кардинально отличается от существовавших ранее инструментов для генерации видео, использующих искусственный интеллект — таких как нейросеть Lumiere от Google?
Александр: SORA кардинально отличается от нейросети Lumiere от Google в следующих аспектах:
Архитектура: SORA использует архитектуру трансформера для обработки изображений и видео разных размеров. Lumiere может использовать другую нейросетевую архитектуру.
Модель диффузии: SORA применяет модель диффузии для пошагового улучшения генерируемого видео из шума. Lumiere может использовать другие методы генерации видео.
Гибкость в выводе: SORA гибко генерирует видео различных соотношений сторон, разрешений и продолжительностей. Lumiere может иметь ограничения в этом аспекте.
Степень разработки: SORA представлен в качестве продукта OpenAI, в то время как Lumiere может быть прототипом или демонстрационным проектом Google.
Вкратце, SORA отличается от Lumiere в архитектуре, методах генерации, гибкости в выводе и степени разработки.
GreenSMM: Какие видеоролики способна генерировать SORA, и какие параметры разрешения она поддерживает?
Александр: SORA способна генерировать видеоролики различных типов и содержания. Она может создавать новые видео, дополнять существующие видео или даже изменять их характеристики. SORA поддерживает различные параметры разрешения, включая разрешения с различными соотношениями сторон, продолжительностями и качеством. Она предоставляет гибкость в настройке этих параметров в соответствии с требованиями и предпочтениями пользователя.
GreenSMM: Почему OpenAI выбрала обучение модели на видеороликах в оригинальном разрешении, а не на более коротких с разрешением 512×512?
Александр: Потому, как использование оригинального разрешения позволяет модели получить более полное представление о разнообразии и деталях визуальных данных. Обучение на видеороликах с оригинальным разрешением позволяет модели уловить более широкий спектр объектов, сцен и динамики. Благодаря этому, результаты генерации получаются более разнообразными и качественными.
GreenSMM: Какую роль играет нейросеть GPT-4V (функция ChatGPT) в процессе создания детализированных описаний для видеороликов?
Александр: Нейросеть GPT-4V (ChatGPT) может создавать подробные описания для видеороликов, предоставляя текстовые описания или сопровождение к видео. Она может использоваться для автоматического создания текстовых описаний содержания, сюжета или сцен в видеороликах на основе визуальных данных. GPT-4V способна генерировать качественные тексты, которые могут дополнять видео, становиться субтитрами или описаниями для слабовидящих пользователей.
GreenSMM: Какие потенциальные риски и опасения связаны с использованием генеративной модели SORA, особенно в контексте создания дипфейков?
Александр: Главная опасность при неправомерном использовании любой подобной генеративной модели — это риски распространения дезинформации.
SORA может использоваться для создания реалистичных дипфейков, то есть искусственно созданных видео, которые могут быть ошибочно приняты за реальные.
Сочный пример такого реалистичного дипфейка, который мгновенно распространился в сети — свидетельства пожара на Эйфелевой башне. Видео и фото полыхающего символа Франции завирусились не только в соцсетях, но и попали в некоторые СМИ. Благодаря техническому совершенству дипфейка и реальному прецеденту, который случился не так давно (в 2019 году разрушительный пожар был в Соборе Парижской Богоматери), в то, что Эйфелевая башня загорелась поверили сотни тысяч человек.
Качество можете оценить сами:
Фото создали в Midjourney V6, а видео «допилили» в догонку в качестве подтверждения проишествия, когда волна интереса уже возникла.
На видео заметно, что толпа зевак какая-то очень уж радостная и явно выбивается из контекста, однако в детали всматриваются единицы.
C помощью SORA возможно создание видеороликов, в которых могут быть включены лица или персональные данные людей без их согласия. Это может служить для манипуляций или злоупотребления. Естественно, появляются риски приватности личных данных, угрозы безопасности и репутации, да и в целом, провоцировать подрыв доверия к аутентичности видео в принципе.
Примеров, когда лица знаменитостей используются в дипфейках — уже тысячи, а судебных исков по этому поводу — сотни. Например, не так давно Киану Ривз подал в суд за использование его лица в фейковых видео и фото. Видеоролики, где Киану забавно танцует в домашних тапочках на кухне или дурачится в ванной просто разрывали TikTok в прошлом году. Из уважения к соблюдению законов и лично из большого почтения к Киану, не буду размещать видео, ограничусь фото, но поверьте, это очень похоже на оригинал и очень забавно (для зрителей, естественно).
Важно осознавать, что все перечисленные риски связаны с возможным неправильным использованием модели, и необходимы меры по их предотвращению, такие как разработка методов обнаружения дипфейков и пропаганда ответственного использования технологии генерации видео.
GreenSMM: Как OpenAI собирается бороться с потенциальным злоупотреблением SORA?
Александр: OpenAI понимает важность этичного использования своих технологий, включая SORA. Они разрабатывают технологии контроля за использованием модели, за соблюдением законов об авторских правах и защитой данных. OpenAI активно сотрудничает с экспертами и правоохранительными органами, чтобы разрабатывать правила, предотвращающие злоупотребление и обеспечивающие этичное использование технологии.
GreenSMM: Как SORA изменит индустрию видеопродакшена, и какие новые возможности она предоставит профессионалам в этой сфере?
Александр: SORA позволит ускорить процесс производства видеороликов, автоматизировать определенные задачи и расширить творческие возможности профессионалов. С ее помощью видеопродакшен станет значительно более доступным для небольших бюджетов. Это инновационное средство поможет профессионалам в создании качественного видеоконтента более эффективно и творчески.
GreenSMM: Какие преимущества и ограничения есть у SORA в создании видеоконтента, особенно в контексте рекламных роликов?
Александр: Прежде всего, SORA обеспечивает быстроту и эффективность в процессе создания видео, что особенно важно в рекламной сфере, где время реакции на инфоповод — ключевой фактор. Кроме того, SORA позволит видеомейкерам экспериментировать с различными визуальными эффектами, стилями и концепциями. Но и недостатки у модели тоже есть: ограниченная способность к контролю над процессом создания и возможность создания контента, который может быть недостаточно уникальным или не удовлетворяющим конкретным потребностям клиента.
Рекламы, созданной нейросетями, уже очень много. Приведу несколько примеров креативов, нацеленных на русскоязычную аудиторию, не по значимости или креативности, а чтобы проиллюстрировать многообразие возможностей:
Минский банкт ВТБ запустил рекламу карте MORE на базе платежной системы «Мир»
По задумке реклама карты предлагает окунуться на морскую глубину с множеством возможностей. Концепция и ключевые визуалы выполнили специалисты креативного агенства, а образы сгенерировала нейросеть Midjourney и доработала DALL·E 2.
KION, интернет-платформа для просмотра фильмов, использовала нейросеть для создания художественных работ для анонса своего нового сериала о Фаине Раневской. Искусственный интеллект обрабатывал запросы с известными цитатами этой легендарной актрисы, результатом чего стали остроумные иллюстрации.
В Уфе рекламную компанию застройщика создала нейросеть. Так, на улицах города появились баннеры с объявлением продажи квартир экогорода «Яркий», а по интернету распространялась веселая видео-реклама.
Кстати, еще полгода назад само по себе создание графической рекламы нейросетью было дополнительным поводом обратить на себя внимание рынка и попасть в заголовки местных СМИ. Сейчас вполне можно заскочить в этот вагончик, создав полноценное рекламное видео с помощью модели SORA.
Рекламы от нейросетей уже настолько много, что в Google подумывают обязать рекламодателей специально маркировать креативы, созданные искусственным интеллектом.
GreenSMM: В каком направлении будет развиваться индустрия видеопроизводства с внедрением подобных генеративных технологий, и какие изменения мы можем ожидать в качестве видеоконтента?
Александр: Мы можем ожидать изменений в скорости производства и качестве видеоконтента: автоматизированная генерация сцен и визуальных эффектов, более быстрый процесс производства и расширение творческих возможностей. Открываются новые горизонты для создания уникальных и захватывающих видеороликов, которые ранее были сложными или трудозатратными для реализации вручную.
GreenSMM: Какие профессии могут быть под угрозой из-за развития подобных технологий?
Александр: Развитие подобных технологий может потенциально повлиять на некоторые профессии. Например, монтажеры, аниматоры и дизайнеры визуальных эффектов могут столкнуться с угрозой автоматизации и замены своей работы генеративными моделями, включая SORA.
GreenSMM: Как профессионалы в области видеопродакшена могут адаптироваться к изменениям, вызванным внедрением SORA, чтобы оставаться востребованными на рынке?
Александр: Профессионалы в области видеопродакшена могут остаться востребованными путем активного освоения и использования новых инструментов и технологий. Они могут сосредоточиться на развитии своих навыков в области творчества, уникального видеоконтента и специализированных услуг, которые не могут быть полностью заменены генеративными моделями. Ключевыми аспектами адаптации являются инновация, поиск новых возможностей и постоянное обучение, чтобы оставаться конкурентоспособными в эволюционирующей сфере видеопродакшена.
GreenSMM: Какие возможности SORA предоставляет для маркетологов и контент-мейкеров, особенно в контексте создания проектов text-to-video, и какие вызовы могут возникнуть в этой области?
Александр: SORA предоставляет маркетологам и контент-мейкерам значительные возможности в контексте создания проектов text-to-video. Она позволяет преобразовывать текстовую информацию в видеоформат, что может быть полезно для создания анимированных объяснительных видео, видеопрезентаций или рекламных роликов. SORA позволяет автоматически генерировать визуальные элементы, анимацию и визуальные эффекты на основе предоставленного текста, что упрощает и ускоряет процесс создания видеоконтента.
Однако, возникают и вызовы в этой области. Важно убедиться, что генерируемый контент точно отражает предназначение и цель проекта, а также соответствует бренду и аудитории. Контент-мейкерам и маркетологам может потребоваться тщательное редактирование и настройка сгенерированного видео, чтобы достичь желаемого эффекта и качества. Также следует учитывать этические и правовые вопросы, связанные с использованием генеративной технологии, чтобы избежать плагиата или нарушения авторских прав.
GreenSMM: Каким образом использование SORA влияет на качество видеоконтента в общем, и какие изменения ожидаются в подходах к созданию рекламы и контент-маркетингу?
Александр: С одной стороны, SORA позволяет создавать видео быстрее и более эффективно, что может приводить к увеличению объема производства и доступности видеоконтента. Однако, качество видеоконтента, созданного с помощью SORA, может варьироваться в зависимости от сценария, данных и качества настройки модели.
В подходах к созданию рекламы и контент-маркетинга ожидаются изменения. Благодаря SORA, рекламные и маркетинговые команды могут экспериментировать с новыми форматами и стилями видеоконтента. SORA может быть использована для автоматической генерации персонализированного контента, создания анимаций и визуальных эффектов, что может улучшить вовлеченность аудитории. Однако, важно оставаться внимательным к контексту и целям рекламы, чтобы генерируемый контент соответствовал бренду и вызывал желаемую реакцию у целевой аудитории. Контент-маркетологи могут также столкнуться с вызовами в области контроля качества и управления этическими и правовыми аспектами использования генеративной технологии в рекламе.
GreenSMM: Существуют ли перспективы в использовании SORA для персонализированной генеративной рекламы, и как это может изменить динамику рынка, включая сегмент YouTube?
Александр: С помощью SORA можно создавать видеорекламу, которая учитывает предпочтения и характеристики конкретного зрителя, делая контент более релевантным и привлекательным. Это открывает новые возможности для более эффективного таргетинга и персонализации рекламных сообщений, что может привести к улучшению вовлеченности аудитории и увеличению конверсий.
В контексте YouTube, персонализированная генеративная реклама может изменить динамику рынка, давая рекламодателям возможность создавать более привлекательные и целевые рекламные видео. Зрителям будет представлена более релевантная и интересная реклама, что может улучшить их опыт просмотра и снизить вероятность пропуска рекламы.
GreenSMM: Какие новые стандарты качества видеопроизводства устанавливает SORA, и какие изменения она вносит в взаимодействие с аудиторией?
Александр: SORA позволяет создавать более сложные визуальные элементы, анимацию и визуальные эффекты, которые ранее требовали больше времени и ресурсов для разработки. Это может повлиять на ожидания аудитории, которая станет более привыкшей к высокому уровню визуальной привлекательности и качества видеоконтента. SORA также может изменить взаимодействие с аудиторией, предоставляя возможности для персонализации и создания более привлекательных видео, что может улучшить вовлеченность и воздействие на аудиторию.
GreenSMM: Как OpenAI планирует поддерживать и развивать SORA в будущем, и какие инновации мы можем ожидать в этой области? Стоит ли ожидать новых технологических прорывов в области генерации видео в ближайшем будущем?
Александр: OpenAI планирует продолжать поддерживать и развивать SORA в будущем, основываясь на обратной связи и потребностях пользователей. Они активно работают над улучшением алгоритмов, расширением функциональности и увеличением доступности SORA для широкого круга пользователей. Мы можем ожидать новых инноваций в области генерации видео: появление еще более детализированной визуализации, улучшенной анимации и специальных эффектов, а также расширение возможностей персонализации и адаптации контента под конкретные потребности пользователей.
