Брэд Питт останется без работы: Alibaba выпустила нейросеть для генерации фильмов и видеомонтажа

МВ

Китайский гигант Alibaba представил нейросеть Wan2.7-Video, которая переводит ИИ из разряда инструментов для создания коротких роликов в категорию полноценных кинорежиссеров. Если раньше нейросети генерировали разрозненные кадры, то новая система управляет всем съемочным процессом, от раскадровки и подбора актеров до сложного монтажа и синхронизации губ под измененный сценарий. 

Фото: кадр из видео @AlibabaCloud
Фото: кадр из видео @AlibabaCloud

Технология позволяет пользователю превратиться из простого исполнителя в постановщика, способного создавать работы «директорского» уровня с помощью обычных текстовых команд на обычном языке, без кода и других ухищрений. 

Фото: кадр из видео @AlibabaCloud
Фото: кадр из видео @AlibabaCloud

Система Wan2.7-Video объединяет в себе сразу четыре модели, которые отвечают за генерацию видео из текста, картинок и других видеоматериалов, а также за глубокое редактирование готового контента. В отличие от предыдущих итераций ИИ, эта модель решает главную проблему нейросетевого кино — отсутствие логической последовательности между кадрами. 

Фото: кадр из видео @AlibabaCloud
Фото: кадр из видео @AlibabaCloud

Теперь персонажи сохраняют свою внешность, голос и уникальные черты лица на протяжении всего фильма, а нейросеть способна удерживать консистентность до пяти различных героев одновременно в рамках сложных повествовательных линий.

Фото: кадр из видео @AlibabaCloud
Фото: кадр из видео @AlibabaCloud

Особое внимание разработчики уделили «умной» режиссуре: нейросеть понимает команды по управлению камерой, включая сложные пролеты дронов от первого лица, орбитальные съемки на 360 градусов и динамическое освещение. 

Фото: кадр из видео @AlibabaCloud
Фото: кадр из видео @AlibabaCloud

Пользователь может словами изменить погоду в кадре, переписать диалог (система сама подстроит мимику и движение губ) или задать финальный кадр, к которому нейросеть плавно подведет сюжет без резких склеек. 

Фото: кадр из видео @AlibabaCloud
Фото: кадр из видео @AlibabaCloud

На фоне таких возможностей голливудские звезды и огромные съемочные группы действительно начинают выглядеть как дорогой анахронизм, поскольку Wan2.7 позволяет за считанные минуты делать то, на что раньше уходили месяцы постпроизводства и миллионы долларов.

Параллельно с видеомоделью Alibaba обновила и генератор изображений Wan2.7-Image, который теперь выдает картинки с фотографической точностью и идеальной передачей цветов по конкретным кодам брендов. Нейросеть научилась детально прорисовывать анатомию, включая структуру костей и форму глаз, а также без ошибок рендерить сложные академические тексты, таблицы и формулы на 12 языках. 

Сочетание этих инструментов дает создателям контента возможность выпускать высокобюджетные проекты, не выходя из дома, что ставит под вопрос будущее традиционных киностудий.

Trendymen в Telegram Подписаться

Популярное на этой неделе

  1. Как открыть консервную банку голыми руками: лайфхак спасет ужин в походе

    4 мин
  2. Реальная внешность Петра I. Историки считают, что он выглядел иначе, чем на картинах

    4 мин
  3. В 1941 году немцы разобрали Т-34. Что написали в закрытом отчете

    4 мин
  4. Города, которые закрыли постановлением: Кадыкчан, Хальмер-Ю. Как они устроены сейчас

    3 мин
  5. Гидравлический таран: насос без электричества, который качает воду силой самого ручья

    4 мин
  6. Сколько зарабатывали нефтяники СССР в пересчете на современные деньги

    4 мин
  7. В Евросоюзе в поездах тоже есть плацкарт. Смотрим как он устроен и цены на билеты

    3 мин
  8. Сколько получали в СССР в переводе на современные деньги

    5 мин
  9. Сезонная переобувка шин или комплект зимних колес. 3 довода в пользу второго варианта

    3 мин
  10. 5 привычек француженок, которые россиянки принимают за невоспитанность

    3 мин
Все статьи: События