Разработчики NVIDIA смогли с помощью ИИ получить slow-mo видео из 30 FPS

Разработчики компании NVIDIA смогли с помощью глубокого машинного обучения создать систему по обработке и созданию видеороликов категории "slow motion" ("замедленное движение") имея в качестве исходного ролики, снятые на рядовые камеры с характеристиками от 30 FPS (Frame per Second, кадры в секунду). Полученный результат, при этом, может превосходить тот, которые достигается специализированным дорогостоящим оборудованием.

Своё решение специалисты NVIDIA презентовали на конференции Computer Vision and Pattern Recognition (CVPR) в Солт-Лейк Сити. В сопроводительном к проекту пресс-релизе разработчики написали: "В нашей жизни происходит много памятных событий, которые мы хотели бы запечатлеть камерой замедленной съёмки, потому что такие события трудно рассмотреть отчётливо и ясно имеющимися у нас глазами: первые шаги ребёнка, трудной трюк на скейт-борде, собака, ловящая на лету мяч. Хотя сегодня есть возможность снимать ролики на 240 FPS-камеру некоторых мобильных телефонов, снимать всё высокоскоростной съёмкой непрактично, т.к. потребует больших объёмов памяти и электропитания для мобильного устройства."

Используя в своём решении графические сопроцессоры NVIDIA Tesla V100 и cuDNN-ускоренную платформу глубокого машинного обучения PyTorch, команда разработчиков тренировали свою систему ежедневно на более, чем 11000 видеороликов и снимков спортивных событий камерами 240 FPS. Натренированная система декодирования смогла "предсказывать" дополнительные и недостающие для формирования плавной замедленной съёмки видеокадры. Для отработки и подтверждения точности работы системы разработчики использовали набор вводных из ранее не задействованного ряда видеороликов. В результате получилось создать более естественный и качественный видеоряд замедленной съёмки с меньшим эффектом размытия.

"В применяемом нами подходе создаётся множество промежуточных кадров, связанных в пространстве и времени" - комментируют разработчики - "Наш мультикадровый подход неизменно превосходит результаты самых передовых однокадровых методов".

В качестве демонстрации своих исследований, разработчики использовали видеоклипы из тематического YouTube шоу-канала "The Slow Mo Guy", и ещё больше уменьшили скорость размещённых замедленных роликов.

Как было сказано выше, метод позиционируется как возможность замедлить повседневные видеоролики с запоминающимися событиями и придать им кинематографичености, интриги, выразительности и ощущения предчувствия. Добавим, что помимо определённого бума и разрастания соответствующего сегмента видеоканалов на YouTube, подобное решение может очень серьёзным образом озадачить индустрию по производству дорогостоящей видео и обрабатывающей аппаратуры для ускоренной съёмки.

Команда разработчиков NVIDIA: (Huaizu Jiang, Deqing Sun, Varun Jampani, Ming-Hsuan Yang, Erik Learned-Miller, Jan Kautz)

Подписывайтесь на наши социальные сети и добавляйте новостной раздел в закладки, чтобы ничего не пропустить. 
По вопросам консультации и приобретения обращайтесь к нашим специалистам:
+7 (495) 981-60-70
sales@t-mash.ru