Объемное видео - Volumetric video

Эта статья поднимает множество проблем. Пожалуйста помоги Улучши это или обсудите эти вопросы на страница обсуждения. (Узнайте, как и когда удалить эти сообщения-шаблоны) эта статья нужны дополнительные цитаты для проверка. Пожалуйста помоги улучшить эту статью от добавление цитат в надежные источники. Материал, не полученный от источника, может быть оспорен и удален. Найдите источники: «Объемное видео»  – Новости  · газеты  · книги  · ученый  · JSTOR (Декабрь 2018 г.) (Узнайте, как и когда удалить этот шаблон сообщения) эта статья возможно содержит оригинальные исследования. Пожалуйста Улучши это от проверка заявленные претензии и добавление встроенные цитаты. Заявления, содержащие только оригинальные исследования, следует удалить. (Апрель 2018 г.) (Узнайте, как и когда удалить этот шаблон сообщения) (Узнайте, как и когда удалить этот шаблон сообщения)

Объемное видео - это техника, позволяющая запечатлеть трехмерное пространство, такое как местоположение или представление.^[1] Этот тип волюмография собирает данные, которые можно просматривать на плоских экранах, а также с помощью 3D-дисплеи и Очки VR. Форматы, ориентированные на потребителя, многочисленны и требуются захвата движения методы опираются на компьютерная графика, фотограмметрия, и другие методы, основанные на вычислениях. Зритель обычно видит результат в виде в реальном времени Engine и имеет непосредственный вклад в исследование сгенерированного объема.

История

Записывающий талант без ограничения плоского экрана был изображен в научная фантастика в течение долгого времени. Голограммы и 3D визуальные эффекты реального мира занимают видное место в Звездные войны, Бегущий по лезвию, и многие другие научно-фантастические произведения за эти годы. Благодаря растущему прогрессу в области компьютерной графики, оптики и обработки данных эта фантастика постепенно превратилась в реальность. Объемное видео - это следующий логический шаг после стереоскопических фильмов и видео в формате 360 °, поскольку он сочетает в себе визуальное качество фотографии с качеством изображения. погружение и интерактивность пространственного контента, и может оказаться самым важным достижением в области записи человеческих действий с момента создания современного кино. Первый отчет о рынке объемного видео вышел в мае 2018 года, а первая онлайн-публикация, посвященная объемному видео, вышла в ноябре 2019 года - »Объемные видео новости ".

Компьютерная графика и VFX

Создание 3D моделей из видео, фотография, и другие способы измерения мира всегда были важной темой в компьютерная графика. Конечная цель - имитировать реальность в мельчайших деталях, давая творцам возможность строить на этом фундаменте миры, соответствующие их видению. Традиционно художники создают эти миры, используя методы моделирования и рендеринга, разработанные за десятилетия с момента зарождения компьютерной графики. Визуальные эффекты в фильмах и видеоиграх проложили путь к прогрессу в фотограмметрия, сканирующие устройства и вычислительный сервер для обработки данных, полученных с помощью этих новых интенсивных методов. Как правило, эти достижения стали результатом создания более продвинутых визуальных элементов для развлечений и СМИ, но не были целью самой области.

ЛИДАР

Leica HDS-3000 ЛИДАР

ЛИДАР сканирование описывает метод съемки, который использует точки с лазерной выборкой, плотно упакованные для сканирования статических объектов в облако точек. Это требует физического сканеры и производит огромное количество данных. В 2007 году группа Radiohead широко использовала его для создания музыкального видеоклипа на «Карточный домик», запечатлевая исполнение облака точек на лице певца и избранных средах в одном из первых применений этой технологии для объемного захвата. Директор Джеймс Фрост сотрудничал с медиа-художником Аарон Коблин для захвата трехмерных облаков точек, используемых для этого музыкального клипа, и хотя окончательный результат этой работы все еще представлял собой визуализированное плоское представление данных, захват и образ мышления авторов уже опережали свое время. Облака точек, являясь отдельными образцами трехмерного пространства с указанием положения и цвета, создают высокоточное представление реального мира с огромным объемом данных. Однако просмотреть эти данные в режиме реального времени еще не было возможности.

Структурированный свет

Kinect для Xbox One

В 2010 Microsoft принес Kinect на рынок, потребительский продукт, который использовал структурированный свет в инфракрасном спектре для создания трехмерной сетки с помощью своей камеры. Хотя целью было облегчить и внедрить инновации в пользовательский ввод и игровой процесс, это было очень быстро адаптировано в качестве универсального устройства для захвата 3D-данных в сообществе объемного захвата. Путем проецирования известного рисунка на пространство и улавливания искажений объектами сцены полученный результат может быть вычислен для получения различных выходных данных. Художники и любители начали создавать инструменты и проекты на основе доступного устройства, что вызвало растущий интерес к объемному захвату как к творческой среде.

Затем исследователи из Microsoft сконструировали весь этап захвата с использованием нескольких камер, устройств Kinect и алгоритмов, которые генерировали полный объемный захват из объединенной оптической информации и информации о глубине. Это теперь Microsoft Mixed Reality Capture Studio, используемых сегодня как часть их исследовательского подразделения, так и в некоторых избранных коммерческих проектах, таких как Бегущий по лезвию 2049 VR опыт. В настоящее время действуют три студии: Редмонд, Вашингтон; Сан-Франциско, Калифорния, и Лондон, Англия. Хотя это остается очень интересным вариантом для рынка высокого класса, доступная цена одного устройства Kinect побудила больше художников-экспериментаторов и независимых директоров активнее работать в области объемного захвата.^[2] Два результата этой деятельности: Набор глубины и EF EVE ™. EF EVE ™ поддерживает один или два датчика на одном ПК, обеспечивая полный объемный захват с простой настройкой. Он также имеет автоматическую калибровку датчиков и функцию VFX. Depthkit - это программный пакет, который позволяет собирать геометрические данные с помощью одного структурированного светового датчика, включая Azure Kinect,^[3] а также высококачественная цветная детализация с подключенной камеры-свидетеля. Технология Depthkit, созданная компанией Scatter, использовалась кинематографистами для создания видеоконтента и корпорациями для создания маркетинговых и обучающих инструментов. Такие компании, как The Wave и Territory Studios, используют его для спецэффектов, а режиссер Ричард Ли использовал его в музыкальных клипах, таких как Eminem’s Бог рэпа.  

Фотограмметрия

3D анимация

Фотограмметрия описывает процесс измерения данных на основе фотографий. Будучи таким же старым, как сама фотография, только благодаря многолетнему прогрессу в исследованиях объемного захвата теперь стало возможным захватывать все больше и больше геометрических и текстурных деталей из большого количества входных изображений. Результат обычно разделяется на два составных источника: статическая геометрия и полный захват производительности. Для статической геометрии наборы, захваченные с большим количеством перекрывающихся цифровых изображений, затем выравниваются друг с другом с использованием аналогичных функций в изображениях и используются в качестве основы для триангуляции и оценки глубины. Эта информация интерпретируется как 3D геометрия, в результате получилась почти идеальная копия набора. Однако при захвате с полной производительностью используется массив видеокамер для захвата информации в реальном времени. Эти синхронизированные камеры затем используются покадрово для создания набора точек или геометрии, которые можно воспроизводить на высокой скорости, что приводит к полному захвату объемных характеристик, который можно объединить в любую среду. В 2008 году 4DViews^[4] установила первую систему захвата объемного видео в студии DigiCast в Токио (Япония). Позже в 2015 году 8i внесли свой вклад в эту область, а недавно Intel, Microsoft,^[5] и Samsung^[6] присоединились к ним, создав свои собственные этапы захвата для захвата производительности и фотограмметрии.

Виртуальная реальность

Гарнитура виртуальной реальности

Поскольку объемное видео превратилось в коммерчески применимый подход к захвату окружающей среды и производительности, возможность перемещать результаты с шестью степенями свободы и истинной стереоскопией потребовала нового типа устройства отображения. С ростом популярности виртуальной реальности, ориентированной на потребителей, в 2016 году с помощью таких устройств, как Oculus Rift и HTC Vive, это стало неожиданно возможным. Стереоскопический обзор и возможность вращать и двигать головой, а также перемещаться в небольшом пространстве позволяют погрузиться в среду, намного превосходящую то, что было возможно в прошлом. Фотографический характер снимков в сочетании с этим погружением и получаемой интерактивностью - это еще один гигантский шаг к тому, чтобы стать святым Граалем настоящей виртуальной реальности. С ростом количества видеоконтента 360 ° спрос на 6 степеней свободы захват растет, и виртуальная реальность, в частности, стимулирует применение этой технологии, постепенно объединяя кино, игры и искусство с областью исследований объемного захвата.

Световые поля

Lytro Illum Camera, камера светового поля второго поколения.

Световые поля описать в заданной точке образца падающий свет со всех сторон. Затем это используется в Постобработка для создания таких эффектов, как глубина резкости а также позволяет пользователю слегка двигать головой. С 2006 г. Lytro создает ориентированные на потребителя камеры, позволяющие снимать световые поля. Поля могут быть захвачены камерой наизнанку или снаружи при визуализации трехмерной геометрии, представляя огромное количество информации, готовой к манипуляции. В настоящее время скорость передачи данных по-прежнему остается большой проблемой, и этот метод имеет большой потенциал в будущем, поскольку он измеряет свет и отображает результат различными способами.

Еще один побочный продукт этого метода - достаточно точный карта глубины сцены. Это означает, что каждый пиксель имеет информацию о расстоянии от камеры. Facebook использует эту идею в своих Объемный360 семейство камер для захвата видео в формате 360 °, которое сшивается с помощью карт расстояний. Извлечение этих необработанных данных возможно и позволяет захватывать любой этап с высоким разрешением. Опять же, скорость передачи данных в сочетании с точностью карт глубины - это огромные узкие места, которые вскоре будут преодолены с помощью более совершенных методов оценки глубины, сжатия, а также параметрических световых полей.

Рабочие процессы

В настоящее время доступны различные рабочие процессы для создания объемного видео. Они не исключают друг друга и эффективно используются в комбинациях. Вот несколько примеров, демонстрирующих некоторые из них:

На основе сетки

Такой подход создает более традиционный 3D треугольная сетка похожа на геометрию, используемую для компьютерных игр и визуальных эффектов. Объем данных обычно меньше, но квантование реальных данных в данные с более низким разрешением ограничивает разрешение и визуальную точность. Обычно выбираются компромиссы между плотностью сетки и конечными характеристиками.

Фотограмметрия обычно используется в качестве основы для статических сеток, а затем дополняется захватом талантов с помощью той же базовой технологии. видеограмметрия. Для создания последнего набора треугольников требуется тщательная очистка. Чтобы выйти за пределы физического мира, методы компьютерной графики могут быть развернуты для дальнейшего улучшения захваченных данных, используя художников для встраивания в статическую сетку по мере необходимости. Воспроизведение обычно обрабатывается движком реального времени и напоминает традиционный игровой конвейер в реализации, позволяя интерактивно изменять освещение и создавать творческие и архивируемые способы объединения статических и анимированных сеток.

По точкам

В последнее время внимание переключилось на точечный объемный захват. Результирующие данные представлены в виде точек или частиц в трехмерном пространстве, несущих с собой такие атрибуты, как цвет и размер точки. Это обеспечивает большую плотность информации и более высокое разрешение контента. Требуемые скорости передачи данных велики, а текущее графическое оборудование не оптимизировано для этого, а оптимизировано для конвейера рендеринга на основе сетки.

Основное преимущество очков - это возможность более высокого пространственного разрешения. Точки могут быть разбросаны по сеткам треугольников с заранее рассчитанным освещением или использоваться непосредственно со сканера LIDAR.^[7]. Производительность талантов фиксируется так же, как и при использовании подхода на основе сетки, но во время производства можно использовать больше времени и вычислительных мощностей для дальнейшего улучшения данных. При воспроизведении можно использовать «уровень детализации» для управления вычислительной нагрузкой на устройство воспроизведения, увеличивая или уменьшая количество полигонов.^[8]. Интерактивные изменения освещения труднее реализовать, поскольку большая часть данных предварительно запечена. Это означает, что, хотя информация об освещении, хранящаяся в точках, очень точна и достоверна, ей не хватает возможности легко изменить в любой данной ситуации. Еще одним преимуществом точечного захвата является то, что компьютерную графику можно визуализировать с очень высоким качеством, а также сохранять в виде точек, открывая дверь для идеального сочетания реальных и воображаемых элементов.

После сбора и генерации данных редактирование и компоновка выполняются в механизме реального времени, объединяя записанные действия, чтобы рассказать предполагаемую историю. После этого конечный продукт можно просмотреть либо как плоскую визуализацию собранных данных, либо в интерактивном режиме в Гарнитура VR.

В то время как одна из целей подхода к объемному захвату на основе точек состоит в том, чтобы передавать данные точек из облака пользователю дома, что позволяет создавать и распространять реалистичные виртуальные миры по запросу, вторая цель, которую недавно рассматривали, будет реальной. поток данных времени живых событий. Это требует очень высокой пропускной способности, поскольку информация о пикселях включает данные о глубине (т.е. становится вокселями).

Обещания

Имея в виду общее понимание технологии, в этой главе будут описаны грядущие достижения в сфере развлечений и других отраслей, а также потенциал этой технологии для изменения медиа-ландшафта.

Истинное погружение

По мере того, как объемное видео превращается в глобальный захват, а аппаратное обеспечение дисплея эволюционирует, чтобы соответствовать, мы вступаем в эру истинного погружения, когда нюансы захваченного окружения в сочетании с нюансами захваченного выступления будут передавать эмоциональность в совершенно новой среде, стирая границы между реальными и виртуальные миры. Этот прорыв в мире сенсорного обмана вызовет эволюцию в том, как мы потребляем медиа, и хотя технологии для других органов чувств, таких как запах, запах и проприоцепция, все еще находятся на стадии исследований и разработок, однажды в не столь отдаленном будущем мы убедительно отправимся в новые места, как реальные, так и воображаемые. Отрасли туризма и журналистики обретут новую жизнь в способности безопасно доставить зрителя или посетителя к месту, в то время как другие, такие как архитектурная визуализация и гражданское строительство, найдут способы строить целые структуры и города и исследовать их без необходимости одиночный взмах молотка.

Полный захват и повторное использование

После того, как захват создан и сохранен, его можно повторно использовать и даже, возможно, переназначить до тошноты для обстоятельств, выходящих за рамки первоначального предполагаемого объема. Создание виртуального набора позволяет объемным видеооператорам и кинематографистам создавать истории и планировать съемки без необходимости в съемочной группе или даже без присутствия на самом физическом пространстве, а правильная визуализация может помочь актеру или исполнителю с комфортом заблокировать сцену или действие. что их практика не происходит за счет остальной продукции. Старые наборы могут быть записаны в цифровом виде, прежде чем они будут сняты, что позволит им вечно существовать в качестве места для повторного посещения и исследования в поисках развлечений и вдохновения, а несколько наборов могут быть собраны таким образом, чтобы сузить итерационные циклы дизайна декораций, звука дизайн, расцветка и многие другие аспекты производства.

Традиционные наборы навыков

Одной из проблем, вызывающих обеспокоенность в растущей области объемного захвата, является сокращение спроса на традиционные наборы навыков, такие как моделирование, освещение, анимация и т. Д. Однако, хотя в будущем набор ориентированных на производство технологий объемного захвата будет расти и расти, то же самое будет спрос на традиционные наборы навыков.

Объемный захват отлично подходит для захвата статических данных или предварительно обработанных анимированных материалов. Однако он не может создать воображаемую среду или изначально допускать какой-либо уровень интерактивности. Именно здесь опытные художники и разработчики будут пользоваться наибольшим спросом, создавая бесшовные интерактивные события и ресурсы для дополнения существующих геометрических данных или используя существующие данные в качестве основы для построения, подобно тому, как цифровой художник может рисовать поверх базовых данных. 3D визуализация. Бремя ответственности будет лежать на мастере, чтобы убедиться, что они не отстают от инструментов и рабочих процессов, которые лучше всего соответствуют их навыкам, но благоразумные обнаружат, что производственный конвейер будущего будет включать множество возможностей для оптимизации создания трудоемких и допустимых для инвестиций в более крупные творческие задачи.

Наиболее важно то, что навыки, которые в настоящее время стали наполовину устаревшими из-за достижений в области компьютерной графики и автономного рендеринга, снова станут актуальными, поскольку точность таких вещей, как настоящие, сделанные вручную наборы качественных костюмов, созданных как большие объемные захваты, почти всегда будет гораздо более захватывающий, чем что-либо полностью CG. Комбинируя эти снимки из реальной жизни с объемными снимками дополнительных элементов компьютерной графики, мы сможем объединить реальную жизнь и наше воображение так, как мы раньше могли делать только на плоском экране, создавая новые поля. в таких областях, как композитинг и VFX.

Вызовы

Процесс сбора и создания объемных данных полон проблем и нерешенных проблем. Это следующий шаг в кинематографии, и в нем есть проблемы, которые со временем будут устранены.

Визуальный язык

Поскольку каждая среда создает свой собственный визуальный язык, правила и творческие подходы, объемное видео все еще находится в зачаточном состоянии. Это можно сравнить с добавлением звука к движущимся изображениям. Необходимо было создать и протестировать новую философию дизайна. В настоящее время язык кино, искусство режиссуры закалено в боях за 100 лет. В интерактивном и нелинейном мире с шестью степенями свободы многие традиционные подходы не могут работать. Чем больше опыта создается и анализируется, тем быстрее сообщество сможет прийти к выводу об этом языке опыта.

Нарушение трубопровода

Текущие конвейеры и производство видео и фильмов не готовы к тому, чтобы стать объемными. Каждый шаг в процессе создания фильма нужно переосмысливать и изобретать заново. Съемка съемок, управление талантами на съемочной площадке, монтаж, фотография, рассказывание историй и многое другое - все это области, на которые нужно потратить время, чтобы адаптироваться к объемным рабочим процессам. В настоящее время каждое производство использует различные технологии, а также проверяет правила взаимодействия.

Скорость передачи данных

Чтобы хранить и воспроизводить захваченные данные, потребителю необходимо передавать огромные наборы данных. В настоящее время наиболее эффективным способом является создание индивидуальных приложений, которые доставляются. Пока не существует стандарта, который генерировал объемное видео и позволял бы смотреть его дома. Сжатие этих данных становится доступным с Группа экспертов по киноискусству в поисках разумного способа потоковой передачи данных. Это сделает по-настоящему интерактивные иммерсивные проекты доступными для более эффективного распространения и работы, и их необходимо решить до того, как среда станет основной.

Будущие приложения

Помимо применения в сфере развлечений, несколько других отраслей проявили интерес к съемке сцен с деталями, описанными выше. Для спортивных мероприятий было бы очень полезно детальное воспроизведение состояния игры. Это уже происходит в американском футболе и бейсболе, а также в британском футболе.^[9] Эти повторы на 360 ° позволят зрителям в будущем анализировать матч с разных точек зрения.

Документирование мест для исторических событий, снятых вживую или воссозданных, принесет большую пользу образовательному сектору. Виртуальные лекции, изображающие крупные исторические события с иммерсивным компонентом, помогут будущим поколениям вообразить пространства и совместно узнавать о событиях. Это можно абстрагировать и использовать для визуализации микромасштабных сценариев на клеточном уровне, а также для эпических событий, которые изменили ход человеческого эксперимента. Основное преимущество состоит в том, что виртуальные экскурсии - это демократизация образовательных программ высокого уровня. Возможность принять участие в посещении музея без необходимости физического присутствия там позволяет более широкой аудитории, а также позволяет учреждениям показывать весь свой инвентарь, а не подраздел, который в настоящее время демонстрируется.

Недвижимость и туризм могут точно просматривать направления и сделать отрасль розничной торговли более индивидуальной для каждого человека. Для обуви уже произведен захват продуктов, и в магазинах можно использовать волшебные зеркала, чтобы это визуализировать. Торговые центры начали использовать это, чтобы повторно заселить их, привлекая клиентов с помощью VR Arcades, а также виртуально представляя товары.

использованная литература

Список участвующих опытов

• Карточный домик, Radiohead, Музыкальное видео
• Carne Y Arena, Alejandro G. Inarritu, Художественная выставка LACMA
• Бегущий по лезвию 2049: Лаборатория памяти, опыт виртуальной реальности
• Уильям Патрик Корган: Аэронавт, опыт виртуальной реальности и музыкальное видео (снято в Microsoft Mixed Reality Studio в Редмонде, штат Вашингтон)
• Пробуждение: Эпизод первый, Начать VR и Animal Logic, Интерактивный кинематографический опыт VR