Шлем виртуальной реальности - Head-mounted display

Для авиационных приложений см. Дисплей на шлеме.
Резерв британской армии солдат демонстрирует гарнитура виртуальной реальности

А Шлем виртуальной реальности (HMD) представляет собой устройство отображения, которое носится на голове или как часть шлема (см. Дисплей на шлеме для авиационных приложений), который имеет небольшой оптический дисплей перед одним (монокуляр HMD) или каждый глаз (бинокль HMD). HMD имеет множество применений, включая игры, авиацию, инженерию и медицину.[1] Гарнитуры виртуальной реальности HMD сочетаются с Я должен. Также есть оптический дисплей на головке (OHMD), который представляет собой носимый дисплей, который может отражать проецируемые изображения и позволяет пользователю видеть сквозь него.[2]

Обзор

HMD с отслеживанием глаз с СВЕТОДИОД осветители и камеры для измерения движений глаз

Типичный HMD имеет один или два небольших дисплея с линзами и полупрозрачными зеркалами, встроенными в очки (также называемые очками для обработки данных), козырек или шлем. Блоки отображения миниатюрны и могут включать электронно-лучевые трубки (ЭЛТ), жидкокристаллические дисплеи (ЖК-дисплеи), жидкий кристалл на кремнии (LCos) или органические светодиоды (OLED). Некоторые производители используют несколько микродисплеев для увеличения общего разрешения и поле зрения.

HMD различаются тем, могут ли они отображать только компьютерные изображения (CGI), или только живые изображения из физического мира, или их комбинация. Большинство HMD могут отображать только изображение, созданное компьютером, иногда называемое виртуальным изображением. Некоторые HMD позволяют накладывать CGI на реальное изображение. Иногда это называют дополненная реальность (AR) или смешанная реальность (Г-Н). Комбинирование изображения реального мира с компьютерной графикой может быть выполнено путем проецирования компьютерной графики через частично отражающее зеркало и непосредственного просмотра реального мира. Этот метод часто называют оптическим просвечиванием. Комбинирование реального мира с CGI также может быть выполнено в электронном виде, принимая видео с камеры и смешивая его в электронном виде с CGI.

Оптический HMD

Основная статья: Оптический дисплей на голове

В оптическом головном дисплее используется оптический смеситель, который состоит из частично посеребренных зеркал. Он может отражать искусственные изображения, позволять реальным изображениям пересекать линзу и позволять пользователю смотреть сквозь нее. Существовали различные методы для смотреть сквозь HMD, большинство из которых можно разделить на два основных семейства на основе изогнутых зеркал или волноводы. Изогнутые зеркала использовали Laster Technologies и Vuzix в их продукте Star 1200. Различные волноводные методы существуют уже много лет. К ним относятся дифракционная оптика, голографическая оптика, поляризованная оптика и отражательная оптика.

Приложения

Основные приложения HMD включают военные, правительственные (пожарные, полицейские и т. Д.) И гражданско-коммерческие (медицина, видеоигры, спорт и т. Д.).

Авиационно-тактический, наземный

Основная статья: Дисплей на шлеме
ВВС США техник по летному оборудованию тестирует Scorpion установленный на шлеме интегрированная система наведения

В 1962 г. Hughes Aircraft Company показал Electrocular, компактный ЭЛТ (7 дюймов) монокулярный дисплей на голове, отражающий Телевизор сигнал в прозрачный окуляр.[3][4][5][6] HMD повышенной прочности все чаще интегрируются в кабины современных вертолетов и истребителей. Они обычно полностью интегрированы с летным шлемом пилота и могут включать защитные козырьки, приборы ночного видения, и отображение других символов.

Военные, полиция и пожарные используют HMD для отображения тактической информации, такой как карты или данные тепловизора, при просмотре реальной сцены. Последние приложения включают использование HMD для десантники.[7] В 2005 году Liteye HMD был представлен для наземных войск в качестве прочного, водонепроницаемого легкого дисплея, который крепится к стандартному американскому военному креплению PVS-14. Автономный цветной монокуляр органический светоизлучающий диод (OLED) дисплей заменяет трубку NVG и подключается к мобильному вычислительному устройству. LE имеет прозрачную способность и может использоваться как стандартный шлем или для дополненная реальность Приложения. Конструкция оптимизирована для получения данных высокой четкости при любых условиях освещения, в закрытых или прозрачных режимах работы. LE имеет низкое энергопотребление, работает от четырех батареек AA в течение 35 часов или получает питание от стандартного универсальная последовательная шина (USB) подключение.[8]

Агентство перспективных оборонных исследовательских проектов (DARPA ) продолжает финансировать исследования в дополненная реальность HMD как часть программы постоянной поддержки с воздуха (PCAS). Vuzix в настоящее время работает над системой для PCAS, которая будет использовать голографические волноводы для производства прозрачных очков дополненной реальности толщиной всего несколько миллиметров.[9]

Инженерное дело

Инженеры и ученые используют HMD для обеспечения стереоскопический взгляды на системы автоматизированного проектирования (CAD) схемы.[10] Виртуальная реальность в применении к проектированию и дизайну является ключевым фактором интеграции человека в дизайн. Позволяя инженерам взаимодействовать со своими проектами в полном масштабе в натуральную величину, продукты могут быть проверены на наличие проблем, которые, возможно, не были заметны до создания физического прототипа. Использование HMD для виртуальной реальности рассматривается как дополнение к традиционному использованию Пещера для моделирования VR. HMD преимущественно используются для взаимодействия с дизайном одного человека, в то время как CAVE позволяют проводить больше совместных сеансов виртуальной реальности.

Системы отображения на голове также используются при обслуживании сложных систем, поскольку они могут дать техническому специалисту смоделированное рентгеновское зрение путем объединения компьютерной графики, такой как системные диаграммы и изображения, с естественным зрением техника (дополненная или измененная реальность).

Медицина и исследования

Есть также приложения в хирургии, где комбинация рентгенологических данных (Рентгеновская компьютерная томография (CAT) сканирование и магнитно-резонансная томография (МРТ)) сочетается с естественным взглядом хирурга на операцию и анестезией, когда жизненные показатели пациента всегда находятся в поле зрения анестезиолога.[11]

Исследовательские университеты часто используют HMD для проведения исследований, связанных со зрением, балансом, познанием и неврологией. По состоянию на 2010 г. использование прогнозирующего измерения визуального отслеживания для выявления легкой травматическое повреждение мозга изучается. В тестах визуального слежения блок HMD с отслеживание глаз Способность показывает объект, движущийся в обычном порядке. Люди без травм головного мозга могут отслеживать движущийся объект с помощью плавное преследование движения глаз и правильные траектория.[12]

Игры и видео

Смотрите также: Гарнитура виртуальной реальности

Доступны недорогие HMD-устройства для использования с 3D-играми и развлекательными приложениями. Одним из первых коммерчески доступных HMD был Форте VFX1 о котором было объявлено на Выставка бытовой электроники (CES) в 1994 году.[13] VFX-1 имел стереоскопические дисплеи, 3-осевое отслеживание движения головы и стереонаушники. Еще одним пионером в этой области была Sony, выпустившая Glasstron в 1997 году. В качестве дополнительного аксессуара он имел позиционный датчик, который позволял пользователю наблюдать за окружающей средой, при этом перспектива перемещалась по мере движения головы, обеспечивая глубокое ощущение погружения. В игре было одно новое применение этой технологии. MechWarrior 2, что позволило пользователям Sony Glasstron или iGlasses Virtual I / O принять новую визуальную перспективу изнутри кабины корабля, используя свои собственные глаза как визуальные и видя поле боя через собственную кабину своего корабля.

Многие бренды видеоочков могут быть подключены к современным видео- и зеркальным фотоаппаратам, что делает их пригодными для использования в качестве мониторов нового поколения. Благодаря способности очков блокировать окружающий свет, создатели фильмов и фотографы могут видеть более четкие презентации своих живых изображений.[14]

В Oculus Rift это виртуальная реальность (VR) головной дисплей, созданный Палмер Лаки что компания Oculus VR разработан для моделирования виртуальной реальности и видеоигр.[15] В HTC Vive - это дисплей виртуальной реальности, закрепленный на голове. Гарнитура произведена при сотрудничестве Клапан и HTC, отличительной чертой которого является точное отслеживание в масштабе помещения и высокоточные контроллеры движения. В PlayStation VR это гарнитура виртуальной реальности для игровых консолей, предназначенная для PlayStation 4.[16] Смешанная реальность Windows - это платформа, разработанная Microsoft, которая включает в себя широкий спектр гарнитур, производимых HP, Samsung и другими, и способна играть в большинство игр HTC Vive. Он использует только отслеживание наизнанку для своих контроллеров.

Виртуальный кинотеатр

Некоторые налобные дисплеи предназначены для демонстрации традиционного видео- и киноконтента в виртуальном кинотеатре. Эти устройства обычно имеют относительно узкое поле зрения 50–60 ° и поэтому менее иммерсивны, чем гарнитуры виртуальной реальности, но они, соответственно, предлагают более высокое разрешение с точки зрения пикселей на градус. Продукты, выпущенные к 2018 году с разрешением 1920 × 1080 на глаз, включали Goovis G2.[17] и Ройоль Мун.[18]

Виды спорта

Система HMD была разработана для Формула один драйверы Kopin Corp. и БМВ Группа. HMD отображает критически важные данные о гонке, позволяя водителю продолжать концентрироваться на трассе, поскольку бригады пита контролируют данные и сообщения, отправляемые их водителям через двустороннее радио.[19] Recon Instruments выпустила 3 ​​ноября 2011 года два налобных дисплея для лыжные очки, MOD и MOD Live, последний основан на операционной системе Android.[20]

Обучение и симуляция

Ключевым приложением для HMD является обучение и моделирование, позволяющие виртуально поместить обучаемого в ситуацию, которая либо слишком дорога, либо слишком опасна для воспроизведения в реальной жизни. Обучение с помощью HMD охватывает широкий спектр применений, от вождения, сварки и окраски распылением, рейс симуляторы транспортных средств, обучение спешивающихся солдат, обучение медицинским процедурам и многое другое. Однако ряд нежелательных симптомов был вызван длительным использованием определенных типов головных дисплеев, и эти проблемы должны быть решены до того, как станет возможным оптимальное обучение и симуляция.[21]

Параметры производительности

  • Возможность показывать стереоскопические изображения. Бинокль HMD может отображать разные изображения для каждого глаза. Это можно использовать, чтобы показать стереоскопический картинки. Следует иметь в виду, что так называемая «оптическая бесконечность» обычно принимается летными хирургами и обозначается экспертами как около 9 метров. Это расстояние, на котором, учитывая "базовую линию" среднего дальномера человеческого глаза (расстояние между глазами или Межзрачковое расстояние (IPD)) от 2,5 до 3 дюймов (от 6 до 8 см), угол объекта на этом расстоянии становится практически одинаковым для каждого глаза. На меньших расстояниях перспектива для каждого глаза значительно отличается, и затраты на создание двух разных визуальных каналов с помощью системы компьютерных изображений (CGI) становятся окупаемыми.
  • Межзрачковое расстояние (IPD). Это расстояние между двумя глазами, измеряемое по зрачкам, и оно важно при разработке дисплеев, закрепленных на голове.
  • Поле зрения (FOV) - У людей угол обзора около 180 °, но большинство HMD предлагают гораздо меньше этого. Как правило, более широкое поле зрения приводит к большему ощущению погружения и лучшей ситуационной осведомленности. Большинство людей не имеют четкого представления о том, как будет выглядеть конкретный указанный FOV (например, 25 °), поэтому производители часто указывают видимый размер экрана. Большинство людей сидят на расстоянии около 60 см от своих мониторов и хорошо понимают размеры экрана на таком расстоянии. Чтобы преобразовать видимый размер экрана производителя в положение монитора рабочего стола, разделите размер экрана на расстояние в футах, а затем умножьте на 2. Шлемники потребительского уровня обычно предлагают угол обзора около 110 °.
  • Разрешение - HMD обычно указывают либо общее количество пикселей, либо количество пикселей на градус. Перечисление общего количества пикселей (например, 1600 × 1200 пикселей на глаз) заимствовано из того, как представлены спецификации компьютерных мониторов. Однако плотность пикселей, обычно указываемая в пикселях на градус или в угловых минутах на пиксель, также используется для определения остроты зрения. 60 пикселей / ° (1 угл. Мин. / Пиксель) обычно называют ограничивающее разрешение глаза, выше которого повышенное разрешение не замечается людьми с нормальным зрением. HMD обычно предлагают от 10 до 20 пикселей / °, хотя достижения в области микродисплеев помогают увеличить это число.
  • Бинокулярное перекрытие - измерение площади, общей для обоих глаз. Бинокулярное перекрытие является основой для ощущения глубины и стерео, позволяя людям определять, какие объекты находятся рядом, а какие - далеко. У людей бинокулярное перекрытие составляет около 100 ° (50 ° слева от носа и 50 ° справа). Чем больше бинокулярное перекрытие, предлагаемое HMD, тем сильнее ощущение стерео. Перекрытие иногда указывается в градусах (например, 74 °) или в процентах, указывающих, какая часть поля зрения каждого глаза является общей для другого глаза.
  • Дальний фокус (коллимация). Оптические методы могут использоваться для представления изображений в удаленном фокусе, что, кажется, улучшает реализм изображений, которые в реальном мире были бы на расстоянии.
  • Встроенная обработка и операционная система. Некоторые поставщики HMD предлагают встроенные операционные системы, такие как Android, что позволяет приложениям запускаться локально на HMD и устраняет необходимость быть привязанным к внешнему устройству для создания видео. Иногда их называют умные очки. Чтобы облегчить конструкцию HMD, производители могут переместить систему обработки данных в форм-фактор подключенного интеллектуального ожерелья, что также даст дополнительное преимущество в виде более крупного аккумуляторного блока. Такое решение позволило бы разработать облегченный HMD с достаточным источником энергии для двойных видеовходов или более высокочастотного мультиплексирования на основе времени (см. Ниже).

Поддержка форматов 3D видео

Последовательное мультиплексирование кадров
Параллельное и верхнее-нижнее мультиплексирование

Восприятие глубины внутри HMD требует разных изображений для левого и правого глаза. Есть несколько способов предоставить эти отдельные изображения:

  • Используйте двойные видеовходы, обеспечивая тем самым полностью отдельный видеосигнал для каждого глаза.
  • Мультиплексирование на основе времени. Такие методы, как чередование кадров, объединяют два отдельных видеосигнала в один сигнал путем чередования левого и правого изображений в последовательных кадрах.
  • Параллельное или верхнее-нижнее мультиплексирование. Этот метод распределял половину изображения для левого глаза, а другую половину изображения - для правого глаза.

Преимущество двойных видеовходов заключается в том, что они обеспечивают максимальное разрешение для каждого изображения и максимальную частоту кадров для каждого глаза. Недостатком двойных видеовходов является то, что они требуют отдельных видеовыходов и кабелей от устройства, генерирующего контент.

Мультиплексирование на основе времени сохраняет полное разрешение для каждого изображения, но снижает частоту кадров вдвое. Например, если сигнал представлен с частотой 60 Гц, каждый глаз получает только обновления 30 Гц. Это может стать проблемой при точном представлении быстро движущихся изображений.

Параллельное и верхнее-нижнее мультиплексирование обеспечивает полноскоростные обновления для каждого глаза, но снижает разрешение для каждого глаза. Многие 3D-трансляции, такие как ESPN, решили обеспечить параллельное 3D, которое избавляет от необходимости выделять дополнительную полосу пропускания и больше подходит для динамичных спортивных мероприятий по сравнению с методами мультиплексирования на основе времени.

Не все HMD обеспечивают восприятие глубины. Некоторые младшие модули по сути являются двухокулярными устройствами, в которых оба глаза отображаются с одним и тем же изображением. 3D-видеопроигрыватели иногда обеспечивают максимальную совместимость с HMD, предоставляя пользователю возможность выбора используемого 3D-формата.

Периферийные устройства

  • Самые элементарные HMD просто проецируют изображение или символы на козырек или сетку пользователя. Изображение не привязано к реальному миру, то есть изображение не изменяется в зависимости от положения головы пользователя.
  • Более сложные HMD включают система позиционирования который отслеживает положение и угол головы владельца, так что отображаемый рисунок или символ соответствует внешнему миру с использованием прозрачных изображений.
  • Отслеживание головы - привязка изображений. Головные дисплеи могут также использоваться с датчиками слежения, которые обнаруживают изменения угла и ориентации. Когда такие данные доступны в системном компьютере, их можно использовать для создания соответствующих компьютерных изображений (CGI) для угла обзора в конкретное время. Это позволяет пользователю осмотреться а виртуальная реальность Простое перемещение головы без необходимости использования отдельного контроллера для изменения угла изображения. В системах на основе радио (по сравнению с проводами) владелец может перемещаться в пределах слежения за системой.
  • Отслеживание глаз - Слежение за глазами измеряет точку взгляда, позволяя компьютеру определять, куда смотрит пользователь. Эта информация полезна в различных контекстах, таких как навигация по пользовательскому интерфейсу: воспринимая взгляд пользователя, компьютер может изменить информацию, отображаемую на экране, привлечь внимание к дополнительным деталям и т. Д.
  • Отслеживание рук - отслеживание движения руки с точки зрения HMD обеспечивает естественное взаимодействие с контентом и удобный игровой механизм

Смотрите также

использованная литература

  1. ^ Сибата, Такаши (1 апреля 2002 г.). "Шлем виртуальной реальности". Дисплеи. 23 (1–2): 57–64. Дои:10.1016 / S0141-9382 (02) 00010-0. ISSN  0141-9382.
  2. ^ Сазерленд, Иван Э. (9 декабря 1968 г.). «Головной трехмерный дисплей». Материалы осенней совместной компьютерной конференции 9-11 декабря 1968 года, часть I - AFIPS '68 (осень, часть I). ACM. С. 757–764. CiteSeerX  10.1.1.388.2440. Дои:10.1145/1476589.1476686. S2CID  4561103. Получено 10 июн 2018.
  3. ^ "Наука: Взгляд со стороны". Время. 13 апреля 1962 г.
  4. ^ Доктор Джеймс Миллер, Фуллертон, Калифорния, психолог-исследователь группы наземных систем в Хьюз, "У меня есть секрет", 9 апреля 1962 г. CBS
  5. ^ «Третий глаз для исследователей космоса». Популярная электроника. Июль 1962 г.
  6. ^ "'Увидеть вещи с помощью электрокуляр ". Наука и механика. Август 1962 г.
  7. ^ Томпсон, Джейсон И. «Трехмерный основной полетный образец для парашютистов с креплением на шлем». Технологический институт ВВС.
  8. ^ «Дисплеи Liteye OLED, устанавливаемые на шлеме]», Обновление защиты (3), 2005[мертвая ссылка ]
  9. ^ Шахтман, Ной (11 апреля 2011 г.). "Очки с голограммой Darpa откроют ад дронов". Проводной. Получено 29 июн 2011.
  10. ^ Уиллер, Эндрю (июль 2016 г.). «Общие сведения о гарнитурах виртуальной реальности». Engineering.com.
  11. ^ Лю, Дэвид; Дженкинс, Саймон А .; Сандерсон, Пенелопа М .; Фабиан, Перри; Рассел, У. Джон (2010). «Мониторинг с установленными на голове дисплеями в общей анестезии: клиническая оценка в операционной». Анестезия и обезболивание. 110 (4): 1032–1038. Дои:10.1213 / ANE.0b013e3181d3e647. PMID  20357147. S2CID  22683908.
  12. ^ Марута, Дж; Ли, ЮАР; Джейкобс, EF; Ghajar, J (октябрь 2010 г.). «Единая наука о сотрясении мозга». Летопись Нью-Йоркской академии наук. 1208 (1): 58–66. Bibcode:2010НЯСА1208 ... 58М. Дои:10.1111 / j.1749-6632.2010.05695.x. ЧВК  3021720. PMID  20955326.
  13. ^ Кокрейн, Натан. "Шлем виртуальной реальности VFX-1 от Forte". GameBytes. Получено 29 июн 2011.
  14. ^ «Видео-очки можно подключать к зеркальным фотоаппаратам». Hitari. 30 мая 2013 года. Получено 19 июн 2013.
  15. ^ «Oculus Rift - гарнитура виртуальной реальности для 3D-игр». Получено 2014-01-14.
  16. ^ Макуч, Эдди (13 ноября 2013). «Xbox One, PS4« слишком ограничены »для Oculus Rift, - говорит создатель». GameSpot.
  17. ^ Такада, Масуми; Ямамото, Сёта; Мияо, Масару; Такада, Хироки (2019). Влияние стереоскопических видеоклипов с низким / высоким разрешением на функцию равновесия. Спрингер, Чам. С. 669–682. Дои:10.1007/978-3-030-23560-4. ISBN  978-3-030-23559-8.
  18. ^ Кронсберг, Мэтью (1 ноября 2017 г.). «Гарнитура Royole Moon похожа на кинозал IMAX в полете, привязанный к вашему лицу». Австралийский финансовый обзор.
  19. ^ "CDT приобретает бизнес Opsys по производству дендримеров OLED". Архивировано из оригинал на 2008-07-05.
  20. ^ "Технологии нового поколения Recon Instruments доступны этой осенью". Инструменты разведки. 2011-11-03. Архивировано из оригинал на 2012-03-09.
  21. ^ Лоусон, Б. Д. (2014). Симптоматика укачивания и ее происхождение. Справочник виртуальных сред: проектирование, реализация и приложения, 531-599.

Список используемой литературы