Смешанная реальность: где и как ее применяют

Виртуальная реальность

Виртуальная реальность, virtual reality или VR — это полностью нарисованный на компьютере мир. Чтобы в него попасть, человек надевает специальный шлем, перчатки или наушники. Все необходимое есть у Oculus VR, PlayStation VR и HTC Vive.

Когда человек надевает на себя технику, то попадает в трёхмерную симуляцию. Она воспроизводит виртуальный мир и персонажей, наполняет мир звуками и синхронизирует движения человека с виртуальным аватаром.

По сути, VR — этакая компьютерная игра, в которую можно «провалиться» без компьютера, приставки и монитора.

Есть особенность. Каким бы реалистичным не был виртуальный мир, он никак не связан с физическим. То есть вы можете сидеть в своей квартире, офисе или у бабушке на даче — виртуальный мир от этого не изменится, а будет везде одинаковым.

Дополненная реальность

Дополненная реальность, augmented reality или AR — это технология, которая объединяет реальный мир и виртуальные проекции. Проекции существуют как картинки. На них можно смотреть, но нельзя трогать или перемещать.

Типичный AR — мобильная игра Pokemon Go. Если запустить приложение и навести камеру на здание, парк или ТЦ, можно увидеть нарисованного покемона, который будет гармонично вписан в реальную, физическую обстановку.

Виртуальных AR-покемонов нельзя поймать прямо руками — только через экран гаджета

Чтобы попасть в AR можно приобрести очки Google Glass или Meta Vision, но хватит и обычного смартфона:

• пользователи запускают мобильное AR-приложение;
• камера гаджета сканирует реальное окружение;
• алгоритмы приложения встраивают виртуальные объекты поверх физического мира;
• пользователь видит на экране и реальный мир, и виртуальные объекты.  

Смешанная реальность

Смешанная реальность — это сочетание VR и AR-реальностей, но с особенностью. Реальные и виртуальные объекты оказывают влияние друга на друга, а сам пользователь может взаимодействовать и с теми, и с другими по желанию.

В MR-реальности пользователь взаимодействует как с реальными, так и виртуальными объектами. Источник: wikipedia

Чтобы попасть в MR-мир, нужен специальный шлем с прозрачным объективом или камерой для наблюдения за реальным миром. Например, Microsoft HoloLens или MagicLeap.

Расширенная реальность

Расширенная реальность, или Extended reality, XR — это технология, который охватит виртуальную реальность (VR), дополненную (AR) и смешанную (MR). Буква «X» означает также все будущие технологии, которые изобретут, чтобы связывать и встраивать разные реальности друг в друга. Пока что XR-гаджетов и девайсов нет.

Если пофантазировать, то будущие XR-технологии позволят пользователям, покинув виртуальный мир, вернуться в реальный, но при этом продолжать видеть виртуальные объекты и взаимодействовать с ними без смены очков и шлемов. Однако подобного устройства пока нет. Ждем, когда появится.

Где применяют mixed reality?

Производство

Смешанная реальность на заводах позволяет тестировать производственные процессы сидя в офисе: не нужно спускаться в цеха, запускать станки и конвейерные линии, тем самым нарушая работу сотрудников и отгрузки.

Еще можно использовать технологию для обучения специалистов. Так делает Japan Airlines. Компания использует MR-очки Microsoft HoloLens для обучения инженеров. 

Пример использования MR в производстве

Игры

Видеоигры, где игрокам надо проходить квесты одновременно и в реальном, и в виртуальном мирах, относятся к играм последнего поколения. В них условный геймер может выполнять часть заданий в своей квартире, а часть — в нарисованном на компьютере мире.

Например, юзер берет реальную бутылку с водой и ударяет ею нарисованного персонажа. Этот необычный формат стирает границы и дарит новые ощущения.

MR-игры смешивают реальную обстановку и виртуальные объекты: монстров, оружие, бластеры, спецэффекты

Образование

Технологии смешанной реальности используются в образовании, чтобы учащимся было проще и нагляднее усваивать предмет.

Например, через 3D-проекции и симуляции, учащиеся могут взаимодействовать с виртуальными объектами, манипулировать ими, вставляя трехмерные объекты в классную комнату, и получать более глубокое представление об изучаемом объекте — о том, как устроена клетка, как движутся атомы и т. д.

Пример обучения с MR-технологий — HoloMusic XP. Он помогает учиться игре на фортепиано в интерактивном, игровом формате, что гораздо проще и удобнее, чем по напечатанным на бумаге нотам.

MR-технология позволяет обучаться в интерактивном режиме

Медицина

В сфере здравоохранения студенты-медики с помощью приложений смешанной реальности учатся делать операции, изучают анатомию человека и физиологические процессы. 

MR помогает студентам-медикам изучать анатомию человека и биологические процессы

А практикующие врачи могут проводить инновационные операции в MR-мире, прежде чем делать их на живых людях. Например, можно сначала отработать установку импланта на MR-модели и только потом — на живом пациенте.

Торговля

В ритейле компании вместо статичных продуктовых каталогов предлагают клиентам виртуальную проекцию, которую можно перелистывать как физическую книгу. А на презентациях нового продукта используют голограммы, а не физические прототипы или образцы.

MR используют и в мерчендайзинге. Перед тем, как оформить витрину, менеджеры расставляют предметы на полках в смешанной реальности, находят лучший вариант и только потом воплощают его в физическом мире.

Бизнес

Технологии MR используют для улучшения бизнес-процессов организации. Вот некоторые из возможных сценариев:

• Дистанционная связь и совещания. Сотрудники могут проводить встречи и совещания находясь в сотнях километров друг от друга. При этом они перемещают детали проекта, меняют положение макета, рисуют на виртуальной доске схемы и таблицы, передают друг другу компьютерные отчеты. Профит — бизнес экономит время и деньги на командировки и поездки в офис.
• Онбординг новичков. Сотрудники узнают — например, как действовать в случае пожарной тревоги — через MR. Так как обучение интерактивное, новая информация проще и быстрее усваивается.
• Рабочие нюансы. Это все прочее, с чем сталкиваются сотрудники на местах. Например, если у всех в офисе есть MR-девайсы, то сотрудники могут управлять компьютером без мыши и клавиатуры. Например, открывать и читать почту, перемещать папки, работать в программах не мышью, а пальцами рук.

Смешанную реальность использует французский производитель Renault Trucks. Компания успешно внедрила MR-технологию HoloLens на одном из своих предприятий, чтобы улучшить контроль качества при сборке двигателей. Теперь вместо чтения бумажных инструкций операторы получают необходимую информацию во время работы в интерактивном виде.

Технологии смешанной реальности можно использовать при сборке и обслуживании техники и оборудования

Музеи

В музее «Моря, Воздуха и Космоса Интрепид» (Intrepid Sea, Air & Space Museum) в Нью-Йорке посетители, если наденут специальные очки HoloLens, увидят голограмму доктора Мэй Джемисон — первой цветной женщины космонавта.

Голограмма размером с настоящего человека расскажет гостям музея, как женщины участвовали в изучении космоса, а потом поделится собственной историей.

Голограммы используют в музеях и на выставках

А в Каирском египетском музее посетители, если наденут MR-очки, увидят голограммы фараона Тутанхамона и его супруги Анхесенамун. Королевская парочка проведет посетителей по музею, расскажет о своей жизни, покажет, как использовали в быту различные древние инструменты. Сами посетители могут через жесты брать виртуальные предметы из музейных коллекций, крутить в руках и изучать их детально.

Сервисное обслуживание

Через MR старшие специалисты могут удаленно подсказывать рядовым техникам, какие работы необходимо выполнить.

Например, если некая часть оборудования работает неправильно, рабочие с помощью MR-гарнитуры посмотрят на всю установку, диагностируют проблему и тут же узнают, что нужно ремонтировать. Не надо тратить часы на диагностику в ручном режиме.

Дизайн и инженерия

MR-технологии помогают дизайнерам снизить издержки на создание дизайна и разработку продукта.

Например, космические инженеры могут изучать цифровые прототипы космических кораблей и других аппаратов через MR-гарнитуры, взаимодействовать и выявлять потенциальные проблемы с конструкцией. Когда начнется физическая разработка, специалисты уже будут знать, что улучшить, что изменить, а что оставить, как есть.

Как попасть в смешанную реальность?

Чтобы попасть в MR, нужны специальные гарнитуры. Когда человек их надевает, то погружается в полуреальный, полувиртуальный мир с интерактивными голограммами.

К подобным гарнитурам относятся Magic Leap VR, Microsoft HoloLens и Google Cardboard. Они позволяют пользователям видеть реальный мир и в то же время наблюдать виртуальные объекты — плоские или в 3D — и взаимодействовать с ними. 

Путь в MR-вселенную лежит через специальные очки или шлем, которые человек должен надеть

Кратко о главном

1. Смешанная реальность, mixed reality или MR — это технология, которая объединяет виртуальную и дополненную реальности, плюс позволяет пользователю взаимодействовать как с физическими, так и с цифровыми объектами.
2. В MR человек может взять в руки цифровую кружку, поставить ее на полку или спрятать за реальный, физический чайник.
3. VR, или виртуальная реальность, отличается от MR тем, что не зависит от реального мира. По сути, это компьютерная игра, в которую человек может погрузиться без компьютерного экрана.
4. AR, или дополненная реальность, только проецирует на реальный мир цифровые объекты, но не позволяет пользователю с ними взаимодействовать — можно только смотреть на них или управлять ими через экран гаджета.
5. Расширенная реальность, или XR — объединяет VR, AR, MR и все будущие технологии, которые позволят объединить и смешать реальности. Пока что XR-гаджетов и девайсов нет.
6. MR-технологии применяют на производстве, в игровой индустрии, сфере образования и здравоохранения, в музеях, торговле и даже для налаживания стандартных бизнес-процессов в рядовых компаниях.
7. Чтобы попасть в MR-мир, необходимо использовать специальные шлем или очки. Например, Magic Leap VR, Microsoft HoloLens и Google Cardboard.

Высоких вам конверсий!