Switch On l Mr. MR is Coming 혼합현실, 새로운 UX의 가능성

▲ ⓒMagic Leap

현실과 가상의 혼재, 혼합현실

매직리프를 ‘유니콘’으로 만든 핵심 기술은 현재 개발 및 배포 중인 ‘혼합현실(MR, Mixed Reality)’ 솔루션이다. 여태껏 가상현실은 실제와 완전히 구분된 것으로 간주됐다. 사용자가 VR용 기기를 장착하는 순간 그는 현실과 동떨어진 곳으로 순간 이동한다. 그러나 매직리프의 목표는 ‘가상 세계와 물리 세계를 융합(Mix)’하는 데 있다. 매직리프가 공개한 동영상에서처럼 사용자는 별도의 기기를 장착하지 않아도 눈앞에서 고래가 점프하는 모습이나 행성들이 공전하는 모습을 실제처럼 볼 수 있다. 이처럼 현실과 긴밀하게 연결된 상태에서 가상의 콘텐츠를 감상할 수 있는 기술이 바로 혼합현실이다.

▲ 매직리프의 동영상 <A new Morning> ⓒMagic Leap 

가상과 실제의 즉각적 커뮤니케이션

‘복합현실(Hybrid Reality)’이라고도 불리는 MR은 실제로 존재하는 환경과 가상의 정보(이미지∙소리∙햅틱∙냄새 등)를 실시간으로 혼합, 사용자와 상호작용이 가능하게끔 하는 기술이다. MR에서는 실제로 존재하는 물리적 현실과 인공적으로 만든 가상이 공존할 수 있다. 그리고 사용자들이 둘의 간극을 느끼지 못하도록 더 정교하게 섞는 것이 기술의 핵심이다. VR 및 AR과 마찬가지로 가상의 이미지와 사용자가 인터랙션하는 것이 가능하지만, MR은 현실 세계와 차단된 디지털 환경을 구축하거나 단지 가상 이미지를 현실 위에 쌓는 데 그치지 않고, 현실 세계와 가상 세계를 긴밀히 결합한다.

현실 공간에 가상 이미지를 투영한다는 점에서 MR은 AR(Augmented Reality)과 경계가 다소 모호한 면이 있다. 다수의 AR 스타트업들이 궁극적으로 MR 경험 제공을 지향하고 있고, 매직리프가 최우선적으로 시장에 내보일 상품은 웨어러블 AR기기(사용자의 시야에 가상의 그래픽 정보를 덧붙여주는 MR 헤드셋으로, 마이크로소프트의 홀로렌즈를 연상시킨다)라고 알려져 있다.

그러나 MR은 단지 가상 이미지를 자연스럽게 현실 속으로 녹아들게 만들 뿐만 아니라 ①현실 또는 가상 세계의 정보 하나만으로는 가능하지 않았던 새로운 UX를 제공하고 나아가 ②인공현실과 감상자의 즉각적인 커뮤니케이션을 가능케 한다. 사용자가 생각하는 대로 가상의 객체를 조작할 수 있게끔(예컨대 고래의 크기를 변화시키거나 해파리와 사용자 간 거리를 조작하는 등) 한다. 즉 궁극적으로 현실 공간을 재구성하며, 공간과 사용자가 실시간으로 상호 교감하는 ‘공간 컴퓨팅’을 가능하게 만드는 것이다. 매직리프의 CEO 애보비츠도 매직리프의 목표를 “인간의 뇌가 GPU로서 공간과 교신하게 하는 것”으로 밝힌 바 있다.

MR 구현을 시도하는 여러 기업들

아직은 여러 기술적•경제적 제약이 있기 때문에 현재 실제로 판매 중인 MR 솔루션은 드물다. 대부분 VR•AR과 함께 실험적으로 진행되고 있으며, 일례로 대표적인 AR 솔루션으로 소개되는 동시에 광범위한 활용 가능성을 보여주는 ①마이크로소프트의 ‘홀로렌즈’를 꼽을 수 있다.

지난 3월 마이크로소프트는 ‘홀로포테이션 챗’을 시연하며, 홀로렌즈를 착용한 사용자가 마치 다른 사람이 실제로 자기 옆에서 이야기하고 움직이는 것처럼 커뮤니케이션하는 솔루션을 선보였다. <Enabling a World of Mixed Reality> 동영상에서도 홀로렌즈를 활용한 MR에 대한 마이크로소프트의 관심이 느껴진다. 현재 마이크로소프트는 가장 정교한 수준의 실제-가상 혼합처리 기술을 보유한 회사로 평가받고 있다.

▲ 마이크로소프트의 <Holoportation> ⓒI3D Past Projects

▲ 마이크로소프트의 <Enabling a World of Mixed Reality> ⓒMicrosoft

한편 ②구글의 ‘프로젝트 탱고’도 AR 경험을 확장해 MR로까지 나아가려는 중이다. 스마트폰 등 사용자 디바이스 주변의 공간을 맵핑한 후, 그 위에 가상 콘텐츠들을 배치함으로써 사용자가 현실과 가상의 경험을 동시에 누릴 수 있게 한다. 이를 활용한 증강현실 게임 ‘판토지스트’는 일면 ‘포켓몬GO’와 유사해 보이며, AR의 MR화를 보여주고 있다.

▲ 구글 ‘프로젝트 탱고’를 활용한 게임 ‘판토지스트’ ⓒetinow.me

③2013년 실리콘밸리에 설립된 스타트업 아이플루언스 역시 VR과 AR 및 MR 솔루션을 개발 중이다. HMD 등 어떤 웨어러블 디바이스를 착용하지 않고도 현실과 가상이 융합된 ‘제3의 세계’를 볼 수 있게끔 하는 것이 MR의 목표이나, 그 과도기인 지금으로서는 가능한 한 소형화된 디바이스를 장착하고 콘텐츠를 감상할 수 있는 방법이 제시되고 있다. 아이플루언스는 기존의 HMD가 사용하고 있는 여러 입력 방식들(음성 인식, 버튼 터치 등)을 배제하고 오직 사용자의 눈동자 움직임으로만 디지털 인터페이스를 제어하고 그와 소통할 수 있는 솔루션을 개발하고 있다. 예컨대 단지 짧은 응시만으로도 가상의 진열대에 놓인 상품을 선택하거나 구매할 수 있으며, 사용자는 빠르고 편리한 공간 컴퓨팅 경험을 향유할 수 있다.

이 외에도 ④인텔은 2016IDF(인텔 개발자 행사)에서 ‘얼로이 프로젝트’를 소개하며 MR에 대한 관심을 보여줬다. 얼로이는 인텔의 VR•AR 헤드셋으로서, 자체 트래킹 센서가 탑재돼 있어 주변 환경을 매핑하거나 트래킹하는 것이 가능해 실사와 가상을 빠르게 혼합할 수 있다.

▲ IDF 2016 Keynote Highlights ⓒIntel

▲ 인텔의 VR•AR 헤드셋 ‘얼로이’ ⓒIntel

⑤스타트업 블리파는 앱이 특정 사물을 인식할 경우 적절한 가상 콘텐츠가 오버레이되는 등 이미지 인식 기술을 기반으로 한 소비자-공간 인터랙션 플랫폼을 설계 중이다. ⑥메타도 MR 솔루션 개발에 박차를 가하고 있는 스타트업으로, ‘현실과 가상의 괴리’를 보다 편안하고 자연스럽게 없애기 위해 사용자가 간단히 손을 움직이는 등으로만 가상공간과 인터랙션할 수 있는 MR 헤드셋을 개발 중이고, ⑦공간 컴퓨팅 전문 스타트업 옥시피탈은 3D 센서를 부착한 태블릿으로 주변 공간을 맵핑한 후 혼합현실을 구축하는 솔루션을 보유하고 있다.

MR에 대한 도전, 사용자 경험의 진정한 제고

물론 MR이 실제 시장의 소비자들을 위한 ‘원년’을 맞았다고 하기엔 아직 이른 감이 있다. 우선 ‘로컬리제이션(Localisation)’ 또는 ‘트래킹’이라 불리는 기술적 어려움을 극복해야 한다. 현실과 가상의 경계를 완벽하게 허물기 위해서는 별도의 장비 없이도 어떤 방향에서든 가상의 오브젝트를 볼 수 있게 원근감을 맞춰야 하고, 실시간으로 그 다각도의 오브젝트 이미지를 렌더링할 수 있어야 한다. VR과 달리 현실과 연계된 가상콘텐츠를 구현하는 것이기 때문에 현실과 가상의 시점을 일치시켜야 하는데 이에는 많은 기술력이 요구된다. 보통 3D 콘텐츠를 만들기 위해 스테레오스코픽3D(S3D)라는 기술이 사용되는데, 이는 한 객체의 여러 이미지들을 두 눈에 따로따로 보여줌으로써 입체적인 거리감을 만드는 기술로, 감상자에게 어지러움이나 두통을 유발하기 쉽다.

▲ 다중시점으로 어지러움을 유발할 수 있는 S3D 기술 ⓒmaacindia.com

MR과 같은 가상콘텐츠 솔루션이 어떤 진정한 가치를 제공할 수 있는지에 대한 의문을 제기하는 목소리도 있다(이처럼 심도 있는 질문이 가능해졌다는 것 자체가 관련 기술이 빠르게 발달하고 있음을 방증하기도 한다). 과연 MR을 통해 UX가 가치 있는 방향으로 제고될 수 있는지 회의론을 제기하는 사람들은, 현실과 가상의 경계가 흐려지며 오히려 MR이 현실 세계로부터 사용자들을 소외시킬 위험성을 지적한다.

이런 위험성을 지양하면서 UX를 제고하기 위해 여러 가지 고민이 선행될 필요가 있다. 예컨대 ①인게이지먼트를 제고하고자 감상자를 자극하는 과정에서 제작자가 감상자에게 전달하고자 하는 메시지와의 연결고리(Relevany)가 끊어지지 않도록 제작자는 기술적 완성도에만 몰두하지 않고 감정적인 자극(Emotional Evocation)에도 주의를 지속적으로 기울여야 할 것이다.

또한 ②예전에는 ‘어떤 정보를, 어떤 디바이스를 통해, 어떤 방식으로 제시할 것인가’ 등 제작자 관점의 문제들이 중요했다면 이제는 반대로 감상자 중심의 관점이 우선돼야 한다. ‘감상자가 어떤 상황에 있는가’, ‘감상자의 시공간과 어떤 문맥으로 연결돼 있는가’ 등이 매우 중요해진다. 단지 데이터 매트릭스나 대시보드에 의존해 콘텐츠를 만들고 제시할 것이 아니라, 이제는 감상자가 실제로 보여주는 행동•양식•문맥(Behaviour•Manner•Context)을 파악해야 할 것이다. MR이 새로운 UX의 가능성을 분명히 제시하는 만큼 그를 최대한 긍정적인 방향으로 활용하기 위한 노력과 고민도 요구될 듯하다.