MR整合现实与虚拟 创造元宇宙数字生态系

在Connect2021的开发者大会上，Facebook公布了Metaverse计划，构筑出基于元宇宙的下一代3D空间社交网络平台。此后，元宇宙被视为现实空间和虚空间的融合，未来人们可以在这里展开互动和各种商业。同时Meta（Facebook母公司）也将Metaverse定位为下一个行动平台，继Apple和Google之后，又另一新创建的网络平台。

Meta构建元宇宙的基础技术与概念是，整合增强实境（AR）和虚拟现实（VR）后所产生混合实境（MR）。而这些MR相关的应用技术都在元宇宙研究所「Facebook Reality Labs」积极的开发中。

创造虚拟世界的技术：Presence Platform
Meta开发的Metaverse是期望让现实社会和虚拟社会的平滑融合，而创造出这种社会的技术则被称为「Presence Platform」。这个平台是以视觉运算和人工智能为核心，将虚拟对象整合到现实空间的数据处理模块。具体来说，它提供了产生MR、对象互动和语音互动的能力。如前所述，MR是一种混合实境的环境，融合了真实空间和虚空间，成为元宇宙的核心功能。

Presence Platform 由三个SDK组成，包括了「Insight SDK」：在现实空间中嵌入虚拟对象来产生MR环境的技术。「Interaction SDK」：手动操作虚拟对象的技术。「Voice SDK」：使用对话语音来对虚拟对象进行操控的技术。



 
图一 : Mixed Reality 全球市场规模预测(兆日圆)。(source：PWC；作者整理)

MR空间生成技术：Insight SDK
Insight SDK是元宇宙的核心技术，目的在产生高质量的MR空间。Insight SDK包含两个函数，「Passthrough」和「Spatial Anchors」，以及Scene Understanding功能。

Passthrough是一种透过VR耳机来创建出MR空间，并在现实空间中描绘虚拟物体的技术。图二显示了利用「Oculus Quest 2」来进行钢琴课程。钢琴键盘上会显示一个圆形的虚拟对象，操作者可以用手指轻敲它来播放音乐。

同时，「Oculus Quest 2」还内建了摄影镜头，可以黑白方式看到前方的影像。因此，「Oculus Quest 2」不仅可以用作VR，还可以用以当作MR玻璃。


 
图二 : 透过MR技术将实体物品与虚拟图像结合后进行钢琴课程。(source：META)

Spatial Anchors是一种透用手机映像出真实空间的功能。它能利用Oculus手机，让操作者利用手指沿着家具移动，绘制出房间内部的地图。经由这个功能，可以了解真实空间的结构，并显示出相对应的虚拟对象。

Scene Understanding是对用户空间进行理解的功能，判断出空间的位置关系及其意义。使用此场景模型时，可在房间中建立出一个MR空间。

利用这种方式，可以整合Passthrough、Spatial Anchors和 Scene Understanding来开发可判断物理空间含义的高度复杂Metaverse。

表达手部动作的技巧：Interaction SDK
Interaction SDK是针对手或手机在虚空间中移动的处理和控制操作，例如用手抓握、触摸和指向虚拟对象。图三显示了一个虚拟的咖啡杯被用手抓着。Interaction SDK是利用视觉运算、AI追?手部动作并判断出与对象的互动程度。


 
图三 : 一个虚拟的咖啡杯被用手抓着。(source：META)

理解语音的技巧：Voice SDK
Voice SDK是一种自然语言分析功能，可透过声音来进行语音操控。当应用于游戏时，可以透过语音来进行操控。除了语音导航外，Voice SDK还提供语音搜索和语音问答功能。例如当操作者说出虚拟角色的名字「Oppy」时，系统就会明白这个词的意思并接近它。

行动MR技术正积极被开发
行动MR具有许多明显的优势，因此备受全球所注目，也吸引了相当多业者投入开发相关的各项技术。目前许多潜在的用户已经拥有一款可支持MR的智能型手机，因此无需耗费金钱购买昂贵且笨重的耳机。就其本质而言，今天的行动设备已经非常便于携带，也相当容易进入任何空间。

Apple ARKIT 5
Apple的最新版本AR/MR开发工具集开放原始码行动ARKit5，进行了重大改进。其中最重要的功能，包括对位置锚点(Anchors)的扩充支原、改进的运动追?，以及在超广角摄影镜头中可提供更好的脸部跟?，App Clip Codes还可支持快速扫描启动体验。

自从在ARKit 4中加入位置锚点后，允许APP开发人员可以将具有特定纬度、经度和高度的虚拟对象放置在屏幕上，并且可相对于现实环境中的位置。例如，位置锚点可在标志性建筑旁边的空间中，显示三维图标或文字。在ARKit 5中，此功能的支持性已扩展到伦敦和美国的其他城市。

扩充的脸部追?技术，允许一次最多追?三个人的脸部，现在可支持所有配备A12Bionic处理器，以及更高版本的设备，即使没有真深度镜头(TrueDepth Camera)也可以应用。

而App Clip Codes则是应用在类似于QR Code的影像，可以透过扫描来启动APP的lightweight，并且能与 ARKit整合，允许从任何地方启动AR/MR，而无需下载其他软件。

Google ARCORE
Android的ARKit-ARCore提供了开发人员在Android设备上，虽然可以开发出AR/MR APP所需的开放原始码工具集，但由于需要注意Android设备上各种硬件的兼容性，因此这通常被视为也些挑战性。

2021年，Google在ARCore中加入了一些新功能，例如录制和播放API等。这些功能可以让开发人员使用AR原始数据录制视讯片段，在透过深度和IMU运动传感器数据，来以重新建立与视讯中相同的环境，同时也为开发人员能更轻松地测试特定环境的方式。

录制和播放API不仅是开发人员所需要，对使用者来说也有一定的用处，这项技术提供用户可以录制视讯，应用在以后的AR/MR效果中，因为这些视讯可以包含环境原始数据。

ARKit和ARCore之间的竞争并不如外界想象中的明显。由于APPLE掌控了所有的设备组件，因此ARKit在软件和硬件之间有着较佳的兼容性。但是在市场上，并非每个使用者都拥有iPhone或iPad。因此对于其他的用户或行动产品业者来说，ARCore就变得非常重要。尽管由于采用的硬件的不同，不能保证每台Android设备都能获得完全支持和兼容，但Google仍旧尽可能让其众多用户拥有一定程度的竞争力。

就实际效能而言，这两个平台背后的技术几乎是一样的。例如，对于场景检测等应用，这两种技术使用相同的方法，但差异最大还是在硬件的部分，与兼容能力。

手机增强实境：Spark AR
Spark AR是一款针对行动终端的AR/MR开发环境，这款行动终端AR/MR，可以整合到智能手机的APP中来使用。例如，Spark AR可应用在脸部插入特殊效果，像是用Spark AR对脸部进行特殊化妆，并将其转变为怪物的应用。

Project Aria
Meta也正在开发AR/MR眼镜「Project Aria」。这是一个在眼镜上内建摄影镜头和显示器产品，并在面前的真实空间中强行加入一个虚拟对象。AR/MR眼镜可被当数字助理应用，透过AI来了解周围物体的类型和含义，例如识别沙发和桌子。此外，也可利用人工智能掌握用户的想法，并协助进行下一步行动。例如，当操作者看着灯时，开关就会被自动打开。

智能眼镜的输入：Electromyography
但是挑战在于如何将数据输入AR/MR眼镜，因此Meta正在开发一种称为Electromyography(肌电图)的技术。

这个想法是将设备戴在手腕上后，并测量肌电图，再透过人工智能分析肌肉中产生的弱电场来预测操作者的意图。例如当您用手指书写字母时，此设备会将其转换为文字（图四）。


 
图四 : 利用肌肉的电位变化转换称操控方式。(source：META)

MR在工业领域的潜力和未来
第一个实现MR的产品是，HoloLens于2015年1月所发布的产品。这是一款无需外接控制器的独立头戴式显示器，可透过手部追?和语音输入进行操作。HoloLens的产品透过摄影镜头和深度传感器，来对周围环境进行识别，并经由透射式显示器在真实空间中加迭内容来提供新体验的设备。

随后，Magic Leap One也于2017年12月发表一款新技术，将需要处理数据的机制，转移到外部的独立计算设备，大幅度减轻显示器的重量，并且利用数字内容，以更真实的方式强化显示能力，例如扩大视角，和根据视线切换影像，在发表之后便大大威胁HoloLens的领先地位。

面对此一挑战，HoloLens也于2年后发表第二代产品-HoloLens 2。与初代的HoloLens相比，无论是显示视角、纵横比、分辨率、运算和佩戴感等，多项性能都获得了大幅度的提升。此外，传感器的加入更使得佩戴者五根手指的动作都可以被检测到，来达到捏握等全影像操作，提高了实用性。

虽然这些主要用于工业用途的MR设备，性能相当卓越，但价格却是非常昂贵。因此针对消费者使用的MR设备商品化更是备受期待，市场上终于在2020年8月，出现了一款专为消费者使用而开发的MR产品-Nreal Light。这款产品可与智能型手机连接，将处理数据的工作转移到智能型手机，来达到减轻头戴式显示器重量，虽然在摄影镜头数量、画素数、环境侦测与掌握，和各种跟?的精度等性能方面不如工业设备，但它实现了大幅降低售价，让消费者在低价格负担下就能轻松体验MR(表一)。

MR技术的未来
未来将有很多业者进入MR设备市场，透过提高性能和减轻重量来增强现有产品，就像前述高整合度的HoloLens 2。虽然头戴式显示器是目前MR设备的主流，但挂戴眼镜式和隐形眼镜式等，无需考虑佩戴舒适度的显示器设备，也有业者积极的投入开发。不过，目前MR的主要用途主要是还是工业用，根据PWC预测工业用市场短期内将会持续扩大。

从中长期来看，市场有机会在各种应用领域扩大，例如数字内容和虚拟全影像显示、医疗领域医师与患者仅行互动、减压和复健等医疗，都将可在MR平台上仅行。此外，MR在娱乐应用和商业产业的应用也将进一步扩大，因此不仅工业市场，包括普通消费者的市场的成长也将持续增加。