在Facebook位于华盛顿的Reality Labs里，科研人员研发了各种创新的AR/VR、AI和交互技术，这些项目目前尽管依然在原型阶段，不过为Facebook未来对于AR/VR的布局从多方面打下基础。实际上，这个实验室正在解决AR/VR当前所面临的许多技术难题，比如：逼真的头像系统、EMG腕带和脑机接口、可量产的超短焦全息光学方案、动态变焦和渲染等等。
上述这些都是未来提升AR/VR体验的关键技术，相比之下，近期Facebook Reality Labs公布的一项有趣的新研究看起来却没有那么复杂，目的以提升社交体验为主，应用场景看起来更具未来感。据悉，这项研究名为「反向透视VR」，与Quest具备的透视功能正相反，侧重点不是实时捕捉周围环境，而是将VR使用者的实时面部画面显示在头显外壳上。
据青亭网了解，该方案的研发团队由Facebook研究员Nathan Matsuda负责，他希望通过这项技术，让VR用户能够与周围的人正常交流，保持自然的对视。
关于原理
科研人员指出：近年来，VR逐渐走进C端，为用户带来沉浸式、交互式的体验，应用于娱乐、生产力、社交等多个场景。不过，VR还有一个需要解决的核心问题，那就是如何让VR用户不与周围环境隔离，依然与周围的人保持联系。尤其是在多人共享的空间中，如何让你在AR/VR中也能与其他人未使用AR/VR的人保持「社交共存」？
实际上，为了让你在VR中也可以和周围的好友互动，Oculus曾推出用手机端、PC端同步VR内容的旁观者模式。尽管周围的人可以同步你在VR中看到的画面，但他们在和你说话时，并不能看到你完整的表情和眼神，因此交流起来并不自然。
于是，Matsuda提出了反向透视VR的概念，他表示：这个灵感来自于Quest的透视功能，有一天在办公室中进入透视模式后，便开始思考如何将AR与社交和办公等专业场景自然结合。在透视模式中，他可以看到周围走动的同事，但同事们却看不到他的脸。那么，如果在使用VR时，可以和其他人实现自然延伸交流，是否能增加社交互动性？
从演示demo来看，反向透视VR方案乍一看有点奇怪、有点搞笑，使用者仿佛带了一副会放大眼睛的眼镜。与Quest正常的透视功能应用场景不同，并不是通过外部摄像头追踪周围环境，而是用头显内部的摄像头追踪用户双眼。
细节方面，该原型头显采用基于微透镜阵列的光场显示屏，特点是轻薄、制造简单、基于消费级LCD显示技术。原理方面，为了在光场显示屏中显示3D立体的面部，反向透视VR系统采用立体摄像头来捕捉面部模型，然后将注视点信息与模型结合，在光场显示屏中显示立体的人脸。接着，光场显示屏通过微型透镜来改变LCD像素发射的光线，当你在不同方向观看时会看到图像视角的自然变化，有一种动态3D立体的感觉。
此外，反向透视VR的光学模组包含6个组成部分，分别为：微型透镜阵列、RGB LCD显示屏（原型采用京东方屏幕，分辨率1600x1600）、热镜/红外截止片、红外LED、立体红外摄像头、Pancake透镜。其中，红外LED位于显示模组周围，用于照亮使用者面部，接着热镜将从面部反射的红外光反射至红外摄像头中，实现眼球追踪。而LCD显示屏和透镜则用于显示VR内容，使用者视觉不受红外光干扰。
关于技术迭代
据悉，Matsuda在2019年就曾经向FRL首席科学家Michael Abrash展示反向透视VR的概念。当时，他在Rift S头显前侧加上了一个2D显示屏，然后通过一对眼球追踪摄像头来捕捉眼球数据，再利用引擎渲染出结合实时眼球数据的面部表情，在3D显示屏中显示。
不过，当时Abrash并不能确信反向透视VR的实用性。后来经过近两年时间研发，3D显示技术和反向透视VR的原型得到大幅优化，采用了特色光学模组、电子元件、软件等技术，可显示出逼真的3D面孔。采用3D显示屏的好处是，它可以动态调整透视图像的视角和深度，模拟眼周的变化和遮挡，让你和其他人对视时，看起来更自然，符合物理规律。
后来随着概念不断优化，Facebook在今年SIGGRAPH活动中，选择在Half Dome 2原型机上进行展示，而且仅采用该原型机的显示模组部分，厚度约为50毫米。然后在此基础上，又加入了微型透镜阵列。
目前，反向透视VR方案依然在原型开发阶段，还存在一些解决的问题，比如：采用多个复杂的连接线，技术还在概念验证阶段，主要目的是展示反向透视在真实和虚拟中社交互动场景的应用效果。此外，光场显示屏可显示的视角变化有限，而且空间角分辨率低/景深（画面对焦前后相对清晰的成像范围）有限，因此你需要在屏幕几厘米处才能看清，更适合近距离面对面谈话场景。
此外，反向透视VR显示的人脸还不够生动逼真。在一段demo中，科研人员将该方案与Codec Avatar头像系统结合，看起来效果比之前更加逼真。Codec Avatar的原理是通过容积摄影捕捉完整的3D头像，比反向透视VR系统用立体摄像头捕捉的人脸看起来更细致、自然。
实际上，未来这项方案更适用于轻量化的VR眼镜方案，比如此前Facebook公布的基于全息短焦光学的AR/VR原型。除此之外，也可以跟Facebook研发的Codec Avatar逼真头像系统结合。
随着技术发展，反向透视VR的效果也在不断提升，不过实际的应用可能会是一个长远的目标，它需要在超短焦VR、Codec Avatar等技术更加成熟后，才能实现理想的效果。而且如何让你的面部信息看起来不那么奇怪，也将是未来在应用时需要优化的。应用场景方面，这种现实人脸的方案或许可以作为随时切换的功能，比如当有人跟你聊天时，才切换到反向透视模式，旁边没人时便可以关闭该模式，有点类似于翻盖式墨镜的效果。
Facebook表示：经过不断优化，反向透视VR头显未来可能看起来更像是AR眼镜，让你可以看到周围环境的同时，与周围的人保持眼神交流。与此同时，基于透视的VR视场角比AR光学眼镜更大，而且具有遮挡模拟更准确、亮度高、显示效果好等更多优势。
在今年底，FRL还将公布目前在显示系统上的更完整研究，包括变焦距光学方案、全息光学、眼球追踪、失真校正、反向透视等等。这些技术未来将整合起来，实现能够通过「视觉图灵测试」的VR效果，同时还将用于开发轻便、紧凑、全天候可穿戴式VR头显，特点是支持高清虚拟和透视视觉，可带来社交临场感和存在感。参考：FB
更多阅读：
Facebook AR/VR全息光学模组进展：新论文展示HOE元件制作工艺
FRL显示与视觉研究：短焦＋动态变焦进展迅速
Facebook全息超短焦AR/VR光学突破，或可实现量产
Facebook脑机接口迎新突破，但AR/VR交互却转向EMG肌电控制
为了VR社交，Facebook打造出最逼真虚拟头像系统
