Facebook：社交關系你我他，戴上VR也不怕

在Facebook位於華盛頓的Reality Labs裏，科研人員研發了各種創新的AR/VR、AI和互動技術，這些計畫目前盡管依然在原型階段，不過為Facebook未來對於AR/VR的布局從多方面打下基礎。實際上，這個實驗室正在解決AR/VR當前所面臨的許多技術難題，比如：逼真的頭像系統、EMG腕帶和腦機介面、可量產的超短焦全像光學方案、動態變焦和渲染等等。

上述這些都是未來提升AR/VR體驗的關鍵技術，相比之下，近期Facebook Reality Labs公布的一項有趣的新研究看起來卻沒有那麽復雜，目的以提升社交體驗為主，套用場景看起來更具未來感。據悉，這項研究名為「反向透視VR」，與Quest具備的透視功能正相反，側重點不是即時捕捉周圍環境，而是將VR使用者的即時面部畫面顯示在頭顯外殼上。

據青亭網了解，該方案的研發團隊由Facebook研究員Nathan Matsuda負責，他希望透過這項技術，讓VR使用者能夠與周圍的人正常交流，保持自然的對視。

關於原理

科研人員指出：近年來，VR逐漸走進C端，為使用者帶來沈浸式、互動式的體驗，套用於娛樂、生產力、社交等多個場景。不過，VR還有一個需要解決的核心問題，那就是如何讓VR使用者不與周圍環境隔離，依然與周圍的人保持聯系。尤其是在多人共享的空間中，如何讓你在AR/VR中也能與其他人未使用AR/VR的人保持「社交共存」？

實際上，為了讓你在VR中也可以和周圍的好友互動，Oculus曾推出用手機端、PC端同步VR內容的旁觀者模式。盡管周圍的人可以同步你在VR中看到的畫面，但他們在和你說話時，並不能看到你完整的表情和眼神，因此交流起來並不自然。

於是，Matsuda提出了反向透視VR的概念，他表示：這個靈感來自於Quest的透視功能，有一天在辦公室中進入透視模式後，便開始思考如何將AR與社交和辦公等專業場景自然結合。在透視模式中，他可以看到周圍走動的同事，但同事們卻看不到他的臉。那麽，如果在使用VR時，可以和其他人實作自然延伸交流，是否能增加社互動動性？

從演示demo來看，反向透視VR方案乍一看有點奇怪、有點搞笑，使用者仿佛帶了一副會放大眼睛的眼鏡。與Quest正常的透視功能套用場景不同，並不是透過外部網路攝影機追蹤周圍環境，而是用頭顯內部的網路攝影機追蹤使用者雙眼。

細節方面，該原型頭顯采用基於微透鏡陣列的光場顯示器，特點是輕薄、制造簡單、基於消費級LCD顯示技術。原理方面，為了在光場顯示器中顯示3D立體的面部，反向透視VR系統采用立體網路攝影機來捕捉面部模型，然後將註視點資訊與模型結合，在光場顯示器中顯示立體的人臉。接著，光場顯示器透過微型透鏡來改變LCD像素發射的光線，當你在不同方向觀看時會看到影像視角的自然變化，有一種動態3D立體的感覺。

此外，反向透視VR的光學模組包含6個組成部份，分別為：微型透鏡陣列、RGB LCD顯示器（原型采用京東方螢幕，分辨率1600x1600）、熱鏡/紅外截止片、紅外LED、立體紅外網路攝影機、Pancake透鏡。其中，紅外LED位於顯示模組周圍，用於照亮使用者面部，接著熱鏡將從面部反射的紅外光反射至紅外網路攝影機中，實作眼球追蹤。而LCD顯示器和透鏡則用於顯示VR內容，使用者視覺不受紅外光幹擾。

關於技術叠代

據悉，Matsuda在2019年就曾經向FRL首席科學家Michael Abrash展示反向透視VR的概念。當時，他在Rift S頭顯前側加上了一個2D顯示器，然後透過一對眼球追蹤網路攝影機來捕捉眼球數據，再利用引擎渲染出結合即時眼球數據的面部表情，在3D顯示器中顯示。

不過，當時Abrash並不能確信反向透視VR的實用性。後來經過近兩年時間研發，3D顯示技術和反向透視VR的原型得到大幅最佳化，采用了特色光學模組、電子元件、軟體等技術，可顯示出逼真的3D面孔。采用3D顯示器的好處是，它可以動態調整透視影像的視角和深度，模擬眼周的變化和遮擋，讓你和其他人對視時，看起來更自然，符合物理規律。

後來隨著概念不斷最佳化，Facebook在今年SIGGRAPH活動中，選擇在Half Dome 2原型機上進行展示，而且僅采用該原型機的顯示模組部份，厚度約為50公釐。然後在此基礎上，又加入了微型透鏡陣列。

目前，反向透視VR方案依然在原型開發階段，還存在一些解決的問題，比如：采用多個復雜的連線線，技術還在概念驗證階段，主要目的是展示反向透視在真實和虛擬中社互動動場景的套用效果。此外，光場顯示器可顯示的視角變化有限，而且空間角分辨率低/景深（畫面對焦前後相對清晰的成像範圍）有限，因此你需要在螢幕幾厘米處才能看清，更適合近距離面對面談話場景。

此外，反向透視VR顯示的人臉還不夠生動逼真。在一段demo中，科研人員將該方案與Codec Avatar頭像系統結合，看起來效果比之前更加逼真。Codec Avatar的原理是透過容積攝影捕捉完整的3D頭像，比反向透視VR系統用立體網路攝影機捕捉的人臉看起來更細致、自然。

實際上，未來這項方案更適用於輕量化的VR眼鏡方案，比如此前Facebook公布的基於全像短焦光學的AR/VR原型。除此之外，也可以跟Facebook研發的Codec Avatar逼真頭像系統結合。

隨著技術發展，反向透視VR的效果也在不斷提升，不過實際的套用可能會是一個長遠的目標，它需要在超短焦VR、Codec Avatar等技術更加成熟後，才能實作理想的效果。而且如何讓你的面部資訊看起來不那麽奇怪，也將是未來在套用時需要最佳化的。套用場景方面，這種現實人臉的方案或授權以作為隨時切換的功能，比如當有人跟你聊天時，才切換到反向透視模式，旁邊沒人時便可以關閉該模式，有點類似於翻蓋式墨鏡的效果。

Facebook表示：經過不斷最佳化，反向透視VR頭顯未來可能看起來更像是AR眼鏡，讓你可以看到周圍環境的同時，與周圍的人保持眼神交流。與此同時，基於透視的VR視場角比AR光學眼鏡更大，而且具有遮擋模擬更準確、亮度高、顯示效果好等更多優勢。

在今年底，FRL還將公布目前在顯示系統上的更完整研究，包括變焦距光學方案、全像光學、眼球追蹤、失真校正、反向透視等等。這些技術未來將整合起來，實作能夠透過「視覺圖靈測試」的VR效果，同時還將用於開發輕便、緊湊、全天候可穿戴式VR頭顯，特點是支持高畫質虛擬和透視視覺，可帶來社交臨場感和存在感。參考：FB

更多閱讀：

Facebook AR/VR全像光學模組進展：新論文展示HOE元件制作工藝