智東西（公眾號：zhidxcom）
編譯 | 徐珊
編輯 | 雲鵬
智東西7月14日訊息，近日，蘋果的兩項VR/AR相關新專利得到了美國專利商標局（U.S. Patent and Trademark Office）授權。
第一項專利是「生成身體姿勢資訊（Generating body pose information）系統」。該系統透過收集身體各個地方的資訊，然後利用這些資訊打造使用者的虛擬化身（avatar）。第二項專利是「自適應無線傳輸（Adaptive wireless transmission schemes）系統」。該系統處理VR頭顯裝置和主機之間的通訊。
據悉，蘋果正在開發AR/VR頭顯，以及稱為「Apple Glass」的AR智慧眼鏡。蘋果正在針對人機互動領域的難題設計不同的解決方案，希望蘋果頭顯產品可以在其他頭顯產品中脫穎而出。
一、新系統透過搜集姿態資訊，在虛擬世界打造一個「你」
根據專利報告顯示，蘋果新專利「生成身體姿勢資訊」系統可以透過網路攝影機、神經網路系統等方式搜集使用者的姿態資訊，形成一個使用者的虛擬化身 。
1、用神經網路系統搜集使用者姿態資訊
單個神經網路系統可以搜集使用者姿勢資訊；多個神經網路系統協同工作，可以模擬使用者的某個關節；最終，所有系統的資訊全部匯總在一起便可以在虛擬世界打造一個使用者的「分身」。
在這個過程中，不同的硬體裝置都需要機器學習。因為「生成身體姿勢資訊」系統不僅要處理攝影機所搜集的數據，還需要讓不同的神經網路系統之間「學會」資訊互動。
2、神經網路系統覆蓋身體全關節
神經網路系統會搜集使用者身體上哪些部位的資訊，蘋果在專利報告中給出了答案。
▲多個神經網路系統可以監控使用者的各個關節，共同建立一個全身模型。（來源於：Appleinsider）
「生成身體姿勢資訊」系統的資訊搜集範圍包括了「脖頸、肩關節、肘關節、腕關節、骨盆關節、膝關節、踝關節和指關節」。該系統不但會對每個部位的資訊搜集範圍做出界定，而且還會確定各部位之間的連線處在哪裏。
盡管該項專利的列表裏給出了所有建立使用者身體模型需要的基本要素，但似乎並不是很詳盡。比如說，指關節似乎只是重點指代手指，腳趾以及腳部運動似乎並沒有被該系統所關註。
3、用數據打造使用者虛擬化身
蘋果認為，打造良好的沈浸式體驗需要盡可能地搜集更多有關使用者姿態的資訊。因為VR或AR應用程式可能會需要依據使用者的靜態姿勢或動態行為，為使用者呈現不同的內容。比如說，VR遊戲中的守衛需要對使用者不同的攻擊動作做出不同的反應。
事實上，蘋果希望用「生成身體姿勢資訊」系統控制使用者在虛擬世界的化身。比如說，虛擬線上社交VR Chat就可能會運用到這個系統來改變使用者的頭像呈現方式。
二、打通通訊壁壘，新專利使用凝視功能分配數據資源
蘋果的第二項專利「自適應無線傳輸」系統希望能打通頭顯和主機之間通訊壁壘。
1、VR頭顯遇通訊難題
目前市面上的VR頭顯如Oculus Quest，盡管設計者可以透過增加頭顯的重量，讓頭顯和主機之間的連線部位減少相應重量，但是，連線部位的電線本身就是一個問題。
對此，有人提出用無線通訊系統減輕頭顯的重量，並且取消電線。但事實上，無線通訊系統也會存在很多問題。
比如說，無線通訊系統傳輸數據需要消耗裝置電量，並且無線通訊系統的頻寬比有線通訊更少。再比如，無線通訊系統裏最常見的斷連、其他裝置幹擾的問題。
2、新專利采用交錯幀傳輸
面對這些難題，蘋果新專利「自適應無線傳輸」系統提供了一種新的解決方案。
它雖然采用了無線通訊系統，但是減少了一次傳輸的數據量。該方案要求系統傳輸盡可能少的視訊數據。並且，這項專利選擇將網路的頻寬量減半，透過左右眼數據交錯使用，實作交錯幀數據傳輸（interleaved frame transmissions）。
蘋果的新專利認為，數據不必傳輸畫面的每一幀。它將畫面的傳輸幀分成不同類，一類是需要緊急更新的畫面幀，另一類是可以再次使用、沒有更新、較早時間的畫面幀。
▲每只眼睛的交替視訊幀可以將一次傳輸的數據量減半。（來源於：Appleinsider）
3、凝視跟蹤功能加持數據節流
此外，該項專利還用到了凝視跟蹤功能（mention of gaze tracking）。該功能可以透過使用者的凝視，優先更新使用者正在檢視畫面的數據。不僅如此，它還透過註視點顯示技術（foveated display techniques）減少使用者未關註的畫面細節量，再次節省數據傳輸。
但實作這一方案可能需要極高的幀速率（frame rates）。據蘋果專利報告顯示，由於頭顯在眼睛部位，所以「每秒至少達到100幀」。
三、技術會不斷叠代，但並不會全套用於蘋果產品
此前，蘋果在VR和AR領域具有很多專利申請，並且與這次兩項新專利有一些技術交叉。
比如說在中央凹區域的顯示技術（ foveated displays）方面，中心凹是眼睛的一個關鍵區域，它使人們能夠以非常清晰和精確的方式看到東西。2020年，蘋果又設計了與此次類似的一個系統，該系統可以透過眼動追蹤（ eye tracking）來決定將數據資源投放在螢幕哪些地方，並且可以透過凝視檢測功能（using gaze detection）來確保畫面是否完成更新。
再比如說，手勢辨識功能。2018年，蘋果的一項專利曾涉及如何利用頭顯下方的網路攝影機來監控使用者的手勢變化，以便系統透過手勢變化管理3D文件。2015年，蘋果的一項專利可以透過機器視覺，遠距離辨識人們的手勢。
蘋果每周都會送出大量的專利申請，但新專利的存在僅代表蘋果的研發團隊對該領域感興趣，並不能保證這些專利會出現在蘋果的產品中。
結語：蘋果下場會帶火VR/AR裝置嗎？
蘋果兩項在VR/AR領域的新專利向我們揭示了一個事實，蘋果已經擁有較為成熟的、針對人機互動領域的難題的解決方案。
根據天風證券分析師郭明錤報告，蘋果可能將在2022年中期推出VR/AR頭顯裝置。他認為，蘋果頭顯能否成功要看VR/AR套用能否提供非常順暢的顯示與操作流程。
據IDC稱，到2022年，VR/AR的市場價值約為560億美元。當蘋果入場頭顯裝置時，是否能透過新的技術加速VR/AR裝置落地，我們靜觀其變。
來源：AppleInsider
