當前位置: 華文星空 > 汽車

打通寶馬汽車IMU數據,Quest Pro實作位置運動精確匹配的AR/VR駕乘體驗

2023-05-18汽車

檢視參照/資訊源請點選:映維網Nweon

專案取得了進展

映維網Nweon 2023年05月18日 )Meta曾在2021年宣布與寶馬合作,共同探索如何將AR/VR整合到智能汽車之中。他們認為,如果成功,相關技術可以徹底改變汽車、火車、飛機等出行方式,並開啟通訊、娛樂和實用的新形式。

日前團隊分享了這一專案的最新進展。其中,透過利用寶馬的慣性運動傳感器IMU數據,Quest Pro已經能夠精確呈現匹配汽車行駛的穩定混合現實體驗。

VR頭顯配備了諸多傳感器,但移動車輛構成了一個棘手的挑戰,因為諸如Oculus Insight這樣的追蹤技術主要使用慣性運動傳感器和網絡攝影機來精確估計頭顯的位置和運動。

在移動環境中,亦即在非慣性參考系中,這兩種模式會產生沖突,因為網絡攝影機觀察相對於汽車內部的運動,而慣性運動傳感器則測量相對於世界的加速度和旋轉速度。這種不匹配意味著諸如Meta Quest 2這樣的VR頭顯目前無法在車輛轉彎或加速時顯示穩定的虛擬內容。

但經過一番努力,Meta和寶馬的研究人員成功將寶馬汽車傳感器陣列的IMU數據即時整合到Project Aria眼鏡的追蹤系統中,並允許系統能夠計算出眼鏡相對於汽車的位置。

這是一個巨大的壯舉,因為在將所述追蹤系統轉移到Meta Quest Pro之後,它允許系統使用汽車的數碼孿生來準確地將虛擬物件固定在移動的汽車之上。實際上,團隊已經能夠使用這個全新的追蹤系統和Meta Quest Pro,並在移動的汽車中展示混合現實乘客體驗。

如影片2:35秒至2:47秒所示,器材可以在車內呈現一系列的炫酷混合現實體驗,比方說MR通話,MR放松體驗,以及MR遊戲等等。

當然,目前專案依然在推進之中,而團隊的下一步將是添加汽車相對於世界的位置,而這將帶來世界釘選的渲染體驗。

展望未來,Meta將繼續與寶馬合作,進一步利用現代汽車不斷增長的機器感知能力,以實作未來的用例。例如,使用汽車精確的六自由度定位系統可以在車外呈現世界釘選的虛擬內容,比如辨識地標和其他興趣點。

這家公司總結道:「這是一個令人興奮的願景,同時是我們承諾要走的道路。」

---原文連結:https:// news.nweon.com/107785