物體操縱(平移、旋轉和縮放)是 3D 使用者互動中最常用的基本操縱之一,可用於許多虛擬現實 (VR) 應用程式,例如產品設計、3D 物件建模和虛擬物件組裝,操縱的準確性直接影響套用的效果。目前已經提出了許多技術來提高物件操縱的準確性和效率,例如空中操縱和PinNPivot操縱。
協同操縱 是指多個使用者共享一個虛擬環境,對同一個物體進行操縱,這對於VR團隊操縱訓練等套用是必不可少的。 協同操縱的優勢在於,如果單個使用者在虛擬環境中無法高效準確地完成特定的物體操縱任務,通常其他使用者可以幫助該使用者高效準確地完成操縱。 在復雜的操縱任務(如物體的精確定位)中,多使用者協同操縱在效率和準確性方面明顯優於單使用者的操縱。 在一些特殊環境中,協同操縱的優勢更加明顯 ,例如,當周圍環境遮擋了目標位置時,將物體放置在遠離當前位置的地方時,具有更好視角的其他使用者可以幫助當前使用者更高效、準確地操縱物體。
協同操縱的難點 在於如何在多個使用者之間進行合作操縱物體。 協同操作的直觀方法 是先來先操作和主動切換優勢。先來先操縱是指當多個使用者在給定幀內操縱同一個物件時,第一個被檢測到操作的使用者有權操作該物件,其他使用者的操作無效。主動切換優勢是指non-domintor使用者在認為自己的視點優於dominator的視點時,可以主動切換為dominator。這兩種方法簡單易實作,但沒有考慮所有使用者的視點質素,所以效率和準確率還有待提高。Lages [1]等人提出了一種在協同操縱過程中手動指定dominant manipulator的方法。這種方法將一個使用者分配給director的角色,director可以觀察整個場景和所有協作使用者的位置,然後手動指定誰是當前幀中的dominant manipulator。這種方法的問題在於director的經驗直接影響dominant manipulator的分配。
在本文中,作者引入了一種基於視點質素評估的協同操作方法,以提高VR應用程式中物件操作的效率和準確性。作者構建了一個包含三個分量的視點質素函數:
即需要操縱的物件的可見性、目標的可見性以及目標深度與距離的綜合項來評估多個使用者的視點。
然後,作者比較多個使用者的視點質素,選擇視點質素最高的使用者作為優勢使用者,直接操縱當前物件。為了保持優勢的穩定性,作者引入了時間濾波器來過濾前一幀和當前幀生成的優勢序列。
為了證明方法的有效性,作者設計了一項使用者研究,其中包括三個多使用者操縱操作任務。 結果表明,與現有的方法相比,作者的方法在完成任務的時間和旋轉精度方面有顯著的提高。
最後,總結一下方法的pipeline:
我們的方法透過比較多個使用者的視點質素來即時確定 VR 協作操作的dorminantor。
如果其中一個使用者A 是最後一幀 n - 1 的dominator,我們計算A使用者視點圖的視點質素分數。而使用者B是最後一幀 n-1 的non-dominator,在我們計算出使用者B視點圖的視點質素得分後,我們比較使用者A和使用者B的視點質素得分,如果使用者B的視點質素得分大於使用者A,並且過濾結果大於等於1,則使用者B將切換到dominator。
論文發表在ISMAR 2021,論文下載地址:
[1] Lages W . Ray, camera, action! A technique for collaborative 3D manipulation[C]// 3d User Interfaces. IEEE, 2016.