物体操纵(平移、旋转和缩放)是 3D 用户交互中最常用的基本操纵之一,可用于许多虚拟现实 (VR) 应用程序,例如产品设计、3D 对象建模和虚拟对象组装,操纵的准确性直接影响应用的效果。目前已经提出了许多技术来提高对象操纵的准确性和效率,例如空中操纵和PinNPivot操纵。
协同操纵 是指多个用户共享一个虚拟环境,对同一个物体进行操纵,这对于VR团队操纵训练等应用是必不可少的。 协同操纵的优势在于,如果单个用户在虚拟环境中无法高效准确地完成特定的物体操纵任务,通常其他用户可以帮助该用户高效准确地完成操纵。 在复杂的操纵任务(如物体的精确定位)中,多用户协同操纵在效率和准确性方面明显优于单用户的操纵。 在一些特殊环境中,协同操纵的优势更加明显 ,例如,当周围环境遮挡了目标位置时,将物体放置在远离当前位置的地方时,具有更好视角的其他用户可以帮助当前用户更高效、准确地操纵物体。
协同操纵的难点 在于如何在多个用户之间进行合作操纵物体。 协同操作的直观方法 是先来先操作和主动切换优势。先来先操纵是指当多个用户在给定帧内操纵同一个对象时,第一个被检测到操作的用户有权操作该对象,其他用户的操作无效。主动切换优势是指non-domintor用户在认为自己的视点优于dominator的视点时,可以主动切换为dominator。这两种方法简单易实现,但没有考虑所有用户的视点质量,所以效率和准确率还有待提高。Lages [1]等人提出了一种在协同操纵过程中手动指定dominant manipulator的方法。这种方法将一个用户分配给director的角色,director可以观察整个场景和所有协作用户的位置,然后手动指定谁是当前帧中的dominant manipulator。这种方法的问题在于director的经验直接影响dominant manipulator的分配。
在本文中,作者引入了一种基于视点质量评估的协同操作方法,以提高VR应用程序中对象操作的效率和准确性。作者构建了一个包含三个分量的视点质量函数:
即需要操纵的对象的可见性、目标的可见性以及目标深度与距离的综合项来评估多个用户的视点。
然后,作者比较多个用户的视点质量,选择视点质量最高的用户作为优势用户,直接操纵当前对象。为了保持优势的稳定性,作者引入了时间滤波器来过滤前一帧和当前帧生成的优势序列。
为了证明方法的有效性,作者设计了一项用户研究,其中包括三个多用户操纵操作任务。 结果表明,与现有的方法相比,作者的方法在完成任务的时间和旋转精度方面有显著的提高。
最后,总结一下方法的pipeline:
我们的方法通过比较多个用户的视点质量来实时确定 VR 协作操作的dorminantor。
如果其中一个用户A 是最后一帧 n - 1 的dominator,我们计算A用户视点图的视点质量分数。而用户B是最后一帧 n-1 的non-dominator,在我们计算出用户B视点图的视点质量得分后,我们比较用户A和用户B的视点质量得分,如果用户B的视点质量得分大于用户A,并且过滤结果大于等于1,则用户B将切换到dominator。
论文发表在ISMAR 2021,论文下载地址:
[1] Lages W . Ray, camera, action! A technique for collaborative 3D manipulation[C]// 3d User Interfaces. IEEE, 2016.