浅析VR交互技术选型中的瓶颈与机遇

Depth VR 创始人 李今

“我们分析过VR市场后发现，最终做一体式头显设备且能站住脚的也只有那几家寡头，但手机VR头盔不同。每个人都有手机，相对VR头盔，手机更加便宜，用户接入门槛比较低，会有更大的机会”Depth VR CEO朱晨叉在说这番话时，他们前不久刚发出了与魅族合作推出的纸盒版手机VR头盔“画风”，而一个做好的“这视”手机VR头盔正放在他手边。他们之后会将主要精力放在手机VR头盔上。

不过，现在市场上有很多厂商都推出了各种形状、颜色的手机VR头盔，大同小异。朱晨叉认为想要脱颖而出，交互体验是关键。所以，即便“画风”只是一个纸盒版的小产品，为了能在体验上做到与众不同，他们也为其标配了一个mini的蓝牙游戏手柄，并与游戏团队对接，同步推出VR小游戏“克雷西号”。

与魅族推出的纸盒版手机VR头盔“画风”

“VR是一个刚刚起步的领域，大家都在摸索正确的发展模式。在这样的情况下，很多人会将以往其它领域的经验照搬过来”李今分析道。如果真的以过去的市场来做对比的话，现在就像还没有出现iPhone的手机市场。iPhone给了用户、开发者一个形象的定义和边界，用户接受它带来的体验，开发者清楚如何在苹果的定义下创造用户想要的体验。但VR还远未到这个阶段。

各家VR硬件创业公司都在试图将不同的交互技术集成到产品中，提供差异化的用户体验，Depth VR亦是如此。李今从技术角度，分析了各类技术在与VR结合时可能出现的瓶颈。

眼球追踪技术应用於VR的瓶颈

李今在创建Depth VR之前，曾专注于眼球跟踪技术多年。眼球跟踪技术的基本原理是将一束光打到眼球上，通过瞳孔和角膜反射光算法来计算跟踪视线，但是这种技术有几个问题。

“首先，用户不能戴眼镜。因为每个眼镜的度数、散光不同，每次佩戴位置也可能会有几毫米的偏差，所以折射率无法确定。第二个问题，每个人的眼球参数不同。而且眼球是一个软组织，在不同的光照、时间段，瞳孔和眼压大小都会有所不同，这使得工程师无法对其进行精准建模。所以用户每次使用眼球跟踪设备前都需要校准。”李今解释道，“由于这些问题的存在，如果将眼球跟踪技术应用到VR中，它的确可以识别出用户视线的大致范围，但是要精确到某一个像素就非常难了。

将眼球跟踪应用到VR中还可以实现一种效果，就是景深（Depth of Field）：当用户盯着一个物体的时候，周围的场景会变模糊。这会给用户一种错觉，这种效果是对的，但它的实际意义并不大。当你玩游戏的时候，沉浸感和其他感官的交互会将这种错觉冲淡。”

声、光、电的难题

目前，Depth VR正在研发一款游戏手柄。两个手柄上分别有两个光源，安置在房间里的两个摄像头可以主动区分它们与房间中其他的光源，并通过三角定位算法判断跟踪手柄的位置。这款产品预计将在今年10月发布。

类似的用于VR交互的游戏手柄我们已经见过不少，比如雷蛇的Hydra、Sony Project  Morpheus的手柄、Oculus Touch等，它们分别涉及不同的定位技术。

现在的定位技术有三类：声、光、电。声就是超声波，定位原理并不复杂，属于基于距离的几何算法。我们可以在房间中放3个以上的发射器，而被定位物体作为接受点，根据依次接收声波的时间来计算距离。李今分析说，“声波的飞跃时间会受到空气湿度、空气密度的影响，不过通过自动校准可以排除误差，但它最大的问题是延迟比较大。声波传播一米大约需要3毫秒，一个来回就是6毫秒。超声波的识别需要收集至少四个完整的波形，也就是四个发声周期和四个不发声周期。如此计算的话，至少会有48毫秒的延迟，这是VR交互无法接受的。”

还有一种是电磁式定位，也就是Hydra所用的技术。“他们用的是电磁耦合式定位。它有一个基准的磁场，手柄也内置了传感器。设备会测量三个方向的磁场强度，基于强度衰减计算距离。但这种技术应用在家中或者展会等场景中会出现一些问题。金属物体、电脑元器件、显示器等物体非常容易干扰磁场，这就会产生定位误差。”而且，磁场基站是将电能转化为磁力，因为功率受限，磁场覆盖范围也比较有限。

最后，通过光来定的方式有很多种。我们经常看到电影演员身穿带有白色标记点的衣服，在绿幕下进行拍摄的场景，就是通过光学定位来捕捉动作。在这方面比较有代表性的公司就是VICON。这样场景通常会需要4到16个定制化的高速摄像机，每一台摄像机可能需要几万美元，拍摄环境的搭建也需要上百万。所以这种方案肯定无法给消费者使用。

Depth VR的手柄也采用的是光学动捕方案。李今给我看了两个demo视频。在第一个视频中，他们在头盔上安装了一个光源，摄像头会实时拍摄并在画面中标记出该光源的位置。而且，在整个拍摄环境里有环绕在屋顶的多颗灯泡、桌子上的台灯等大大小小的干扰光源的情况下，摄像头都能准确地识别并跟踪头盔上的光源。第二个视频是在白天逆光的情况下拍摄的。安装了光源的头盔被放置在窗台边的桌子上，在镜头晃动的过程中，设备仍能准确地识别跟踪头盔。

这套方案的难点在于构建一套可以让设备区分标记点和干扰源的算法。VICON这类光学动捕的方案在初始化时需要告诉计算机哪些标记点是需要跟踪的。在高速摄影下，由于每个动作都被放慢了，计算机会根据相隔的两帧之间的对比来跟踪标记点。而据李今介绍，在他们团队经过半年优化后，这套方案可以不依赖于高帧率和帧的连续性，纯粹从每一帧的图像中去进行识别判断。

Depth VR团队

试错、转变与优化

就像之前李今所说的，VR还处于起步阶段，很多团队都在做不同的尝试。在确定使用这套光学动捕方案之前，李今和技术团队还做过其他试验。

Depth VR还在2014年11月底做出了一个demo，它采用SLAM技术，通过在手机安装一个鱼眼镜头，利用捕捉到的图像来实时计算手机自己的空间位置。这种方案成本很低，如果在手机VR头盔上加装这样一个鱼眼镜头，那么手机就可以实现自己跟踪位置，无需添加任何外设。至于为什么最终没有应用，李今解释道，“这个demo是跑在iPhone上的，这套实时跟踪算法需要占用大约85%的CPU，几乎没有空间可以留给游戏。我们后来做过很多优化的尝试，但是效果都不够理想。”

基于SLAM的demo

Depth VR之所以采用目前的方案，拥有较完整用户体验的交互设备，也算是在考虑到现阶段手机芯片、IMU等性能的限制后，做出了一定程度的妥协。

在这半年的研发过程中，技术团队多出了几个层面的优化。首先在硬件方面，他们将包含了摄像头、USB 3.0、ARM处理器等150个元件的电路板优化裁剪到了一张公交卡的大小。这块主板可以实时处理摄像头拍摄的图像数据，并计算出实时定位数据。这块主板目前暂时通过USB来传输数据，预计在10月会用蓝牙替代。另外，技术团队还花费大量时间在图像处理算法、驱动等方面进行了优化。

另一个成功的尝试像是Depth VR之前有一个虚拟现实产品：通过在3D显示器上增加一个红外追踪装置，能在 0.1 米到 3 米的距离内追踪装有红外发射装置的 3D 眼镜，根据眼镜位置实时调整成像，让用户能看到不同角度的 3D 场景。“我们在基于红外光学的位置追踪、空间定位技术上花了将近一年的精力”。李今表示，同时具有输入和输出才是完整VR。手机里只有加速度传感器和陀螺仪，当你把手机放到手机VR头盔里时，它在输入方面的缺失让你无法享受真正的VR，这也是现在很多手机VR头盔存在的问题。

附有红外发射装置的3D眼镜

得内容者真能得天下？

业界曾有这样一个说法：VR的核心始终是内容，技术并非难题，以现在硬件迭代和供应链的速度和力量，追赶对手用不了多少时间。

李今也考虑过这样的问题，如果产品发布，必定会有人拿去拆解。如果遇到有决心的，或许会高新聘请一些工程师攻克算法问题，最终做出一款山寨产品。李今认为，在不远的将来，必定会出现低廉的商品化的技术方案，人的创造力完全有可能突破许多工程问题。

“但从另一个角度来看，上面这种说法也不完全正确”李今补充道，“VR现在有两个难题，一个是技术，一个是内容。但是两者相较，技术更加重要，为什么？因为当技术问题解决之后，产品形态才能固定下来。成熟的产品形态产生的是最佳的用户体验标准，从而吸引大量内容。”

在李今看来，技术问题的解决可固化产品形态，产品形态的性感与否决定了用户的认可度与购买意愿。现在紧跟VR热潮的游戏创业者，不是纯粹从VR领域开始打基础的原生力量，就是曾经错过了手游爆发点的资深游戏人。“做内容的开发者都不蠢，他们清楚什么样的产品才有市场。当有了完整的产品后，内容不再是一个问题。”

现在有些公司并未意识到这一点，他们更多地认为“内容”才是重心。李今认为，现阶段的设备还未出现一个成熟的形态，将主要精力放在“内容”和构建平台上，是典型的外行引导内行的局面。在这里，外行有可能是市场，也有可能是投资方。

除了可预见的技术和内容问题，在每类新型产品背后，还有急需进一步探寻的场景问题。像Google Glass这样的产品就是在使用场景上碰了壁。那么手机VR头盔的使用场景应该是怎样的呢？

在李今看来，VR能做的事情不仅仅局限于游戏和电影，在to B市场也有很广阔的想象空间。或许有朝一日，我们可以在VR场景中学习空间几何，甚至可以直接带着VR头盔设计游戏人物、搭建游戏场景。

李今认为“现阶段做需求分析是一件很难的事，就连Google都没能做好。最初Google Glass之所以能火，不是因为大家存在需求，而仅仅是因为这个设备看起来很酷。VR也是一样。可能我说这话会让人感到消极，但是VR确实还有待探索，等到适用场景确立至少还需要两三年。现在讲VR的需求分析还为时尚早。在这种使用场景不明确的情况下，VR领域的人能做的只有一件事，就是将体验打磨的越来越好，让画面更加清晰，让延迟更小，让游戏渲染更精细。”

本文选自程序员电子版2015年9月A刊，该期更多文章请查看这里。2000年创刊至今所有文章目录请查看程序员封面秀。欢迎订阅程序员电子版（含iPad版、Android版、PDF版）。

本文为《程序员》杂志原创文章，未经允许不得转载，如需转载请联系market#csdn.net(#换成@)