感官世界与人机交互的盛宴─未来虚拟现实养成记

什么是真实？在电影黑客帝国中，电脑接管了人类的视觉、听觉、嗅觉、触觉等讯号，让人们从出生开始就生活在虚拟世界中却浑然不知。这虽然是科幻片，但令人浮想联翩。

2014年，Facebook20亿美金收购了Ocumulus Rift。同年Google I/O，Google发布了Cardboard，一款利用廉价纸板和手机屏幕就可以实现虚拟现实的DIY设备。2015年初，Microsoft公开了一款介于虚拟与增强现实的头戴设备HoloLens，现场演示着实惊艳。此外各大公司与游戏厂商都纷纷在虚拟现实（Virtual Reality，简称VR）领域布局，众多初创公司也在摩拳擦掌，于是VR顿时成了一个炙手可热的话题。虽然黑客帝国中描述的故事不太可能在现实发生，但VR以及VR所带来的全新体验已然走近了寻常百姓家，为人津津乐道。

怀着好奇心，我们来探讨VR背后的黑科技。我们从感官世界（视觉、听觉、嗅觉、触觉）以及人机交互的角度讨论如何建造黑客帝国，实现身临其境的体验。同时分析产业趋势和机遇。

感官世界

VR的目的是要通过模拟各种声光色电信号来还原真实或者虚拟的场景，超越时空的距离，并且制造逼真的具有代入感的体验。作为输入信号的感官模拟自然首当其冲。

目前大部分的VR设备主要侧重在重构视觉与听觉，然而这仅仅是虚拟现实技术中的冰山一角。未来的VR可以同时传递多种感官信号。想象你住在北京的胡同里，戴着VR头盔在游览意大利佛罗伦萨街角的一家水果店。你看到了水果店周围的古朴建筑和主人的微笑，同时你闻到了新鲜水果的味道。于是你伸出手，居然还能感受到水果的质地，仿佛置身当地一般，毫无二致。

最近看到一些尝试模拟多种感官的VR设备，比如Kickstarter上的FeelReal【1】，可以感受气味，风，热，水雾，以及震动。这类设备的用户体验仍然有待提高，目前并不完善。然而在学术界，相关的研究已经持续了好几十年。下面我们来细数VR背后的黑科技。

【视觉】

如何保证VR屏幕上得到的影像是逼真的呢？主要的解决方案是通过融合左眼和右眼的图像来获得场景的纵深感（如图1所示）。这里又要分两类来看：对于虚拟场景的重现，主要是通过计算机图形学对合成物体作逼真的渲染，然后分别投影到头盔佩戴者的左右眼来实现；而对于真实场景的重现来说，侧重在于如何采集现场画面，并且能够完整地记录下场景的几何信息。这个可以通过体感相机（比如Microsoft Kinect）或者相机阵列进行(如图2所示）。比如说Google今年推出的Jump就采用了16台GoPro来制作虚拟场景的内容，达到可以逼真还原现场拍摄的效果。

图1 Google Cardboard的机身由纸盒子做成

图2 人眼的Field of View (FoV, 视场）通常可以达到180度。而普通相机的视角最多只能到达150度。宽阔的视场更能让人具有身临其境的代入感。

【听觉】

声音配合画面才能淋漓尽致地展现现场效果。一般的声音录制方法并不能完整还原环境的三维信息。而三维声音，也称为虚拟声(virtual acoustics)、双耳音频(binaural audio)，则利用间隔一个头部宽度的两个麦克风同时录制现场声音。该方法可以完整地保存声音源到双耳的信号幅度以及相位的差别（如图3所示），让听众仿佛置身现场一般。颇有意思的是，麦克风的外围竟有人耳的造型以及由类似皮肤的材料构成，这样可以最大限度地保存外部声音导入人耳的整个过程。更有甚者（如图4所示），有人构建了三维声音阵列，可以将360度全景声音全部录入，然后通过头部的转动选择性地播放出来。笔者曾试用过这套系统，音质极佳，令人震撼。

图3 利用间隔一个头部距离的一对麦克风可以忠实地记录从声音源到双耳的传递过程

图4 左图为3Dio公司的三维音频输入设备 右图进一步将8台麦克风做成360度阵列用以VR展示

【嗅觉】

如何让VR盒子带来“暗香浮动月黄昏”的感受？嗅觉虽然并不是VR必须的输入信号，但能够极大程度丰富VR的体验。将嗅觉嵌入到影片里的尝试可以追溯到半个多世纪前（比如Smell-o-Vision)。而通过电子调控方式实现气味合成也已经有好几十年历史，比较著名的比如iSmell公司。合成气味的方式通常是由一堆塞满了香料的小盒子组成，也被称作气味工厂。每一个小盒子可以单独地被电阻丝加热并散发出对应的气味。同时加热多个小盒子就可以将不同的气味混在一起，如图5。FeelReal就宣称采用了拥有7个小盒子的气味工厂来合成气味。当然，这项技术距离实际应用还有一段距离，主要难点在于如何精确地采集，分析，以及合成环境中的任意气味。

图5 将气味香料放在不同的小盒子里通过单独加热来释放和混合

【触觉】

触觉（haptics）可以将虚拟的对象实物化，不仅看得见，还能“摸得着”。如何模拟不同物体的触感是一个非常热门的研究课题。最简单的触感可以通过不同频率的器件震动来实现，条件是皮肤与头盔或者手套相接触。触感的的获得甚至可以隔空完成。比如UltraHaptics【2】，通过聚焦超声波到人的皮肤来实现“隔空打耳光”的功能;-) 再比如迪士尼的Aireal 【3】，可以通过精确地压缩和释放空气产生空气漩涡（vortex ring）来“打击”到皮肤表面（见图6）。类似的触感还可以通过镭射激光来操作，最新的进展可以参见【4】。

图6 ： 通过相位阵列聚焦超声波到空间任意点产生振动，并可以调整频率和节奏产生不同的触感。右：迪士尼的Aireal项目 [3] 通过远距离发送空气漩涡波撞击皮肤产生各种触感。两个项目都使用了体感相机（Kinect）来识别定位手的位置。前者通过相位调控电子地调整波束方向，后者通过马达机械调整空气漩涡的发送朝向。

人机交互

聊完了丰富多彩的感官世界，我们再来看看VR中的控制部分。一般的VR头盔拥有丰富的传感器比如前置相机，陀螺仪，加速度计，感光器，近距探测器。也可以添加诸如心率监控，眼球跟踪等传感装置。这些传感器的使用赋予了VR设备许多新颖的功能以及交互体验。

【头部控制】

最常用的莫过于头部控制了，主要利用陀螺仪来检测头部的三维旋转角度并对屏幕的显示内容作相应调整。绝大部分的VR盒子都能实现这个基本功能，在此就不多作介绍了。

【手势控制】

手势控制可以大大增强互动性与娱乐性，尤其对于游戏玩家非常必要。这里又要分成两类：第一类是通过穿戴类似wii控制器的手套来实现手势的识别；第二类则直接利用头盔上的外置相机通过计算机视觉的方法来识别和跟踪手势。对于后者，往往需要类似Kinect这样的深度相机才能准确地识别手势。LeapMotions, SoftKinetics等公司在VR手势控制上已经有不少成熟的demo（图7）。

图7：手势控制可以大大增强互动性与娱乐性，尤其对于游戏玩家非常必要。

【眼球控制】

想象3D场景随着你的眼睛转动而改变！比如Kickstart上的FOVE【5】尝试的正是如何使用眼球跟踪技术来实现VR游戏的交互。眼球跟踪技术在VR盒子或者头盔上并不难实现，一般需要在盒子或者头盔内部装载一到两个对着眼睛看的红外相机即可。除了基本的眼球追踪之外，还可以识别特定的眨眼动作用来控制屏幕等。 除了游戏控制之外，眼球跟踪还有很多其他应用。比如可以模仿人眼的生物学特性，仅仅将图像聚焦放在眼球关注的地方，而将图像其余部分动态模糊掉。这样的处理会让3D影像显示变得更加真实，同时还能有效地聚焦图像以及省电。

【心率控制】

不是有一句话说得好吗：玩得就是心跳！心跳可以反映人的当前状态，比如兴奋，恐惧，处于放松或者有压力的状态。检测VR使用者当前的生理状态就可以动态地调整影像内容以及音效来实现一些超现实的效果。比如说，当心跳较快即人处于兴奋状态时，可以动态地调高图像播放速率来匹配人目前的运动节奏让运动来得更猛烈一些。或者利用负反馈的调整让人可以迅速平静下来，很适合休息或者冥想。

结论

“你选择红色药丸还是蓝色药丸？”，影片黑客帝国抛出了这样一个令人深思的问题。选择蓝色药丸可以一如往常的生活在虚拟世界里；选择红色药丸则必须鼓起勇气面对真相。我觉得，VR技术可以帮助人们更好地体验真实的世界，从感官到人机交互上会给人很多想象空间。相信本文中所提到的很多技术不久就会进入寻常百姓家。随着VR技术的深入发展和普及，人们的生活体验会变得更加丰富多彩，从此不必再受时空拘束。

【1】FeelReal: https://www.kickstarter.com/projects/feelreal/feelreal-vr-mask-and-helmet?ref=category_location

【2】UltraHaptics: https://ultrahaptics.com/evaluation-program/

【3】Aireal: https://www.disneyresearch.com/project/aireal/

【4】Ochiai et al. Fairy Lights in Femtoseconds: Aerial and Volumetric Graphics Rendered by a Focused Femtosecond Laser Combined With Computational Holographic Fields. SIGGRAPH 2015

【5】FOVE: https://www.kickstarter.com/projects/fove/fove-the-worlds-first-eye-tracking-virtual-reality

作者简介：顾志强，计算机科学博士。热爱研究和分享黑科技带来的最新成果。曾先后在苹果人机交互实验室与谷歌 [x] 实验室，从事苹果手表触屏以及谷歌眼镜的研发项目，并取得多项专利和若干创新项目奖项。本文节选自他目前正在筹备的新书《硅谷黑科技》。

本文选自程序员电子版2015年9月A刊，该期更多文章请查看这里。2000年创刊至今所有文章目录请查看程序员封面秀。欢迎订阅程序员电子版（含iPad版、Android版、PDF版）。

本文为《程序员》电子刊原创文章，如需转载请注明出处