聊一聊 VR虚拟现实（四）：当前 VR 行业的几大挑战

小波妞

相信很多读者都看过《头号玩家》这部电影，里面描绘的未来虚拟现实世界让人惊叹不已。而当下的VR技术与电影里描绘的场景还有一定距离。本篇文章正是要分析一下，当前的VR行业离行业成熟，还有哪些挑战？

需要说明的是，因为篇幅有限，本文主要讨论VR眼镜相关的挑战。其他输入输出设备，比如 力反馈手套、体感服 等，不在本文讨论范围内。

根据我们的用户反馈，VR体验首当其冲的就是 ： 清晰度。 那么我们就从 清晰度说起：

清晰度
说到 清晰度，大家都会想到 视网膜屏（裸眼分辨不出像素颗粒），毕竟 这是清晰度的终极目标。对于手机来说，乔布斯把 视网膜屏定义为：300 PPI（Pixel Per Inch）。也就是 每 inch 300个像素。而这个分辨率的屏幕，在VR眼镜里，却远远不够用。因为VR眼镜，相当于用一个放大镜看屏幕，原来肉眼看不到的像素点，当然就现了原形。

那么问题来了，VR眼镜如果要达到 视网膜屏，需要多高的单位分辨率？

这里先引入一个更加跨平台通用的概念：PPD（ Pixel Per Degree ），即，每视场角像素数。目前，业内比较流行的说法是 60 PPD 是视网膜屏。也就是说，当你视野里，每度里面有60个像素以上时，你就分辨不出像素颗粒了。

300 PPI 的视网膜屏手机，放在面前 40厘米处时，大约每一度视场角对应的就是 60个像素。


如果按照 60 PPD 的标准，一个 视场角（FOV）100度的VR眼镜，单眼就需要 100 x 60 = 6000 个像素。也就是单目 6k，双目 12k（现在VR眼镜一般标称都是 双目 的分辨率）。

那么我们现在主流的VR眼镜，分辨率是多少呢？如下图（双目分辨率）：


在最早期，三大VR眼镜普遍使用 2k 的分辨率，这个分辨率下，就会有比较明显的纱窗效应。而目前，双目3k屏（2880x1600）是市场上已有的主流顶级分辨率，这个分辨率下，纱窗效应已经并不明显。而更高的 4k屏，爱奇艺刚刚发布一款一体机，但是因为还没拿到手，所以实际效果还不明确。小派号称用了 8k屏的，其实是用了两块4k屏横向拼接，在像素密度上并没有变化。（当然，一些国际厂商也有研发出更高分辨率的屏幕，但是还都是试验阶段）

由此可见，目前能成熟应用的屏幕分辨率远远达不到 12k 的要求。那是不是清晰度这件事儿就遥遥无期了呢？

其实并不是。这里面的问题在于最开始提到的 60 PPD 这个业界流行标准。这个标准在我看来有点过于夸大。如前面所说，60 PPD 相当于把手机放到 40 厘米处的情况。但是，实际实验中我们发现，即便是把手机放到20厘米处时，肉眼仍然很难看到像素颗粒，尤其是在看图片时（相对于看 锐利的文字边缘）。而 20厘米处观察手机屏幕，相当于只有 30度左右的PPD，按照这个新的标准，100度视场角的VR眼镜，单目只需要3000多个像素 就可以达到 有实用价值的 视网膜屏，也就是 双目 6k。这个数值，跟目前市场上已经存在的 4k比，其实差别就没那么大了。



2. 计算性能

屏幕问题解决了，随之而来的便是为能充分利用视网膜屏，而需要的计算能力。

先说一下视频解码能力。我们用现在常说的 4k 视频为例。

我们知道，VR视频是可以 360度观看的（也有180度视频），对于一个 4k 360度2D全景视频来说，它的长是4k，高是2k，这个 4k 的边长，需要最终被环绕到一个 360度的圆上。

当我们使用一个 100度视场角的 VR眼镜来观看时，人眼在一个方向上能看到的像素数就是 1111 。

但对于一个双目4k屏来说，单目的像素数却是 2000。所以说，在一个4k屏VR眼镜上，播放4k视频，是远远不够的。4k屏应该播放 8k视频。以此类推，在未来的 视网膜屏 6kVR眼镜上，需要播放12k 的视频。


但是问题是，8k 视频，或者 12k 视频，解码难度是相当高的。拿现在的一体机处理芯片来说，顶级的 骁龙835芯片，只能流畅的解码 4k 视频。离 8k、12k 还很远很远。

好在，我们有比较巧妙的解决方案避开这个问题，那就是：分片解码。


分片解码的概念其实很简单直观，那就是：看哪儿解哪儿。

同时只能看到100度？那就只解100度好了。这样，8k视频，只需要解码 2k左右，当前的移动处理芯片完全没问题。

可以说，分片解码 是未来VR视频播放必须要落实的技术，否则，视网膜清晰度的视频，对于计算能力和网络传输来说都是灾难。

好在现在各家VR厂商，都开始尝试 分片解码技术，相信 2018年，这项技术应该会普及开来。

视频说完了，我们再说一下VR游戏和应用需要用到的3D渲染。

随着分辨率的提升，渲染一个完整的场景，需要的计算力也是越来越大，尤其是场景还有非常复杂的材质、模型、光影特效时。那么这个时候就需要另一个技术，来降低处理难度，即：注视点渲染 技术。

注视点渲染 技术，利用到了人眼的一个特性：虽然人眼的整体FOV很大，但是，同一时间内，人只能分辨清很小视场角内的景物。

根据我们的实验，当把视野中央直径40度以外的图像压缩到 1/4 的分辨率时，人眼根本不会感知到这个分辨率的下降。也就是说，对于一个100度视场角的 VR眼镜，我们可以只对 40度范围内的景物进行高清渲染，对于 40度以外的部分，只需要用 1/4 分辨率 来渲染，这样就可以大大降低渲染的计算力需求。


当然，人的眼睛并不会只盯着正前方看，所以，注视点渲染 技术，还需要结合 眼球追踪 技术来使用。眼球追踪 技术目前已经有比较成熟的方案（比如 七鑫易维 的眼球追踪)，但是 特定区域渲染 这个技术目前还没有推广开，需要各大厂商共同推进。



3. 软件内容

一个新的计算平台的普及，需要丰富的内容生态。当前，移动VR平台软件游戏量是1000多款，PCVR 软件游戏量是 2000多款，PSVR 软件游戏 量是 200多款。

这几个数字，跟PC 和 手机 上的软件和游戏量 还远远不能比。

目前比较影响软件内容增长的，主要有两个因素，首先是 设备保有量低，导致对开发者吸引力低。当然，这个是行业发展阶段决定的。只能说希望大的游戏厂商能砸钱来推动下市场。

另一个因素，则是 VR 行业的软件标准不统一问题。尤其是 移动VR平台，完全的碎片化，虽然都是安卓平台，但是每家的SDK标准都不同。如下图左侧所示：


软件开发商需要针对不同的眼镜平台，分别对接不同的SDK，分别调试，这对开发者来说都是工作量。

好在现在有了OpenXR 标准组织，力图把各个平台的 接口标准统一，这样开发者只要开发一次应用，就能在不同平台上分布运行。这对VR软件行业是一大利好。


4. 眩晕问题

对于 VR 的眩晕问题，很多人有个误区，那就是 提及眩晕，必谈“晕动症”。其实，晕动症 只是 VR 眩晕中的一个诱因之一。而且，目前很多 VR 应用和游戏，都会想办法避开非同步运动这个问题点。也就是说，目前很多游戏内容从 操作方式上 都不会面临这个问题。

其实除了晕动症，还会有很多其他问题会造成用户眩晕，包括但不限于：屏幕刷新率、光学畸变、显示延迟、定位准确度 等。当前市场中，用户遇到的眩晕问题，更多是由这类因素造成的。好在，这些都是“可解”的。也就是说，只要 VR眼镜厂商 悉心去 调节这块，就可以将眩晕问题搞定。

再说回到“晕动症”，它也不是人类的一个固有的生理反应，不是说 只要 虚拟运动与实际运动不符就一定会晕，而是与人的意识认知紧密相关。这里有几个实验可以说明一些问题：

a 当人在 虚拟向前运动时，快速摆动胳膊，眩晕感会降低。

b 当人在 虚拟拐弯 时，如果身体同时向一侧倾斜，眩晕感会降低。

最有趣的一个现象，当属运动游戏《Sprint vector》，在里面，玩家要通过向后“拖拽”整个场景的方式，来向前移动。神奇的是，即便是人在现实中的原地不动，而游戏内的场景高速向后移动 时，也感受不到眩晕感（笔者亲自体验）。

虽然“拖拽”的方式，在游戏中适应性并不广，但是，它至少提供了一个方向，即：人类对虚拟世界运动的认知，会极大的影响眩晕感的强弱。很有可能，未来的“晕动症”，会在 脑科学 和 心理学 的夹击下，被彻底消除，届时，人类就可以真正的在 虚拟世界 中随心所欲的穿行。

文章来源：知乎，作者-Rockeymen

不二家的不二

太专业了

独行千万里

不懂就问，啥时候上线VR

a北林

真不错哈

a北林

独行千万里 发表于 2022-9-19 17:33
不懂就问，啥时候上线VR

啥时候啊

BS_4250539

王者荣耀助手

BS_4250539

生日快乐

花花小原呀

我觉得的这些数据太专业了，不去换成通俗易懂的

M凡夫俗子

真不错

飞天鱼

独行千万里 发表于 2022-9-19 17:33
不懂就问，啥时候上线VR

不知呀

小波妞

相信很多读者都看过《头号玩家》这部电影，里面描绘的未来虚拟现实世界让人惊叹不已。而当下的VR技术与电影里描绘的场景还有一定距离。本篇文章正是要分析一下，当前的VR行业离行业成熟，还有哪些挑战？

需要说明的是，因为篇幅有限，本文主要讨论VR眼镜相关的挑战。其他输入输出设备，比如 力反馈手套、体感服 等，不在本文讨论范围内。

根据我们的用户反馈，VR体验首当其冲的就是 ： 清晰度。 那么我们就从 清晰度说起：

清晰度
说到 清晰度，大家都会想到 视网膜屏（裸眼分辨不出像素颗粒），毕竟 这是清晰度的终极目标。对于手机来说，乔布斯把 视网膜屏定义为：300 PPI（Pixel Per Inch）。也就是 每 inch 300个像素。而这个分辨率的屏幕，在VR眼镜里，却远远不够用。因为VR眼镜，相当于用一个放大镜看屏幕，原来肉眼看不到的像素点，当然就现了原形。

那么问题来了，VR眼镜如果要达到 视网膜屏，需要多高的单位分辨率？

这里先引入一个更加跨平台通用的概念：PPD（ Pixel Per Degree ），即，每视场角像素数。目前，业内比较流行的说法是 60 PPD 是视网膜屏。也就是说，当你视野里，每度里面有60个像素以上时，你就分辨不出像素颗粒了。

300 PPI 的视网膜屏手机，放在面前 40厘米处时，大约每一度视场角对应的就是 60个像素。


如果按照 60 PPD 的标准，一个 视场角（FOV）100度的VR眼镜，单眼就需要 100 x 60 = 6000 个像素。也就是单目 6k，双目 12k（现在VR眼镜一般标称都是 双目 的分辨率）。

那么我们现在主流的VR眼镜，分辨率是多少呢？如下图（双目分辨率）：


在最早期，三大VR眼镜普遍使用 2k 的分辨率，这个分辨率下，就会有比较明显的纱窗效应。而目前，双目3k屏（2880x1600）是市场上已有的主流顶级分辨率，这个分辨率下，纱窗效应已经并不明显。而更高的 4k屏，爱奇艺刚刚发布一款一体机，但是因为还没拿到手，所以实际效果还不明确。小派号称用了 8k屏的，其实是用了两块4k屏横向拼接，在像素密度上并没有变化。（当然，一些国际厂商也有研发出更高分辨率的屏幕，但是还都是试验阶段）

由此可见，目前能成熟应用的屏幕分辨率远远达不到 12k 的要求。那是不是清晰度这件事儿就遥遥无期了呢？

其实并不是。这里面的问题在于最开始提到的 60 PPD 这个业界流行标准。这个标准在我看来有点过于夸大。如前面所说，60 PPD 相当于把手机放到 40 厘米处的情况。但是，实际实验中我们发现，即便是把手机放到20厘米处时，肉眼仍然很难看到像素颗粒，尤其是在看图片时（相对于看 锐利的文字边缘）。而 20厘米处观察手机屏幕，相当于只有 30度左右的PPD，按照这个新的标准，100度视场角的VR眼镜，单目只需要3000多个像素 就可以达到 有实用价值的 视网膜屏，也就是 双目 6k。这个数值，跟目前市场上已经存在的 4k比，其实差别就没那么大了。



2. 计算性能

屏幕问题解决了，随之而来的便是为能充分利用视网膜屏，而需要的计算能力。

先说一下视频解码能力。我们用现在常说的 4k 视频为例。

我们知道，VR视频是可以 360度观看的（也有180度视频），对于一个 4k 360度2D全景视频来说，它的长是4k，高是2k，这个 4k 的边长，需要最终被环绕到一个 360度的圆上。

当我们使用一个 100度视场角的 VR眼镜来观看时，人眼在一个方向上能看到的像素数就是 1111 。

但对于一个双目4k屏来说，单目的像素数却是 2000。所以说，在一个4k屏VR眼镜上，播放4k视频，是远远不够的。4k屏应该播放 8k视频。以此类推，在未来的 视网膜屏 6kVR眼镜上，需要播放12k 的视频。


但是问题是，8k 视频，或者 12k 视频，解码难度是相当高的。拿现在的一体机处理芯片来说，顶级的 骁龙835芯片，只能流畅的解码 4k 视频。离 8k、12k 还很远很远。

好在，我们有比较巧妙的解决方案避开这个问题，那就是：分片解码。


分片解码的概念其实很简单直观，那就是：看哪儿解哪儿。

同时只能看到100度？那就只解100度好了。这样，8k视频，只需要解码 2k左右，当前的移动处理芯片完全没问题。

可以说，分片解码 是未来VR视频播放必须要落实的技术，否则，视网膜清晰度的视频，对于计算能力和网络传输来说都是灾难。

好在现在各家VR厂商，都开始尝试 分片解码技术，相信 2018年，这项技术应该会普及开来。

视频说完了，我们再说一下VR游戏和应用需要用到的3D渲染。

随着分辨率的提升，渲染一个完整的场景，需要的计算力也是越来越大，尤其是场景还有非常复杂的材质、模型、光影特效时。那么这个时候就需要另一个技术，来降低处理难度，即：注视点渲染 技术。

注视点渲染 技术，利用到了人眼的一个特性：虽然人眼的整体FOV很大，但是，同一时间内，人只能分辨清很小视场角内的景物。

根据我们的实验，当把视野中央直径40度以外的图像压缩到 1/4 的分辨率时，人眼根本不会感知到这个分辨率的下降。也就是说，对于一个100度视场角的 VR眼镜，我们可以只对 40度范围内的景物进行高清渲染，对于 40度以外的部分，只需要用 1/4 分辨率 来渲染，这样就可以大大降低渲染的计算力需求。


当然，人的眼睛并不会只盯着正前方看，所以，注视点渲染 技术，还需要结合 眼球追踪 技术来使用。眼球追踪 技术目前已经有比较成熟的方案（比如 七鑫易维 的眼球追踪)，但是 特定区域渲染 这个技术目前还没有推广开，需要各大厂商共同推进。



3. 软件内容

一个新的计算平台的普及，需要丰富的内容生态。当前，移动VR平台软件游戏量是1000多款，PCVR 软件游戏量是 2000多款，PSVR 软件游戏 量是 200多款。

这几个数字，跟PC 和 手机 上的软件和游戏量 还远远不能比。

目前比较影响软件内容增长的，主要有两个因素，首先是 设备保有量低，导致对开发者吸引力低。当然，这个是行业发展阶段决定的。只能说希望大的游戏厂商能砸钱来推动下市场。

另一个因素，则是 VR 行业的软件标准不统一问题。尤其是 移动VR平台，完全的碎片化，虽然都是安卓平台，但是每家的SDK标准都不同。如下图左侧所示：


软件开发商需要针对不同的眼镜平台，分别对接不同的SDK，分别调试，这对开发者来说都是工作量。

好在现在有了OpenXR 标准组织，力图把各个平台的 接口标准统一，这样开发者只要开发一次应用，就能在不同平台上分布运行。这对VR软件行业是一大利好。


4. 眩晕问题

对于 VR 的眩晕问题，很多人有个误区，那就是 提及眩晕，必谈“晕动症”。其实，晕动症 只是 VR 眩晕中的一个诱因之一。而且，目前很多 VR 应用和游戏，都会想办法避开非同步运动这个问题点。也就是说，目前很多游戏内容从 操作方式上 都不会面临这个问题。

其实除了晕动症，还会有很多其他问题会造成用户眩晕，包括但不限于：屏幕刷新率、光学畸变、显示延迟、定位准确度 等。当前市场中，用户遇到的眩晕问题，更多是由这类因素造成的。好在，这些都是“可解”的。也就是说，只要 VR眼镜厂商 悉心去 调节这块，就可以将眩晕问题搞定。

再说回到“晕动症”，它也不是人类的一个固有的生理反应，不是说 只要 虚拟运动与实际运动不符就一定会晕，而是与人的意识认知紧密相关。这里有几个实验可以说明一些问题：

a 当人在 虚拟向前运动时，快速摆动胳膊，眩晕感会降低。

b 当人在 虚拟拐弯 时，如果身体同时向一侧倾斜，眩晕感会降低。

最有趣的一个现象，当属运动游戏《Sprint vector》，在里面，玩家要通过向后“拖拽”整个场景的方式，来向前移动。神奇的是，即便是人在现实中的原地不动，而游戏内的场景高速向后移动 时，也感受不到眩晕感（笔者亲自体验）。

虽然“拖拽”的方式，在游戏中适应性并不广，但是，它至少提供了一个方向，即：人类对虚拟世界运动的认知，会极大的影响眩晕感的强弱。很有可能，未来的“晕动症”，会在 脑科学 和 心理学 的夹击下，被彻底消除，届时，人类就可以真正的在 虚拟世界 中随心所欲的穿行。

文章来源：知乎，作者-Rockeymen

不二家的不二

太专业了

独行千万里

不懂就问，啥时候上线VR

a北林

真不错哈

a北林

独行千万里 发表于 2022-9-19 17:33
不懂就问，啥时候上线VR

啥时候啊

BS_4250539

王者荣耀助手

BS_4250539

生日快乐

花花小原呀

我觉得的这些数据太专业了，不去换成通俗易懂的

M凡夫俗子

真不错

飞天鱼

独行千万里 发表于 2022-9-19 17:33
不懂就问，啥时候上线VR

不知呀