黑鲨社区

标题: 聊一聊 VR虚拟现实（五）：我们离《黑客帝国》有多远 [打印本页]
作者: 小波妞    时间: 2022-9-19 17:44
标题: 聊一聊 VR虚拟现实（五）：我们离《黑客帝国》有多远
随着VR市场的回暖，最近在知乎上又开始多了这样的问题：我们离“某某电影”里的VR技术还有多远？那么这次我们就比较系统的回答一下这类问题。

目前以VR为主线的电影中，比较有名的有这么几部：《黑客帝国》《刀剑神域》《头号玩家》。另外有些电影里也会涉及到一小部分虚拟现实情节，比如：《攻壳机动队》，这种不在本次讨论范围内。
(, 下载次数: 44)

《黑客帝国》、《刀剑神域》、《头号玩家》
上图中的这几部电影中 ，涉及到的 VR 技术不尽相同。其中，《黑客帝国》和 《刀剑神域》用到了类似的技术：脑机接口。而《头号玩家》则属于比较近现代的技术延伸。下面，我们就从比较近的电影说起。

《头号玩家》离我们有多远？
《头号玩家》里，VR设备的技术路线非常贴近现代。可以说，只要我们沿着当前的技术方案继续发展，最终就会是电影里的样子。下面我们就分别说一下，电影里主角用到的装备及技术。

一、VR眼镜
电影中，主角还是需要戴一个眼镜来看到虚拟世界。我们假设里面用到的VR眼镜已经做到极致了，那它的参数应该是什么样呢？

需要达到视网膜分辨率。一般理论上来说，人眼的分辨率极限是 60PPD（每个视场角60个像素），但实际上当超过 30PPD 时，观看视频时就几乎没有颗粒感了。
FOV需要跟人眼类似，双目达到200度左右。
重量应该非常轻便，目测在100多克
那当下VR眼镜做到什么程度了呢？

拿目前配置比较高的Pico G2 4K 一体机为例，双眼分辨率 4k，大约是20PPD。FOV 100度。前部重量200多克。

虽然 20PPD 的清晰度也已经够用，但是跟电影中的极致VR眼镜还是有一些差距。不过，依据现在的发展速度，PPD、FOV 达到电影里的水平只是时间问题。
(, 下载次数: 46)

右： PicoVR 4K 一体机
更多关于VR眼镜面临的挑战细节，可以参考：

Rockeymen：聊一聊 VR虚拟现实（四）：当前 VR 行业的几大挑战
199 赞同 · 13 评论文章
二、体感手套
在现实生活中，“手” 可以说是人类与周遭事物交互的最多最复杂的器官。要达成一个沉浸的VR体验，就不得不精确地重现用户的手部动作。手部动作的模拟，目前有两个方向：一个是佩戴装有传感器的手套；一个是依靠计算机视觉来识别。

很显然，电影《头号玩家》里用的是前者（见下图）。

近距离看电影里的手套样式，应该是只包含了输入功能，现实中类似的比如 Manus VR（下图右上），每只手套使用12个高精度的传感器、一个陀螺仪、一个加速度计和一个磁力计，测量手部姿态，输入到虚拟世界中。
(, 下载次数: 41)

右上：ManusVR 右下：Dexmo手套
但其实，如果想更进一步的话贴近现实的话，手套还应该有力反馈功能。也就是用户在抓握虚拟世界中的物体时，手部应该能感受到相应的“力道”。

现在也有公司已经实现了这种手套，比如：Dexmo（上图右下）。

Dexmo的技术可以基于用户的在虚拟世界中进行物体交互时的状态，计算出实际上手指应该受到的力，反馈给手套。手套再通过机械结构，将力作用到手指上。根据虚拟物品的形状以及软硬不同，使得每个手指都能感到不同程度的触发力，最终感知到物体的大小、形状、以及硬度。


另外有一条路是靠 计算机视觉，通过摄像头或者深度相机 拍摄到手部的图像，然后通过人工智能的算法直接算出手部姿态。

这个方案的优点是：不需要额外穿戴设备。

缺点也很明显：检测精度受限，检测速度也低于手套方案。另外，也无法接入力反馈。

(, 下载次数: 41)
LeapMotion 手势检测
三、运动检测
电影里，主角的房间里放了一部万向跑步机，而这在当下其实也有原型，比如早年的 Omni 万向跑步机，以及已经上市的 KAT Walk（下图）。

(, 下载次数: 53)
右：Omni 万向跑步机
(, 下载次数: 43)
KAT Walk
不过，现实中的两种跑步机，跟电影里的实现方式不太一样。《头号玩家》中的跑步机，是履带式的（跟健身房里的跑步机有点像），履带式跑步机，如果要实现任意方向跑步，对机械结构的设计比较高。而现实中的这两款跑步机，都是采用了“滑步”式的方法，即 鞋底部在 底板上滑动。

需要指出的是，其实按照电影里主角使用的跑步机装备，还没法完美实现让主角在虚拟世界中做非常复杂的各种动作。比如，一开始的 飙车场景里面有大量的 坐下、飞扑等动作，实际中，主角在他自己的那个小屋子里，是不可能做到那些动作的（在车里坐下时，坐在哪里?）。 所以只能说是为了艺术表达而稍微夸张了一下。

四、体感服
电影里，主角赢得第一把钥匙和奖金后，去购买了一套高端体感服，然后在跟女主角约会的过程中，男主全身都能感受到被女主触摸的感觉。

http://bbs-avatar.blackshark.com/forum/202209/19/174101r8kpeek774nt347e.mp4

在现实中，也有公司推出了类似产品：Tesla Suit （这个Tesla 跟 电动汽车特斯拉没有关系）。它采用了电刺激的方式，套装共有68个触觉点，11个动作感知传感器。内置触觉反馈、动作捕捉、恒温控制、生物识别反馈等。无论是温柔的触摸还是强烈的冲击都可以模拟。
(, 下载次数: 43)

所以说，从硬件上看，电影里的技术现在都有，只是个成熟度和能不能低价格量产的事儿。

五、场景渲染
在我看来，《头号玩家》里面真正比较惊艳的、有挑战的，其实是其软件方面的技术。尤其是在主角首次介绍虚拟世界时，展示的那一系列让人眼花缭乱的场景：高保真的场景渲染、无缝加载的地图、大规模的多人互动，这些对计算机渲染能力、网络低延迟 都是极大的挑战。

(, 下载次数: 43)
《头号玩家》虚拟世界开场场景
虽然在当下的VR游戏里，单一物体渲染的材质感都已经比较真实，但是，想实现电影里那样大规模的高保真的物体同时出现在场景中，我们需要更强的计算能力，更先进的网络架构（5G需要普及），更高效的渲染算法。可能单机渲染已经不可能达到要求，需要计算机集群在云端进行渲染。

那我们现在跟电影里差距多大呢? 我想五年不为过。

有人可能会觉得，电影里做的也是CG，VR也是用CG，电影已经做到的效果，VR直接拿来用不就行了？ 这两个的区别是，电影里的CG，是离线后期渲染出来的，每一帧都要几十上百小时来渲染，这在实时游戏场景下是完全不可能接受的。

六、容积视频（Volumetric Video）
除了强大的渲染能力，《头号玩家》在几处场景中还展示了另一项比较先进的技术，那就是 主角在博物馆（图书馆）查过去的视频资料，查阅的时候，可以实时调整视角，如下面的图中所示。
http://bbs-avatar.blackshark.com/forum/202209/19/174201rer1i1wxqrslzwyp.mp4

《头号玩家》里的“容积摄影”

这个需要用到“容积摄影”技术（也叫体三维摄影）。简单的说，就是围绕着被摄物体放置一圈很多个相机，把各个角度的视频全都拍下来，可以后期无缝的切换。这个技术在 CES2019 上 Intel 也展示过，在它的专用摄影棚中，使用70多台摄影机去捕捉360°的场景，拍摄出的内容支持6DoF观看。

但是在《头号玩家》里，博物馆中保存的那个场景中并没有放很多相机，所以靠少数几个相机怎么能达到那个效果？ 这就是一个比较难的问题了。
(, 下载次数: 47)

Intel Studio
所以说，《头号玩家》中的世界，其实离我们并不遥远，是近未来，属于可以期盼的未来世界。

那么，另外几部电影呢？

《黑客帝国》《刀剑神域》离我们有多远？
其实每次被问到这个问题都很头疼，因为最准确的回答其实就是：没人知道。

《刀剑神域》跟 《黑客帝国》两者的技术路线比较类似，都是用到了脑机接口，只不过，《黑客帝国》是侵入式的（脑后插管），而《刀剑神域》只是头戴刺激（影片中描述说：会因为电流过大而毁坏大脑）
(, 下载次数: 40)

左：《刀剑神域》 右：《黑客帝国》
脑机接口包括两部分技术：

1. 通过大脑信号直接输出各种控制信号

2. 直接刺激大脑生成各种感官（视、听、嗅、触 等）

第一部分：控制输出，可以说看到一些苗头。

目前比较常用的就是采集使用者的 脑电信号（EEG），来进行分析，最终“猜测”出使用者的行为意图。
(, 下载次数: 49)

基于脑电信号（EEG）的脑机接口
近些年，已经有科学家通过脑电信号，来控制机械手、直接生成语音 等等。虽然效率和精度还有待提高，但是已经走上了一条可以持续研究的道路。相信未来通过对大脑信号的 接收、解析能力的进一步增强，可能达成更多的 控制需求。

(, 下载次数: 49)
脑机接口实现语音生成


脑机接口最难的部分在“直接刺激大脑生成各种感官”这一块，可以说还没找到好的方向。

目前见过一些人造耳蜗、人造视网膜 ，但是还都是通过电子设备采集信号，然后把信号接入到相应的神经上，从而实现比较有限的分辨率。
(, 下载次数: 48)


人造耳蜗

我们不妨大胆的猜测一下《黑客帝国》中的实现方案：

在人类刚出生的时候，就会被做一个手术，把身体各处的通往大脑的神经（听觉神经、视神经 等等），分门别类的，有序的接入到脖子处了一个接口中。在实际运转中，外部的虚拟现实计算机会通过插头，向接口中的不同神经，分别发送相应的信号，最终让人在大脑里感受到 视觉、听觉 等等感觉。

听起来很简单是不是？ 但其实里面有个很难的问题：

要输入什么样的信号，才能让被输入者产生我们想要传递给他的感觉呢？ 比如，我们想要被输入者，看到一朵美丽的花，闻到其香味，需要什么样的电子信号刺激？

要解答这个问题，需要 脑科学、神经科学、AI 等技术有更进一步的发展才行。

而至于《刀剑神域》，在不做侵入式的神经连接的情况下，只通过大脑外部的刺激，就实现《黑客帝国》中的效果，那更是难上加难。

总而言之，对于《头号玩家》中的虚拟世界，我们是可以期盼的。而对于《黑客帝国》《刀剑神域》中的场景，除非相应技术发生突破性的发展，否则，就只能停留在科幻的大屏幕上了。

文章来源：知乎，作者-Rockeymen

作者: 独行千万里    时间: 2022-9-20 17:46
抱走波妞
作者: 不开心的鲨宝    时间: 2022-9-20 20:37
黑鲨应该会有线下体验
作者: 不开心的鲨宝    时间: 2022-9-20 20:38
只看别人在网上用过
作者: BS_23630666    时间: 2022-9-20 22:02
太激烈的话会不会脑死亡
作者: BS_23630666    时间: 2022-9-20 22:02
就是自己以为自己无了
作者: 溜了    时间: 2022-9-20 22:59
在我老之前能实现就好了
作者: 飞仔1016    时间: 2022-9-22 17:02
似乎不太远，但也并不会太近
作者: 溜了    时间: 2022-10-4 23:33
快了快了
作者: BS_64859337    时间: 2023-9-12 21:24
111



欢迎光临 黑鲨社区 (https://rom-activity-api.blackshark.com:1443/) Powered by Discuz! X3.3