评论

技术

面向全息甲板体验:与虚拟现实寻求生活般的互动

阿里亚汉德斯

阿里亚汉德斯
首席架构师,视频和标准策略研究与开发

2017年9月5日

到目前为止,我们大多数人都很清楚关于虚拟现实和增强现实的市场讨论。我们中的许多人,或多或少都曾戴上这种笨重的头戴式装备,不温不火地亲身体验了一番。而且,根据您的设置的复杂程度(以及它的成本),您的里程会有所不同。具有讽刺意味的是,一些研究表明,婴儿潮一代更有可能被虚拟现实“迷倒”,而千禧一代更有可能做出一种矛盾的“无聊”回应。这就引出了很多人心中酝酿的终极问题:虚拟现实会继续存在吗?

这是个好问题。

当然,在过去的半个世纪里,3D视觉的各种化身表明我们对某些东西并不满意。我们目前的观看状况还不够好,或者……我们今天消费视频的方式不太正确。

你想看什么?

让我们面对现实吧,我们今天看视频的方式并不是我们的眼睛用来记录视觉信息的方式,特别是在“现实世界”中。看向现实世界(顺便说一下,这不是你现在正在做的事情),你的眼睛捕捉到的信息远远多于场景中物体反射的颜色和光的强度。事实上,人类视觉系统(HVS)被设计用于收集许多视觉线索,而这些线索在当前的显示技术和内容中都是极其难以复制的。

显示内容?是的。唉,这是一个由两部分组成的问题。但让我们先回到视觉线索的问题上。

你的大脑希望你看到的

想想看,对于我们这些有视觉天赋的人来说,HVS提供了我们每天吸收的大约90%的信息,因此,我们的大脑很好地适应各种物理定律和相应的光模式。更简单地说,我们认识到看起来不应该或者当我们看到的和我们感觉或做的不匹配的时候。这些感觉信号的不匹配正是视觉线索发挥作用的地方。

以下是一些最重要的提示:

  • 聚散度的距离当眼睛的肌肉移动到一个物理位置时,大脑感知到的距离,还是焦平面。当焦平面离我们的眼睛有一个固定的距离,比如说,就像你的VR头盔的屏幕一样,那么大脑实际上并不指望你能察觉到距离上的巨大变化。毕竟,你的眼部肌肉一直盯着附着在你脸上的东西,比如屏幕。但是,当产生的视觉内容的方式,模拟深度的错觉(尤其是大深度的变化),大脑意识到有一个不匹配的距离信息,它从我们的眼睛与距离训练获得在现实世界中是基于我们的眼睛是身体集中的地方。结果呢?晕车和/或其他一系列不愉快。
  • 运动视差:当作为观众的你在身体上移动时,比方说穿过博物馆的一个房间,那么离你较近的物体应该在你的视场(FOV)中移动得更快,而离你较远的物体则应该更快。同样地,位置较远的物体在视场中移动的速度也会较慢。
  • 水平和垂直视差:视场中的物体从不同的角度看时应该会出现不同的效果,无论是基于你的水平和垂直位置的视角变化。
  • 运动到光子延迟:。当你戴着VR头盔时,视觉内容不会立即改变以适应你头部的运动,这真的很不舒服。这种延迟称为“运动到光子”延迟。为了获得逼真的体验,移动到光子的延迟必须小于20ms,这意味着服务提供商,例如有线运营商,将需要设计能够确定地支持极低延迟的网络。毕竟,从您移动头部的时候起,需要发生很多事情,包括发送头部运动信号、识别与运动一致的内容、获取耳机尚未可用的内容,等等。
  • 支持遮挡,包括填补“漏洞”。当你穿过或穿过一个视觉场景时,在其他物体前面或后面的物体应该互相遮挡,或开始与你的动作一致地重新出现。

难怪……

考虑到我们的大脑对这项技术的巨大需求,现在的VR并不完全如此,也就不足为奇了。但是,怎样才能做到这一点呢?这项技术还有多长的路要走?会有一个真正的全息甲板吗?如果“是”,什么时候?它会是我们一生中经历的事情吗?

全息甲板首次恰当地出现在1987年的《星际迷航:下一代》中。全息甲板是一种虚拟现实环境,它使用全息投影使人们能够与虚拟世界进行物理上的互动。

幸运的是,有很多积极的迹象表明,我们可能很快就能看到全息甲板了。当然,这不是一个承诺,但我们假设有证据表明,内容生产、分发和显示正在取得重大进展。你怎么说的?

捕获和显示光场

光场是3D光量,而不是通常分布在传统相机和传统显示器上的普通2D光平面。当HVS捕获自然界的光(即不是来自2D显示器)时,它是通过捕获来自3D空间的光来实现的,即从我们视野中的物体反射的光量。这些光线包含了必要的信息来触发对我们的大脑来说非常重要的视觉线索,也就是说,允许我们以大脑自然的方式体验视觉信息。

所以,简而言之,不仅需要有一种方法来捕获光量,而且还需要一种方法来分配光量,通过电缆,网络,在网络的末端需要有一个显示器,能够从通过网络发送的数字信号中复制出光的体积。小菜一碟,对吧?

信不信由你

有证据表明,各方面都取得了重大进展。例如,在今年早些时候的F8大会上,Facebook发布了它的光场相机和相应的工作流程。Lytro公司在光场生态系统中也是一个关键角色,他们的基于生产的光场摄像机。

对于显示端,有光场实验室Ostendo这两个项目的任务都是让家用光场显示器(即能够投射大量光线的显示器)观看变为现实。

在分布方面,MPEG和JPEG都有正在进行的项目,以使光场内容的压缩和分布成为可能。顺便问一下,这些内容的数字格式是什么?看看MPEG的119新闻th在都灵召开会议:

在其119th会议, MPEG发布了要求草案,以开发一个标准来定义适合于创作和呈现丰富沉浸体验的内容交换的场景表示媒体容器。该标准被称为混合自然/合成场景(HNSS)数据容器,该标准的目标是定义一个场景图形数据表示和相关的媒体容器,可以渲染为提供逼真的混合场景,包括遵循自然光线流动的场景,能量传播和物理运动学操作。该容器将支持可以一起呈现的各种类型的媒体,包括计算机生成的或从现实世界捕获的体积媒体。

这项最新的工作是由CableLabs, OTOY和Light Field Labs提交给MPEG的贡献推动的。金宝搏188BET

嗯……看看这句谚语,也许我们离全息甲板的体验也不远了。

--

订阅我们的博客,阅读更多关于虚拟现实和有线实验室的创新。金宝搏188BET

评论

隐私偏好中心

    严格的必要

    Cookies是网站正常运行所必需的。

    PHPSESSID, __cfduid hubspotutk

    性能

    它们用于跟踪用户交互和检测潜在问题。通过提供用户如何使用本网站的分析数据,帮助我们改善我们的服务。

    BizoID, wooTracker, GPS, _ga, _gat, _gid, _hjIncludedInSample, mailmunch_second_pageview

    针对

    这些cookie用于(1)发布与您和您的兴趣更相关的广告;(2)限制你看到广告的次数;(3)有助于衡量广告宣传活动的效果;(4)了解人们观看广告后的行为。

    __hssc、__hssrc __hstc,