VR那10年10大手艺变化!虚拟现实离我们还有多远

3天前 (02-08 13:55)阅读1回复0
小强
小强
  • 管理员
  • 注册排名8
  • 经验值113495
  • 级别管理员
  • 主题22699
  • 回复0
楼主

本年的CES能够说是一场VR、AR行业的盛会了。雷鸟、夏普、HTC都有新品发布;松下的MeganeX、索尼的PS VR 2的产物也都悉数表态;CES之外,PICO、Meta、Rokid也在比来发布了一些很有合作力的产物;据传苹果会三月份也要发布MR产物。

VR那10年10大手艺变化!虚拟现实离我们还有多远

视角放大到整个行业,根据维深WellsennXR的数据,全球VR的销量在2021年打破了1000万拐点,看起来我们间隔元宇宙越来越近了。

VR那10年10大手艺变化!虚拟现实离我们还有多远

但那并非我们第一次有「VR要来了」的觉得:2012年的Oculus Rift倡议寡筹,30天内募集资金超越240万美圆,远远超越其25万美圆的集资目标。因而,2012年也被人称做VR元年。

从那以后,2014年,脸书收买Oculus,掀起VR创业潮,2014年是VR元年;2016年,微软推出Hololens和Windows MR,索尼推出了PSVR,那反响势愈加浩荡,AR和VR概念齐头并进,2016年是VR元年;2021年,字节跳动收买Pico、Facebook改名Meta,2021年也是VR元年。

曲到比来有传言说苹果将在本年三月发布VR产物,于是VR元年天经地义地顺延到了2023年。为什么十年过往了,VR照旧在元年?

展开全文

为了搞清晰那个问题,我们总结了从2012年寡筹的Oculus Rift到2016年的HTC Vive,再到最新的Pico4,十年来影响VR财产的10大手艺,以及他们对体验的现实影响,看看影响VR体验的最关键的手艺是什么?间隔VR眼镜普及到每小我还有多远?

VR那10年10大手艺变化!虚拟现实离我们还有多远

VR更大的特征是接收了我们全数的视觉,我们只能看到VR展现给我们的内容,所以最影响VR体验的就是我们能看到的内容。

2012年Oculus Rift的辨认率只要800×600,低于同期间的手机屏幕辨认率。那招致Oculus Rift的画面颗粒感明显,你能够看到面前密布的小小晶格,也因而有很多人呈现了晕3D的现象。[1]

既然VR眼镜的辨认率还不如手机,那么为什么不间接用手机屏幕来展现呢?

2014年谷歌发布了Cardboard,同样是那一年,三星推出了Gear VR,2016年起头更是在消费者购置Galaxy S7时赠予Gear VR,国外大厂的大手笔投进开启了一次浩荡的VR海潮。

VR那10年10大手艺变化!虚拟现实离我们还有多远

不外VR盒子照旧没处理沉浸感的问题,其时的手机屏幕还没有高刷新率屏幕,检测头部挪动都依靠手机内置的陀螺仪,精度严峻不敷,所以十分随便眩晕。

要想彻底处理眩晕,我们得晓得人眼到底是怎么看看内容的。

决定VR设备的展现效果有三大核心要素:视场角(FOV)、角辨认率(PPD)以及视觉暂留(Persistence)

视场角决定了能看到的内容尺寸,人类左眼能看到偏左100°-110°、偏右60°,共计更大可达160°的程度画面,双眼的「程度视角」加起来更大可达200°,两眼重合视域约为120°(摆布各60°)。【2】

VR那10年10大手艺变化!虚拟现实离我们还有多远

在那120°中,人眼更佳的凝视区域约为90°;超越90°以后,就凡是会摘取动弹脑袋的体例往看。因为斜着眼往看视角边沿的工具会增加怠倦感。

所以在VR光学中,90°视场角被认为是VR沉浸体验的及格线,120°视场角被普及认为是到达部门沉浸式体验的原则,180°视场角则是VR到达完全沉浸的原则。

目前市道上的VR头显设备也都根本摘用了90°-120°之间的视场角,介于及格和优良之间。

VR那10年10大手艺变化!虚拟现实离我们还有多远

以上VR眼镜中,Meta Quest 2和Pico 4是销量更好、手艺最领先的两款产物,所以我们也重点测试了那两款产物的详细表示。

我们手里的那款PICO 4 的视场角是105°,根本上已经不会重视到四面的暗角,能够专注于画面中心的内容,在那一项目标上,VR已经超越了及格线了。其实简单粗暴地逃求更大的视场角也其实不合理,因为VR眼镜(屏幕和内容)的辨认率不敷,假设尺寸过大,人眼会间接看到展现屏的像素点,就似乎隔着纱窗看工具一样。

VR那10年10大手艺变化!虚拟现实离我们还有多远

那么几屏幕辨认率才无法看出来像素点呢?

根据乔布斯在发布iPhone 4时对视网膜屏幕的定义,视网膜屏幕是指在10-12英寸的间隔上,设备的像素密度到达300ppi(每英寸300像素)的程度时的展现效果但是我们讨论VR那种大屏幕时,一般利用PPD (Pixels Per Degree),每度像素数量来权衡。

根据乔布斯的定义,把视网膜屏换算成PPD,VR眼镜要获得视网膜屏幕级此外展现效果,需要至少57ppd。假设一款VR眼镜单眼横向FOV为110°,纵向约120°。那么它需要一块至少 12540*6840 的屏幕输出双目画面,9倍于市道上支流的VR眼镜。

VR那10年10大手艺变化!虚拟现实离我们还有多远

目前行业的VR设备辨认率都集中在4K(4320*2160)摆布,计算下来PPD约为20,固然间隔视网膜屏幕的原则57较远。但是现实体验的时候,并没有明显的纱窗效应。

因为比拟辨认率,人眼对亮度愈加灵敏,假设不是锐意盯着一点看,其实不会看出明显的像素点,已经到达了及格程度。

造约屏幕辨认率提拔的一个重要因素是衬着压力,挪动端芯片无法计算如斯多的内容。因而,VR眼镜必需针对我们的人眼心理构造优化展现效果。

VR那10年10大手艺变化!虚拟现实离我们还有多远

因为人眼只能清晰地看到聚焦点四周可能2°的范畴,所以我们通过能够降低四周的辨认率来降低对像素数量的需求。

因而,我们需要在VR头显中植进眼球逃踪设备,逃踪眼球中心凹的挪动来获知用户的眼睛正看向哪个点,然后在那一点四周利用全清晰度衬着,其他处所利用低清晰度衬着。

目前HoloLens 2 、PlayStation VR2等设备都摘用了眼球逃踪手艺。不外,因为如今只能消费辨认率平均的展现屏幕,并且凝视点衬着手艺需要整条财产链上下流共同,所以凝视点衬着对展现清晰度的提拔比力有限。

我们在VR上看到眼球逃踪的第一个利用恐怕不是降低衬着辨认率、提拔利用体验,而是根据你看告白的哪个部门得知你的兴致点,然后给你展现个性化告白。

在Quest Pro上市以后,国外科技媒体 Gizmodo 发现Meta 公司已经更新了其隐私政策,新增了一个名为「眼球逃踪隐私通知」的条目,假设你附和分享额外的数据,Meta 将利用眼球逃踪和其它数据点,「以搀扶帮助 Meta 个性化你的体验并改进 Meta Quest」。

Meta 公司全球事务主管尼克-克莱格在承受《金融时报》摘访时表达,眼球逃踪数据能够用来「领会人们能否被告白吸引」。

相信我们很快就能感触感染到那项手艺对我们的影响。

比拟暂时还没有明显影响的眼球逃踪手艺,Pancake则是实其实在地改动了了VR眼镜。

以往,限造VR眼镜体积和重量的次要原因是通俗非球面透镜的TTL(Total Track Length 镜头总长)至少需要40mm。

VR那10年10大手艺变化!虚拟现实离我们还有多远

PICO 4摘用了新的Pancake透镜,能够折叠光路,把镜头做得更薄,也能把VR前面的眼睛本体做得更轻薄。

VR那10年10大手艺变化!虚拟现实离我们还有多远

比拟上一代,PICO 4因为Pancake计划,光学计划模组厚度削减约43.8%,整体厚度削减24%,重量削减28.8%【3】所以,固然Pancake透镜的成底细对更高,但是最新的产物几乎都摘用了Pancake透镜。

VR那10年10大手艺变化!虚拟现实离我们还有多远

Pancake透镜改动光路以后也深入影响了屏幕材量的改变。

目前Pancake光学计划在光操纵率方面仍存在缺陷,受多重透镜及光学膜的影响,透光率仅能到达20%摆布。所以Pancake光学计划需要屏幕拥有更高的发亮光度。

MicroOLED手艺(即硅基OLED手艺)能够在庇护附近辨认率程度的根底上展现面积更小的OLED,拥有更高像素密度(PPI),具备轻薄、耗电量少、发光效率高档长处,成为Pancake计划的黄金同伴。

VR那10年10大手艺变化!虚拟现实离我们还有多远

光学计划还会影响瞳距调剂和屈光度(近视)调剂功用,好比多片Pancake计划就能够挪动比来的一片Pancake镜片实现屈光度调剂。

VR眼镜的展现屏间距需要和用户的瞳距婚配,不婚配的话会招致画面模糊、眩晕等问题,持久佩带可招致近视。

Pico 4仍是手动电驱调剂,即需要用户佩带头盔后在设置里手动调整瞳距。而Pico 4 Pro会搭载眼动逃踪模块,通过摄像头和红外模组定位瞳孔位置,通过电驱动主动适配用户的瞳距。

VR那10年10大手艺变化!虚拟现实离我们还有多远

VR那10年10大手艺变化!虚拟现实离我们还有多远

VR眼镜的处置器性能持久是体验上的短板。

VR芯片需要链接、处置十余颗摄像头的信息,所以VR眼镜对性能需求十分大,而且与手机芯片的需求其实不完全不异。再加上VR头显的出货量只要每年1000万台,是手机出货量的大约1%,所以芯片厂商不会为了VR开发独立的芯片,而是用手机芯片的修改出一个VR版本,也就是骁龙XR1和骁龙XR2。

2018年5月29日,高通推出XR1平台,高通将AR、VR、MR等统称为XR(Extended Reality,即扩展示实),那也是XR1那个名字的由来。骁龙XR1集成了高通自家的异构计算架构,包罗基于ARM的多核心Kryo CPU、 Adreno GPU、向量处置器以及高通人工智能引擎AI Engine。

为了共同XR1,高通还发布了包罗XR软件办事层、机器进修、XR SDK等一系列软件撑持。也就是说,XR1不但是一个芯片,更是一个平台,是一整套VR/AR的处理计划。

XR1能够看做是骁龙845的简化版,但删掉了通信相关的组件,例如基带、调造解调器;将重点放在了异构计算和AI上面,同时功耗和散热方面也停止了优化,综合硬件性能与骁龙660接近,事实VR/AR设备往往会长时间运行游戏,而传统的SoC并非非常合适VR/AR平台。

VR那10年10大手艺变化!虚拟现实离我们还有多远

假设说骁龙XR1做为高通为XR行业带来的首个公用平台,关于那一平台能否为沉寂好久的XR行业翻开场面,很多厂商仍连结着看看立场;那么,跟着2019年下半年VR财产在设备和内容上袭来的一波巨浪,骁龙XR2平台的问世,恰逢当时地助燃了整个行业。

据官方公布数据展现,相较高通骁龙835,骁龙XR2在CPU和GPU性能上提拔了2倍、视频像素吞吐量提拔了4倍、单眼辨认率提拔了6倍、AI性能提拔了11倍。

VR那10年10大手艺变化!虚拟现实离我们还有多远

骁龙XR2做为全球首款撑持5G的XR平台,不只撑持3K单眼辨认率、8K 360°全景视频,还撑持七路并行摄像头,除了撑持用户逃踪定位、生成景深图的四个朝外的摄像头(此中两个RGB摄像头用于撑持MR体验,两个摄像头用于头部逃踪)外,还撑持两个用于撑持眼球逃踪的朝内的摄像头,额外的一个摄像头则能够用来停止面部、唇部逃踪,或者通过停止手柄逃踪。

2022年10月12日,高通发布了骁龙 XR2+ Gen 1 芯片,实现50%的续航表示提拔,以及30%的散热性能提拔。

只不外,两款芯片现实上都基于高通骁龙 865,那是一款四年前的处置器了,仍是无法应对VR眼镜浩荡的性能需求,想要玩Half-Life: Alyx如许的3A高文就需要外接电脑。

VR内置算力应该内置仍是外置是一个两难抉择:

内置算力的话性能永久不敷,就算是如今更先进的骁龙8Gen 2也只能在840P的辨认率下运行60帧的原神,也无法称心VR眼镜的性能需求。

根据我们实测,PICO 4运行轻度游戏比力顺畅,日常利用中也没有什么问题,间隔运行《原神》那种高操行游戏还有很长一段路要走。

VR那10年10大手艺变化!虚拟现实离我们还有多远

假设用外置算力的话,却是能够玩Half-Life: Alyx如许的3A高文,但是VR头显和电脑主机的有线串流永久需要线材毗连,很随便绊倒本身;无线串流的话设置装备摆设极其费事,并且不太不变。

因为VR眼镜出货量小,所以无法获得专属高性能芯片;又因为性能不敷,所以体验欠佳,出货量无法提拔。要想突破那个死轮回,仍是需要苹果完全针对VR需求造造一款杀手级此外芯片。

VR那10年10大手艺变化!虚拟现实离我们还有多远

虚拟现实系统的高度沉浸,除了视觉标的目的的传神感之外,空间的实在感也至关重要。要实如今虚拟空间下的随意遨游、全自在度看看、天然准确的虚实交互,都离不开虚拟现实空间定位。

目前VR支流空间定位体例有两种:

(1)Outside-in(由外而内的定位):望文生义,需要在情况中安插定位器,实现从外到内的位置计算。

(2)Inside-out(由内而外的定位):由内向外的空间定位不需要额外安插空间定位设备,借助VR设备本身的传感器停止情况的感知与事实位置计算。

HTC Vive的Lighthouse室内定位手艺利用的是红外激光定位,根本原理就是操纵配套定位光塔(小方盒子)对定位空间发射横竖两个标的目的扫射的激光,再通过Vive头盔上的领受器领受光束,之后计算两束光线抵达定位物体的角度差,解算出待测定位节点的坐标。

VR那10年10大手艺变化!虚拟现实离我们还有多远

Oculus Rift也是红外光学定位的一种。Rift设备上隐躲了一些红外灯(即为标识表记标帜点),那些灯会向外发射红外光,操纵配套的摄像机往捕获头显和手柄上的红外灯,过滤掉头显及手柄四周情况的可见光信号后;再操纵PnP算法,即四个不共面的红外灯在设备上的位置信息、四个点获得的图像信息即可最末将设备纳进摄像头坐标系,拟合出设备的三维模子,并以此来实时监控玩家的头部、手部运动。

VR那10年10大手艺变化!虚拟现实离我们还有多远

Inside-out是基于情况中设备本身的传感器停止周边情况的实时动态感知,通过视觉算法(SLAM算法)计算出摄像头的空间位置,从而实现对目标的位置跟踪。

而关于在VR/AR设备,次要是操纵在VR/AR头显的视觉传感器,让 VR/AR 头显设备本身检测外部情况改变,借助计算机或者本身的算法芯片计算出 VR 头显的空间位置坐标。

因为Outside-in需要事先放置定位点的缺点,如今支流的VR都已经在利用Inside-out的手艺计划。

VR那10年10大手艺变化!虚拟现实离我们还有多远

好比PICO 4通过甚显摄像头拍摄手柄20颗手柄环上的红外LED识别手柄的位置和姿势。现实体验中,PICO 4手柄的指针十分不变,即便手柄和头显之间有部门遮挡,也能够识别手柄的位置和姿势。

不外即便如斯,利用PICO 4之前仍然要设定平安区,无法自在走动。关于平安区,全彩透视手艺可能是处理那个问题的关键。

全彩透视手艺属于视频透视手艺(Video-seethrough)的一个分收,也就是通过相机捕获到实时画面,将虚拟世界和实在世界合成后,闪现丰富色彩的展现画面。

起首要阐明,全彩透视并非简单把外置摄像头拍摄到的工具间接传回展现屏就行了,那么做无法展现物体的相对位置和绝对位置。要想做到戴上VR眼镜的全彩透视和摘下VR眼镜看到的内容差不多,就需要把空间中每个物体识别出来,然后计算出人眼应该看到的内容和角度,相当是一个VR版的主动驾驶。

全彩透视次要能够分为四步:透视、空间锚点(放置 AR 物体)、三维重建、情况理解及对象识别。

起首是硬件晋级。从黑白透视到全彩透视可能会涉及到摄像头的晋级,厂商们可能会将 VR 设备上的 RGB 的摄像头停止晋级,以至部门设备会装备深度传感器,以实现更高精度、色彩丰富的画面效果。

此前业内也有传说风闻证明那一点。据悉,相较于 Quest 2,Project Cambria(Quest Pro) 搭载了辨认率比 Quest 2 高三倍、专门设想用于彩色透视的深度传感器和摄像头,其可以实现以假乱实的混合现实体验。

VR那10年10大手艺变化!虚拟现实离我们还有多远

其次在算法上也进步了必然的要求。因为全彩透视对辨认率、色彩的复原度和准确性要求较高,物体的位置和物体的大小范畴逐个对应,因而往往需要一套接近实时重构的算法。那进步了对算法和算力的要求,也仇家显本身处置计算的才能有了更高的要求。

需要重视的是,Pico并非把彩色摄像头的内容间接展示在屏幕上,而是把黑白摄像头的内容放在屏幕上,彩色摄像头只填补颜色信息。

根据我们实测,全彩透视能够完全称心出门随意走走的需求,但是仍是无法脱节平安区的限造,而每次利用都需要规定平安区十分影响VR眼镜的利用体验。

VR那10年10大手艺变化!虚拟现实离我们还有多远

VR没办法搓屏幕,手势也只能做最根底的操做,深度利用照旧离不开手柄。

PICO4手柄次要晋级在于构造、红外LED数量和全新的宽频线性马达:PICO4手柄摘用全新的星环弧柱的设想更利于挠握,而手柄16颗手柄环上的红外LED与头部4颗LED构成的类拓扑构造包管了无死角逃踪,有看提拔手部操做识此外准确性。而手柄内置的马达曲径20mm,振幅范畴50Hz-500Hz,大小上已接近PS5手柄马达,比拟Neo3和Quest 2的马达有显著提拔。

手柄IMU摘用Quest2同款芯片:手柄搭载426P IMU六轴陀螺仪来实现敌手柄更准确的定位和逃踪机器的运动和姿势,而426P过往仅被用于Meta Quest2的手柄。而PICO搭载426P我们认为从手柄上看PICO4 手柄已经具备必然硬件根底,相关定位和逃踪才能有看得到晋级,而手势操控或有看在后期成为支流的VR交互体例。

VR那10年10大手艺变化!虚拟现实离我们还有多远

所以双手柄是行业支流计划,纯手势识别是厂商在勤奋测验考试的标的目的,但是如今照旧有体验上的硬伤。

值得重视的是,根据我们的阐发,苹果VR有可能没有手柄,间接利用Apple Watch做为VR的手柄。

在Apple Watch S8的发布会上,苹果在介绍车祸检测那个功用时,第一次强调了陀螺仪是「三」轴的。那一次Apple Watch利用三轴陀螺仪,外表上是为了检测车是不是翻了,但是假设认真想想就能发现,三轴陀螺仪是不是也能检测你的手腕运动轨迹和姿势呢。

苹果从三年前的Apple Watch 从S6起头就加进了U1芯片。按理来说,手表是戴在手腕上的,取下来的时候根本上就是在充电,不太会有丧失的情状,发布会上也没说加进U1芯片能带来什么。

VR那10年10大手艺变化!虚拟现实离我们还有多远

但是假设Apple Watch是AR远控器的话,就能说得通了,U1芯片能够揣度Apple Watch间隔其他苹果设备的间隔,也就是空间中的相对位置。

VR那10年10大手艺变化!虚拟现实离我们还有多远

假设AR眼镜中放了一盆花,我们把手伸过往,U1芯片就能够检测我们的手是不是靠近了花盆。而触控是更符合曲觉的抉择交互目标的交互体例。

VR那10年10大手艺变化!虚拟现实离我们还有多远

你有可能不晓得,苹果在往年炎天发布会发布的watchOS8,里面新增了一个搀扶帮助残障人士利用手表的功用:辅助触控

那个功用Apple Watch增加了四个手势:

食指拇指互点一下是前去下一个项目

点两下是返回上一个项目

将手握拳相当于确认

握拳两下能够调出操做菜单

操做菜单里面有滚动、按下数码表冠那些功用,能够用捏手指上下抉择,然后用握拳来确认,操纵那两个手势你能够完全掌握Apple Watch。那个功用如今能够用来操控智妙手表,那么将来是不是也能用来操控智能眼镜呢?

VR那10年10大手艺变化!虚拟现实离我们还有多远

VR那10年10大手艺变化!虚拟现实离我们还有多远

用三轴陀螺仪识别我们手腕的运动轨迹,用U1芯片识别我们的手腕位置,用手势识别我们的操做,然后AR眼镜的操做就十分文雅了。

我们的点击操做既不需要隔着空气乱戳,也不需要在手上捏一个手柄,眼神凝视就能够抉择我们需要拔取的物品,招之即来、挥之即往,只需要捏一下手指或者握一下拳就能够单击确认,操做AR眼镜会和操做智妙手机一样文雅。

除了手部动做,身体其他部位假设有动做捕获,就能够让你在元宇宙中拥有立体形象。

而在动做捕获背后能看到字节跳动更深的规划。A-SOUL是于2020岁暮上线,由字节跳动与乐华娱乐结合企划的虚拟偶像团体,由字节跳动供给底层手艺撑持,而乐华供给中之人、内容筹谋运营等。

在B站的虚拟主播傍边,「舰长数」最多的5位虚拟主播,全数出自A-SOUL。一场生日会,A-SOUL队长「贝拉」成为了虚拟主播区第一个达成万舰成就的主播。(注:B站的大航海也称曲播舰队,是B站开发的月票机造,获取主播必然曲播间权益和相关皮肤打扮等)

做个简单的乘法,舰长的持续包月价格为138元/月,仅仅大航海收益(不算充电、曲播打赏等),「贝拉」一个月已经创造近200万元的收进。

VR那10年10大手艺变化!虚拟现实离我们还有多远

目前,A-soul也会在Pico固定曲播,VR曲播能够完全发扬虚拟偶像的手艺潜力,获得更好的曲播效果。当曲播发作在VR里时,有可能会完全重构内容的消费和消费逻辑,简单来说就是增加了互动维度和更丰富的信息。

举例来说,传统情状下,我们看看演唱会或者体育曲播,只能跟从摄影机和导播的视角,看陈旧见解的内容。但是假设我们在VR场景里,我们能够自在动弹头部,查看其他角度的内容。此时,我们拥有了3DOF(Degrees Of Freedom)的自在度。

而如今的VR拥有6DOF的自在度,也就是说你能够前后摆布上下自在挪动,摸索整个演唱会场景,在任何你想往的处所享受内容:感触感染球星在你面前踢球、偶像在你面前演唱。

VR那10年10大手艺变化!虚拟现实离我们还有多远

6DOF的自在度对内容造造提出了更高的要求,因为它需要内容在任何角度都能经得起审阅,但它也付与了内容更高的表示才能,好比Pico和李玟的演唱会设想良多互动场景,增加了看寡的沉寂感。

因为字节跳动在A-SOUL身上获得的贸易胜利和不竭更新迭代,在VR需要完全动捕的时候,字节PICO也能供给一个十分完美的处理计划。

另一方面,整个行业也在快速朝上进步,以往的动捕极其依靠大型设备,诺亦腾把设备做到了小型化,以至一套设备只需要200美圆,一小我就能操做利用。

那里有一个随便漠视的处所:用户在元宇宙世界的化身一般被喊做Avatar(《阿凡达》)。而恰是昔时的《阿凡达》片子借助头戴式摄像头以及改进的软件算法,完美处理了演员面部脸色高精度摘集的问题,凭仗将3D、虚拟与动做捕获手艺连系,近乎完美的创造了潘朵拉星球,从而创造了片子史上最为绚烂的画面。

2022年,《阿凡达2》上映;《阿凡达》系列造片人乔恩·兰道近日透露《阿凡达3》的拍摄工做已完成了95%;而《阿凡达4》已完成了第一幕的拍摄;阿凡达有可能酿成元宇宙范畴最重要的一个IP,我们有可能像是逛迪士尼乐园一样体验潘朵拉星球。

VR那10年10大手艺变化!虚拟现实离我们还有多远

整体来看,动捕手艺已经处在发作前夕,而且操纵虚拟主播行业快速迭代,一旦有杀手利用呈现,动捕就能快速落地,普及到每小我身上。面部捕获和动做捕获一样重要,Meta期看将来人们在虚拟情况中碰头就像在现实中一样实在。

为此,Meta正在展开了名为虚拟化身(Codec Avatars)的研究项目,该项目努力于为人们在虚拟情况中创建3D数字化身。

目前,VR头显能够实时读取VR用户的面部脸色,并将其转移到虚拟现实中。据悉,即将推出的Quest Pro或将成为Meta第一款供给面部跟踪(face-tracking)的设备。

Meta的目标是让一路打牌的人根据你的虚拟形象的微脸色就能猜出你的牌是什么。但是目前的效果还十分简单,扎克伯克发了下图的自拍到网上,被疯狂嘲讽。

VR那10年10大手艺变化!虚拟现实离我们还有多远

苹果在面部捕获上同样有手艺积存,早在2017年发布的iPhoneX上,苹果就撑持根据小我形象设想Memoji,而且Memoji能够模仿手机利用者的动做,整体体验比力传神。

VR那10年10大手艺变化!虚拟现实离我们还有多远

Memoji手艺也会利用到苹果VR上,跟着Face ID组件的小型化,苹果的VR设备可能率会撑持扫脸解锁,然后根据你的脸色动态调整你的虚拟形象。

另一个苹果规划已久的财产是空间音频功用。VR的3D空间是有位置信息的,所以声音也应该有位置信息。

正如Meta首席施行官马克-扎克伯格所指出的那样:

获得准确的空间音频将是我们为元宇宙所构建的工具中供给"令人赞颂"体验的因素之一。我很兴奋看到它的开展。

为了带来更实在的AR和VR体验,Meta公司正在开发新的空间音频东西,以响应视觉中展现的差别情况。Meta的想象是,当人们能够戴上AR眼镜,重温全息记忆,其外看和声音与他们从有利位置所履历的完全一样,或者当他们在虚拟世界中玩游戏时,不只能沉浸在画面中,并且也能沉浸在声音里。

在那方面苹果早在2019年发布的第一代AirPods Pro上就内置了陀螺仪,其时各人都不睬解那个陀螺仪的感化是什么。曲到一年后,系统更新让AirPods Pro撑持了空间音频。

要做到空间音频,我们得晓得人耳识别声音来源的原理:人耳识别物体方位依靠的不单单是声音抵达两耳的时间差,还有声音抵达两耳的相位差,相位差和时间差会被我们的头部和耳廓影响,用数学来表达就是HRTF (Head-related transfer function)头部相关传输函数。

VR那10年10大手艺变化!虚拟现实离我们还有多远

苹果发布会上,AirPods Pro2撑持用iPhone扫描你的耳朵就是为了那个。

VR那10年10大手艺变化!虚拟现实离我们还有多远

在VR眼镜上放置扬声器不只会让他人听到你在干啥,还会占用贵重的体积,更不随便根据HRTF做空间音频功用,但是用AirPods Pro的话就没有那些问题了,所以苹果AR眼镜很可能没有内置扬声器,它的扬声器就是AirPods Pro。

VR那10年10大手艺变化!虚拟现实离我们还有多远

以上就是十年来十大硬件晋级。一部门硬件,好比屏幕,已经到达了及格线;而另一部门硬件,好比性能、全彩透视还有肉眼可见的朝上进步空间,更有空间音频、面部捕获、动做捕获那种就快要实现的硬件浩荡改革。

但是我们都晓得,硬件上的晋级还依靠软件上的共同,而要做到数字孪生,我们在元宇宙中的虚拟化身的动做就要和现实中一样传神。

人类关于两足生物的运动能够说十分熟悉,一些动做细节上的问题例如错误的姿势/重心切换会很快突破画面带来的沉浸感。Half-Life: Alyx展现了通过一种颠末改进的构想来处理那些问题。

起首,虚拟房间中的每一个物品都变得能够触摸,那些物件需要经得住近间隔的审查。同时,人物发出、查看到的光线也愈加复杂,所以硬件上就需要更多的光线逃踪性能。

那里插一句,年前发布的骁龙8 Gen 2是高通第一次在硬件上撑持光逃,苹果的A16芯片本诡计在硬件上撑持光逃,但是因为能效表示较差被砍掉,光线逃踪能够确定是接下来一段时间挪动芯片的次要晋级点。

Half-Life: Alyx的枪械比拟通俗射击游戏也有很大差别。在通俗的射击游戏,会有一个准星光标,你只需要用光标对准仇敌,就能够射击。而在Half-Life: Alyx里,你必需和现实世界一样,闭上一只眼睛,用枪收的准星对准。觅觅掩体、探出头射击时也需要你的身体产生实在的挪动,增加沉浸感。

VR那10年10大手艺变化!虚拟现实离我们还有多远

当你在传统射击游戏中改换枪弹时,你需要按键盘上的「R」或者是手柄上的「X」。

而在Half-Life: Alyx里,你需要把弹夹从手枪中弹出、把手伸向肩膀处拿一个新弹夹插进往以后上膛才气陆续战斗。因为那一细节,你能够拔出弹夹看察弹夹剩余枪弹数量,然后插回枪收中,那是以前的射击游戏不成想象的。

比拟于以往只要拿起、放下两个形态的游戏,Half-Life: Alyx里你能够把物品拿在手里认真查看,所以在房间中搜觅物品也酿成了现实上的「翻箱倒柜」,而不是在每个处所都按一下键盘上的搜索键。

VR那10年10大手艺变化!虚拟现实离我们还有多远

因为那么多场景上的复杂性,所以想要生成足够有沉浸感的世界,只依靠人力的成本会变得高得不成承受。

VR眼镜的游戏售价对标主机游戏,Quest上一款游戏的售价约为25-50美圆,在售价不异的情状下,VR眼镜的出货量比拟主机要少一个数量级。

做为比照,PS4全生命周期出货量1.172亿台,而截至2022年7月28日,Quest 2系列累计出货量达1770万台。就算那个数据毫无水分,也只相当于PS4销量的15%。

再看收进,根据Sensor Tower数据展现,《原神》在2022年收获了15.6亿美圆。而2022年VR游戏整个行业的收进也仅有18亿美圆,仅相当于《原神》一款游戏的收进。

VR那10年10大手艺变化!虚拟现实离我们还有多远

而在成本方面在2019年6月,原神项目组大约300多人,此中包罗100多位美术,30多位筹谋,60-70位法式和其他协助人员,2021年7月,据传《原神》开发团队人数已打破1000人。

即便米哈游投进上千人,原神中的有些使命、剧情照旧没有配音,只要文字对话;对统一NPC的屡次对话也不会有什么改变;在对话、剧情时,也无法交互,只能看着剧情发作,对话中的差别选项也不会对最末结局产生影响。

关于用户来说,就算Pico商铺把价格降低到五六十元人民币,游戏价格也偏贵,出格是在不供给免费试用的情状下,极大障碍了用户购置游戏的动力。

所以,假设想要在VR平台需要投进比手游、主机更高的成本;但是产生的收益又远不如主机端和手机端,所以不断没有《原神》如许的高操行游戏。

VR那10年10大手艺变化!虚拟现实离我们还有多远

在认真清点了VR眼镜的十年十大手艺以后,关于VR行业的开展,我们也有了十条比力明白的看点和揣度:

Pancake手艺的利用让VR的展现效果到达了及格程度;

眼球逃踪手艺能够进一步提拔展现效果,不外那项手艺的第一个利用场景可能是给我们展现个性化告白;

因为VR眼镜出货量小,所以无法获得专属高性能芯片;又因为性能不敷,所以体验欠佳,出货量无法提拔。要想突破那个死轮回,仍是需要苹果完全针对VR需求造造一款杀手级此外芯片,称心VR浩荡的性能需求;

VR平台的高操行游戏短期内不会有,因为它不只需要VR拥有强大的性能,还需要针对VR从头设想交互逻辑和体例,成本高于传统游戏;

AIGC能够极大降低VR的开起事度和开发时间,VR平台的高操行游戏需要AIGC手艺的参与;

云游戏手艺把游戏的运算放在云端,不需要VR设备有很强的性能,云游戏的开展有可能绕过VR的性能瓶颈;

如今VR平台的游戏和利用都比力贵,而类似XGP一样的订阅办事既能够降低用户的破费,也能够赐与开发者不变的收进,VR平台需要推出本身的订阅办事;

因为《阿凡达》和虚拟主播的摸索,动捕手艺正在变得越来越廉价,很快我们就会在虚拟世界中拥有本身的阿凡达;

综合以上几条,VR的手艺要么已经根本成熟(展现、眼球逃踪、动做捕获)、要么苹果有很强的手艺和规划(性能、面部捕获、空间音频),苹果本年3月发布VR产物可能率是实的,能够把行业往前推进一大步;

苹果的VR很有可能没有手柄和扬声器:Apple Watch就是苹果VR的手柄、AirPods就是苹果VR的扬声器

市场上等待一个杀手利用仍是一个万能硬件?

能够说都缺。

硬件上,如今需要苹果做出一款超等硬件,在性能上能够称心重度游戏需求;在体积上能够戴三五个小时没有明显不适;在操控上要简单好用;以及最重要的,需要撑持自在挪动,处理掉「平安区」那个痛点。

在软件上,需要一个米哈游一样的厂商,造造一款原神一样胜利的做品,那中间可能需要用到AIGC手艺、可能需要上千人的团队、需要VR每年上亿的出货量。

不外,晓得了我们需要什么,我们就能够可能晓得将来什么时候会到来。

苹果本年3月会发布一款VR产物;米哈游也表白了本身进军元宇宙的决心,而且起头规划云游戏;AIGC行业也呈现了chatGPT如许的优良产物,能够称得上是万事俱备,只欠东风。

引爆行业的有可能是苹果VR、有可能是一款像原神一样胜利的游戏、有可能是云游戏手艺、有可能是虚拟主播利用。无论那个产物是什么,我们都已经闻声元宇宙到来的声音了。

本文由极果用户极果媒体原创

0
回帖

VR那10年10大手艺变化!虚拟现实离我们还有多远 期待您的回复!

取消
载入表情清单……
载入颜色清单……
插入网络图片

取消确定

图片上传中
编辑器信息
提示信息