索尼STEF 2022汇总：AR/VR趋向和挑战，数字孪生平台和气息模仿器

近期，索尼举办了STEF 2022手艺交换会，据悉那是索尼的第50届STEF活动，本次的主题是“用手艺分享冲动”。会上，索尼展现了多项与3D、AR/VR相关的手艺，还有一场关于3D-3R手艺挑战的研讨会，切磋了关于实时3D衬着、AR/VR光学、云计算等手艺的愿景。

我们晓得，索尼因其不竭立异的手艺而广受业界存眷，那么本届手艺交换会上都展现了哪些立异内容呢？感兴致就一路来看一下吧。

3D-3R手艺挑战研讨会

据青亭网领会，3R指的是Reality、Real-time和Remote，也就是现实、实时和长途，而构建3D-3R体验次要有三大体素：存在感、沉浸感和交互性。内容形式方面，3D-3R次要通过实时模仿、现实场景捕获两方面来创建内容，接着通过视觉处置、音频处置手艺，输出到AR/VR等3D设备中，供用户体验。

索尼表达：3D娱乐内容是PlayStation降生的初志，从初代PS到PS5的迭代过程，也见证了索尼实时模仿手艺的开展，而实时模仿现实上就是根据物理原理往计算传神的运动。为此，索尼还开发了物理模仿模子，可衬着传神的物理碰碰等效果。此外，还研发了光逃手艺（Ray Tracing）来模仿情况光的物理改变。

展开全文

不外，运行实时模仿成本高且耗时，因而索尼方案将模仿模子与AI连系，将部门模仿使命交给AI往推算。

1）现实场景捕获

在3D场景捕获营业上，索尼的目标是将世界数字化。此前，索尼只是将数字化的场景在2D平台上运行，以2D视频的形式笔录，而不是创建可交互的3D虚拟世界。而跟着3D CG衬着越来越传神、详尽，索尼也起头存眷3D场景的实时交互，以及数据在数字空间的交换和传输。

除了3D CG手艺开展外，现实场景捕获还依靠于传感设备（深度丈量），以及信号处置（摄影丈量法）、云计算、AI等手艺开展。索尼指出，受益于那些手艺打破，3D传感手艺从科研范畴走进了企业和消费级场景。

目前，索尼的3D捕获手艺次要有三类，一种是基于容积视频的人像捕获，别的则是基于3D建模和衬着的数字人，以及虚拟拍摄场景（片子范畴）。现阶段，索尼只能创建传神的3D虚拟化身模子，但天然的掌握虚拟化身动做还很难，因而将来可能会测验考试用AI来模仿人的行为。

2）视觉处置手艺

索尼指出，在2D成像范畴，索尼的手艺已经到达了8K HDR的高水准（电视、投影仪等等）。而近年来，该公司的营业已经从电子产物开展至娱乐行业，包罗为虚拟造造、游戏、XR等场景造造动画或片子。现在，索尼开发的内容正在从2D向3D形式晋级，因而也起头努力于提拔3D内容的实时辨认率。

别的，因为3D内容从造造、传输到看看的过程会存在必然延迟，索尼将研发全新的视频解码手艺，通过压缩3D视频信号来加速数据传输。此外，还将研发降低3D信号延迟的手艺，削减信号压缩水平，并连系超辨认率衬着手艺，进一步提拔3D图像量量。

3）AR/VR趋向

在研讨会中，索尼半导体处理计划（SSS）的武川洋（Hiroshi Mukawa）阐释了索尼关于AR/VR的愿景。有传说风闻称索尼将向苹果AR/VR头显供给展现手艺，因而该公司关于AR/VR的揣测不只表现出其本身的愿景，可能也会侧面反映出行业的趋向。

关于索尼来讲，AR/VR的关键是从视觉、听觉、触觉、嗅觉、味觉五个方面来加强现实体验和沉浸感。在视觉方面，AR/VR的关键是3D衬着、大FOV、高辨认率、高刷新率、HDR等等。此外，不变的实时定位、低延迟也很关键。

在一张道路图中，武川洋描画了关于AR/VR展现手艺开展的揣测。其认为，AR眼镜最后会摘用LCoS+平面玻璃材量光波导计划，后期会利用Micro LED替代LCoS，接着还会摘用曲面塑料材量光波导，实现更接近眼镜的外看。

虽然索尼并未鼎力妥帖AR眼镜产物，但其在2008年、2012年、2015年均曾发布早期的AR眼镜产物，而且在2019年曾在线下AR体验《捉鬼敢死队新人操练》中利用AR眼镜原型，该AR原型摘用了MicroLED+平面光波导。

而在VR展现方面，则认为前期将摘用LCD+菲涅尔透镜计划，随后将改为OLED屏+Pancake透镜（曲面），并逐步迭代为OLED+平面液晶透镜计划。

4）AR/VR挑战

现阶段，AR/VR展现手艺还面对一系列挑战，好比：凡是人眼可感知120°横向视场角，60PPD（单色），因而120°（横）x80°（纵）视场角的AR/VR展现计划，将需要具备单目7000万像素，而那几乎是8K视频辨认率的二倍。此外，短期内没有任何挪动芯片能够不变的将AR固定在场景中，那意味着图像延迟（抱负延迟是小于几毫秒）、漂移等问题难以处理。

因而，索尼操纵人眼视觉认知特征，往优化AR/VR对衬着像素数量的需求，也就是凝视点衬着，而那将需要低延迟成像手艺，来填补眼球逃踪和凝视点计算的延迟。

此外，为了优化AR/VR的温馨性，索尼将努力于缩小展现模组的体积和重量，而且优化SoC、图像处置单位和光源的散热量，从而削减关于电扇等大致积散热系统的依靠。当然，更重要的则是降低耗电，削减对电池容量的需求。

武川洋指出，提拔AR/VR视觉温馨性也很重要，好比通过动态变焦来缓解肉眼和图像对焦不婚配的问题，潜在的处理计划包罗液晶透镜、视网膜扫描等等。目前市道上有多种计划，不外那些手艺需要一些时间才气商品化。

5）关于将来

将来，云衬着和边沿衬着手艺将有看进一步提拔AR/VR头显的画量，不外云AR/VR还存在延迟，在毫秒级速度衬着图像很难，出格是对光学AR来讲。目前，索尼已经在摸索云VR手艺，可能会通过预衬着来填补数据传输的延迟，或是用来优化凝视点衬着手艺。

AR/VR还有看与隐形眼镜集成，实现更玲珑的体积、更大的视场角。武川洋揣测，固然已经有AR眼镜通过FDA认证，但接下来那项手艺至少需要颠末十年往测试。

此外索尼还透露，正在在容积捕获工做室测验考试实时重建全尺寸3D全息手艺，将来可能用于长途社交等场景。

体育运动数据3D可视化

在STEF 2022上，索尼讨论了将3D可视化体育角逐视频和裸眼3D展现屏Spatial Reality Display连系的可能性，容许看寡从更多角度阐发角逐，并体验更多交互式娱乐内容，从而加强传统的体育曲播体验。

索尼表达：3D体育角逐曲播系统基于Hawk-Eye的两个功用：SkeleTRACK和HawkVISION。此中，SkeleTRACK是一种高精度逃踪系统，可实时定位运发动的骨骼信息和球的运动，还能够揣测球员的3D姿势。那项功用的潜在利用场景包罗操练、手艺阐发、加强看赛体验等等。看上往和2022世界杯上的AR/VR效果类似，能够清晰的看清越位情状。

而HawkVISION则是一种数据可视化功用，该功用基于SkeleTRACK，可从多个角度播放体育角逐，不受摄像头角度限造。那项手艺现实上就是在体育场边沿安插多个摄像头，用于逃踪球员的3D姿势和球的运动，并基于那些逃踪数据来重建3D虚拟球赛。因为容积数据很大，所以索尼仅利用了3D姿势数据。此前，曼城足球俱乐部在超等联赛上就利用了Hawk-Eye手艺。

除了裸眼3D展现屏外，索尼还设想了一种在AR/VR头显中和老友一路看看角逐的场景。

3D数字孪生平台Mapray

索尼还公布了一款3D数字孪生平台：Mapray Digital Twin Platform，该平台的特征是连系AI算法，可操纵地形、气候、城市数据等开源信息，重建实在场景的3D数字模子，其特征是可动态模仿城市改变，好比天空中太阳的位置等等，就像是将整个地球停止数字重建。

比拟于市道上的其他数字孪生计划，Mapray的优势在于愈加乖巧，并且更随便在3D空间中处置复杂的物理数据，可快速、高量量重建大量的3D数据，并撑持清晰、顺畅的查看可视化数据（基于阅读器的实时衬着手艺）。你能够通过Mapray在云端治理地形、3D城市模子、卫星、航空成像等开放的静态和动态数据。

ToF AR SDK

在本年6月，索尼半导体处理计划（SSS）就公布了ToF AR开发套件，那个套件的功用是可为挪动利用添加天然的手势交互或手指动做，利用场景包罗AR、游戏、VTuber等等。

在STEF 2022上，索尼展现了ToF AR的利用效果，好比不受情况光、布景颜色等因素影响，不论是在亮堂仍是暗淡的场景，都能够捕获手势运动。此外，它所需的数据量也比传统图像传感器更少，因而更省电、散热更少，适用于更普遍的手机规格。

ToF AR SDK理论上能够在任何装备深度传感器的手机上运行，并捕获用户手部的位置、轮廓，将手部模子与布景朋分，并在虚拟场景中重现手部的顺畅运动。

将来，索尼方案陆续扩展ToF AR的功用，好比3D空间识别等等。将来的潜在利用场景包罗游戏、AR、通信社交、医疗、教导等等。

Tensor Valve气息模仿系统

索尼还公布了一种特殊的气息掌握计划：Tensor Valve，其特征是可掌握房间内的气息，好比净化空气或是做为香薰来利用。此外，还能够连系片子、音乐等内容，在娱乐、通信、医疗/安康等范畴利用。

索尼指出，Tensor Valve可对气息停止数字化革新，通过气息来传递感情体验。

低延迟3D图像传输

在STEF 2022期间，索尼展现了操纵裸眼3D屏幕来停止交换的利用场景。想要停止实时的3D通话，将需要高量量的3D展现、低延迟传输和信号处置、实时衬着手艺，索尼称其已经具备那些手艺。

除了社交场景外，3D通话还能够用于医疗、金融、征询、长途协做等多个场景。此前，索尼银行已经在金融征询营业中利用2D长途沟通系统，接下来将摘用裸眼3D计划来加强长途交换效果。