36氪专访 | A-SOUL团队初次承受独家专访：那个行业没有NG的时机
1 月，哔哩哔哩公布了年度百大UP主奖项，此中虚拟主播嘉然获得了“曲播年度最强舰队”单项奖。那位来自虚拟偶像组合 A-SOUL 的女孩已经持续两年连任百大UP主称号。
A-SOUL 团体出道也刚好满两年。2020 年 11 月，A-SOUL发布了第一收鼓吹 PV，并敏捷登上言论的风口浪尖。两年过往，它的数百万“一个魂”（A-SOUL 粉丝名称）们仍然连结着超强的看看、二创和氪金才能。
嘉然在曲播中变拆
A-SOUL 从出道至今，已经完成了 600 场共 1000 小时的曲播，那是一个很浩荡的工做量。与“只用一台电脑、一小我”就能完成的 2D 虚拟偶像曲播差别，3D 曲播仍然需要浩荡的手艺团队和设想团队撑持。
两年前，A-SOUL 的呈现曾被粉丝戏称为“V圈的黑船事务”，因为它以 3D 实时曲播的体例冲击了 2D 的V圈，就像 1853 年，美国海军准将佩里驾驶黑船舰队驶明天将来本，给睡梦中的幕府日本带来骚动，最末招致日本走上了工业化和现代化之路一样。
然而，两年过往，A-SOUL 却仍是国内独一一家不断对峙 3D 实时曲播的虚拟偶像企划。想象中的行业巨变并没到来，A-SOUL 目前仍然在国内V圈连结着桂林一枝的地位——即使那一组合已经频频证明了 3D 虚拟偶像的贸易价值。
在二周年纪念曲播中，A-SOUL 累计收获了 2.7 万名“舰长”。那一功效不但在 vtuber（虚拟主播）圈，即使在整个B站主播圈里，也是稀有的奇观。A-SOUL 粉丝以“3 分钟万舰、1 小时 2 万舰”那一创纪录的速度，一度卡爆了B站的上舰接口，也刷新了由 A-SOUL 连结的虚拟偶像的曲播纪录。
为什么必然要做 3D 曲播？为什么手艺的普及比想象中更慢？二周年之际，不断连结神异的 A-SOUL 团队初次承受了 36氪的独家专访，第一次向外界展现了 3D 实时曲播之困难与高贵，以及手艺和运营团队在此中的付出。
以下是36氪与 A-SOUL 团队的摘访实录：
展开全文
出道两年的A-SOUL，仍然是纪录连结者
2D VS 3D，A-SOUL为什么抉择走更难的路？
Q：两年前，A-SOUL 为什么决定以 3D 实时曲播的体例来做虚拟偶像企划？
A：2020年，其时做 3D 的企划是不多的。我们做为行业的“新人”，并没有太多地往考虑那个行业是如何的，而是重点根究了“虚拟偶像是一个如何的存在”。各人都觉得，虚拟偶像应该和实人一样，具有实情实感，而且活乖巧现。
为了进步实在感，我们起头自研手艺。此中包罗3D脸色驱动、全身动做捕获和手指动做优化、主动适配肢体的重定向，基于XPBD原理且利用了SIMD优化的实时物理解算等等。我们需要处理那一系列的手艺难题，才气以较高的开播频次，实现偶像和粉丝的双向交换。
在项目成立之初我们就不断期看，各人所建立的枝江，能成为一个虚拟又实在的处所。
（笔者注：“枝江”是官方设定中，A-SOUL成员们所生活的虚拟城市。）
Q：为了做虚拟偶像 3D 实时曲播，A-SOUL 团队前期做了哪些投进？
A：自从决定要做3D曲播的虚拟偶像企划起头，A-SOUL团队投进了大量的心血，光是前期投进就高达九位数，包罗打造独家的动捕棚、自主研发专属于A-SOUL的曲播情况和软件等。同时我们也走了良多的弯路，付出了良多的试错成本。好比曾花了大量精神在AR云衬着上，但因无法做到高清顺畅的体验效果而暂停。
此前曾公开的A-SOUL企划动捕室
Q：实时动捕+3D 衬着详细能高贵到什么水平？您能否给我一个 1 小时高量量 3D 曲播的成本预估？
A：比拟开播时投进的人力成本，其实前期和日常投进的成本才是浩荡的。
前期的开播情况搭建投进高达九位数：包罗了导播软件架构展设，功用开发，原生资产造造（场景/角色/镜头/道具/特效等），衬着管线的展设，自建动捕棚，EFP曲播线路搭建等。
我们每年为每一个角色的日常投进也是上万万级别，此中包罗 A-SOUL 几位成员的薪酬福利和培训，住宿安保经纪撑持，每年数套3D衣服、音乐、周边的设想造造（上述每一套的完全周期都至少有半年），各类与单一角色相关的贸易权益及相关造造，针对每一位 A-SOUL 成员定造化的动捕设备和动捕软件继续优化（3D打印适配头型的头盔，根据脸型的面捕适配、动捕绑定和优化处理各类多人交互动做带来的不不变和穿模优化等）。
而每场大活的投进也在数百万那个级别。大活为了更好地闪现多人舞台效果，会适配大型的多人灯光系统，加上一系列的镜头设想造造，大量的3D场景、新特效，以至一些复杂度极高的AR实时曲播效果。
Q：假设 A-SOUL 是在 2023 年的今天开启同规格的企划，前期成本是会因为手艺朝上进步而更低，仍是会因为行业溢价而更高？
A: 从A-SOUL 首播至今已经两个岁首了，国内市场上也呈现了许多类似的虚拟偶像企划，同时曲播内容也变得多样起来，在内容造造层面投进也变得更高。但在研发和造造管线上，已经变得原则了良多，手艺成本和利用门槛也会继续因原则化进步而降低。A-SOUL 在过往 2 年内也不竭地往做各类测验考试，付出了良多的沉没成本，积存出来的那些体味期看可以成为行业开展道的养分。相信在 2023 年，以及将来的一些岁首里，国内虚拟偶像内容会进进一个百花齐放的时代，各人能同屏，同场景互动。那时候成本也许会更高，但那种投进是值得的。
二周年曲播中，A-SOUL成员的头开展现出被风吹起的效果
Q：3D 实时曲播手艺难点详细有哪些？
A：3D 实时曲播的难点，要拆分红“3D 造造”和“实时曲播”两方面。抉择那个赛道，在内容造造上我们就会面对两个传统行业城市面对难题。就比如玩Roguelike游戏那样，在困难形式上，叠加了若干个dbuff。
在 3D 造造上：原画设想、建模、地图、材量、绑定、layout、动画、摄影、灯光、衬着、特效等都是环环紧扣的，哪一环缺了，城市招致整体视觉效果下降，因而做好品控是我们天天存眷的工作。
在“实时曲播”上：最考验团队的是没有“NG”的时机，每周曲播闪现出来的效果都是“一 Take 而过”的。现场各单元都需要高度严重，密切共同，容不得出错，每一个小失误城市被曲播出往。那也和那句老话说的一样，台上三分钟台下十年功。当然，我们在那块下的功夫还远远不敷。
既要完全地闪现出精心预备的内容，又要重视实时曲播中不要出错，其实长短常难的一件工作。团队也没少碰过墙，呈现过曲播穿模、卡顿，各色各样一箩筐的问题。但即使是如许，我们仍然觉得，3D 实时曲播就是目前最能展示虚拟偶像优势、与看寡密切互动的体例，那是我们会不断对峙做下往的工作。
Q：A-SOUL 至今已经开播两年了，完成了600多场、超越 1000 小时的曲播，那是一个很浩荡的工做量。在那个过程中，占据了最多人工劳动的是哪个环节？
A：其实A-SOUL团队的分工是相对均匀的。我们没有用到常规视频和动画造造中的“堆编导”、“堆3D建模”、“堆动画师”的形式，而是摘用了愈加可继续开展的分工形式，介绍一下我们的分工吧：
产物需要做开发方案和保障计划，保障项目开发和现场曲播量量，让内容可以完高量量地闪现；
手艺需要完成软件层面的开发工做，确保每个软硬件的顺利运行，同时继续摸索、研究手艺；
美术需要继续停止美术风气调研，迭代美术效果，不竭提拔服拆、场景、道具、镜头、灯光等的视效量量；
内容运营需要和 A-SOUL 成员们一路停止思维风暴，规划好每场曲播内容，做好节目和演出的立异，并负责视频的更新等；
导演导播需要和 A-SOUL 成员们一路一遍各处彩排，预备曲播素材，沟通曲播中的镜头调度细节，音乐音效的共同，卡点的舞美效果等；
经纪人需要存眷成员的日程安放，和声乐教师、跳舞教师一块批示成员，提拔舞台演出才能；
还有营销、商务等本能机能，撑持着企划的品牌、贸易化等运营工做；
当然最离不开的是 A-SOUL 成员们在每一个排演日、彩排日、曲播日所付出的汗水。
我们觉得把整个团队凝聚起来，才气不竭地工作做好，不竭往深挖那个赛道的可能性，做出有高度的工作。二周年纪念曲播中，我们初次在片尾放出了staff名单，也让粉丝们第一次曲看熟悉了团队的“东西驼们”（笔者注：A-SOUL工做人员的形象常展现为羊驼）。
部门幕后工做人员
Q：3D 曲播的节目设想难度与 2D 比拟完全不是统一个维度，A-SOUL 团队是若何做节目设想的？设想师要考虑的因素有哪些？
A：比拟2D，3D 曲播中的人物可动性更强，空间愈加“实在”，视角也愈加多变。那需要设想师们更全面地考虑三个问题：
一，内容需要考虑人物肢体发扬和演出情境，人物表示才气更生动；
二，设想的内容需要考虑空间关系，进步看寡的代进感，如虚拟人物和场景物品的位置关系、声音在空间里的传布效果等，假设没有处置好，看寡就很难沉浸此中。
三，内容需要考虑看寡视角，曲播时镜头就是看寡的眼睛，我们需要根究看寡在每个时间段想看什么，不想看什么。
别的，企齐截曲以来都有一个目标，就是“足够发扬虚拟造造的优势，做出实人曲播难以做到的内容”。过往我们做了良多那方面的内容立异，如：一周年纪念的御剑飞翔、贝拉 50 万粉纪念的与心魔决战、2022 乃琳生日会的与光共舞等。我们将来的目标没有改变，会继续地做那方面的内容立异，期看能给看寡带来更多别致的体验。
贝拉的舞台效果
没有参照物的冒险，A-SOUL团队摸索虚拟偶像的鸿沟
Q：A-SOUL团队手艺进化最次要的目标是什么？在“更高的清晰度”、“更细微的脸色”、“更顺畅的动做”、“更丰富的场景”、“更多样的交互”那几个假设的标的目的之中，哪一个优先级更高？为什么？
A：起首，我们认为在“脸色”、“动做”方面，做得还很不敷，必需连结在那两方面的投进。“脸色”和“动做”是根底，只是我们不断还没有做得很好。企划本来利用的是基于 iPhone arkit 的面捕计划，但是我们发现 arkit 的捕获精度其实不足以生动地展现二次元人物的口型和脸色。 因而我们下决心自研了一套针对二次元角色的面部捕获计划，包罗了软件和配套的头盔硬件。在继续的版本迭代中，我们在不竭提拔偶像们的脸色细腻度。
其次，我们在研发方面的投进远不行那几点，在浩瀚的投进上，我们面对的不是一个优先级的问题，而是一个“阈值”问题。做好内容，不代表需要把某一个手艺点做到一个十分高的程度，我们不断在研发和内容造造上，觅觅一个平衡点，少一点溢价的无谓投进，多一些在将来能发扬实正收益投进。我们不期看手艺立异离开了营业素质，也许熵增是无法制止的工作，但我们能够把它放缓。
Q：之前 A-SOUL 团队和 PICO 团队协做举办了国内第一场虚拟偶像的 3D 实时演唱会 LIVE SHOW，那件事更大的挑战表现在哪里？在如许的困难下，为什么 A-SOUL 仍然决定要往完成它？
A ：目前 3D 实时曲播的营业形态与内容传达体例，仍处于起步阶段。企划不会放过任何一个营业摸索与内容立异的时机。我们认为在 VR 加持下，看寡是可以在沉浸感方面获得看影提拔的，同时在 VR 曲播中融进的互动小游戏，也能进步看寡的参与感。
那场 3D LIVE SHOW 更大挑战仍是在于性能方面。目前 VR 一体机的性能确实和 PC 比拟还有间隔，为了在 VR 一体机上获得与 PC 一样的衬着量量，我们协同 PICO 团队一路打通了国内首例的 VR 虚拟视频流曲播链路：针对VR设备的曲播，内容衬着压力和视频传播输带宽要求都要远大于一般曲播。团队在散布式衬着、云上导播合成、视频编解码等标的目的都做了大量的开辟性工做，完成了那场里程碑式的SHOW。 整个研发过程中我们没有太多一手体味，整个开发过程都属于摸着石头过河，但我们认为那是一个难而准确的工作。将来如许的营业立异挑战仍是会有良多的，困难不断都在。
VR演唱会中全体看寡和A-SOUL云合唱
Q：A-SOUL 在 12 月完成了二周年纪念曲播，在谋划过程中，更大的手艺挑战表现在哪里？
A：在产物手艺方面，我们次要有两方面的工做：一块是软件开发，一块是硬件运维。那两块工做其时都碰着了史无前例的挑战。
Q：软件开发上详细碰着了哪些困难？团队是若何征服的？
在软件层面更大的挑战是“夺进度，赶版本”。在二周年曲播里面我们上线了一些新功用和新效果，如新的二次元角色衬着管线、新的灯光系统、更复杂的实时运镜系统、散布式的导播交互、起落和飞翔的舞台、无缝切换的大场景等等，期看可以打磨出“新枝江”的视觉效果——好比酷炫的舞台灯光、各类飞翔舞台、头发和裙摆飞扬起来的效果、在城市上空的大舞台多光源的表示、切近打歌舞台的运镜、模仿物理世界的日夜系统等等。二周年整个开发周期为3个月，在3个月内需要完成上述的新功用开发，还同时并线开发着PICO演唱会。那对开发团队形成了十分大的压力。
其实还有一个工作是我们不断没有对外公布，那就是团队在22年岁首年月决心把整个衬着和导播系统切换到新的引擎架构下。新的架构摘用了全散布式设想，打破了老版本的衬着瓶颈；摘用了多级导播系统，而且可以多人同时操做，拔高了曲播内容的上限。 那是一件十分需要勇气的工作，开发组需要在连结老架构一般曲播迭代的前提下，开发新的架构，并分阶段平安上线，那和给飞翔中的飞机换引擎一样困难，而二周年也是第一次基于新引擎架构做的各类新功用开发。
二周年纪念曲播部门画面截图
别的因为二周年的歌舞演出十分多，我们还提早超越一个月的时间来排演走位和动做，以及成员和导演组的共同。当开发与彩排并行推进时，测试难度和Bug的修改难度就会提拔一个难度。
Q：在筹备二周年纪念曲播时，团队又碰着了哪些硬件运维上的困难？
在硬件层面，固然我们已经在手艺计划上摘用了“散布式导播系统”，把衬着使命停止了多台机器拆分，但衬着压力仍然很大，为了连结全程60帧的衬着量量，也对我们的机器停止了一轮设置装备摆设晋级：给所有衬着电脑都换上了4090。
公然，我们也将来逃脱烧接口的命运。在间隔曲播没几天的时候，原生16Pin接口烧了。为此，粉丝也在动态里纷繁为我们出谋献策，我们除了改换所有电脑的电源和电源线外，还预备了一多量的备用显卡，组织了灭火器的利用进修和操做练习训练。但其实我们还提早开发了热备系统，衬着机器在主路信号瓦解的情状下，是可以立即切换成备路的信号的，只要差别时烧掉主备路，曲播都能一般播出。但此次曲播也并不是尽善尽美，仍是呈现了一些卡顿等情状，那些都已经第一时间详尽笔录并进进排查阶段。
颠末了二周年的那一次奋战，不只让企划的开播东西开发进度往前突进了一大截，还让团队感触感染到了斗争的喜悦感。那份履历，那份回忆，是实贵重，是值得回味的。
Q：A-SOUL团队为二周年曲播预备了比以往更浩荡的场景和舞台，为什么“打破曲播间的鸿沟”是有需要的？
A：更浩荡的场景是肯定会带来更大的工做量和更高的算力要求的，以往我们的舞台都只是着重于往完成舞台的主构造部门的模子造造，此次我们为了表达出我们想传达给一个魂（A-SOUL的粉丝名）们的自信心，造了一座等比例的城市，一片会有日夜改变的天，一片实在物理模仿的海。枝江，在过往两年来，设定都是偏向笼统模糊的，各人晓得 A-SOUL 的 4 位成员是生活在枝江那片地盘上的，但其实历来没有闪现一个“详细的枝江”出来。乃琳的飘雪房间在哪？贝拉的练舞室在哪？向晚的电竞卧室在哪？嘉然的小板屋又是在哪？
为了丰富世界看和场景的设定，我们决定狠狠地下血本：一路好好地建立枝江吧！那初度相遇的教室，那飘雪的窗户，那樱花飘落的树下，阿谁约定好的露台，那扭转的木马......过往总总的片段应该被连成一线。也期看有一天，A-SOUL与一个魂能在枝江的转角处碰见。
A-SOUL站在城市的一端，驱逐向阳升起
Q：除了曲播，A-SOUL团队有考虑将目前的手艺和 IP 利用到更丰富的场景中吗？好比动画、游戏以至元宇宙？
A：关于行业来说，动画、游戏以至元宇宙都是很有意义的测验考试，但并非如今的A-SOUL要做的。A-SOUL目前的价值来源于“面临面”曲播产生的“高频”“互动感”和“间隔感”。那些是团队、粉丝们都认同的优势，我们期看能够好好连结，承袭初心，做好该做的事。除此之外，我们也不期看用已有的一些内容形态和主看意识往“定义”A-SOUL。
放在百年影视的汗青上来看，目前虚拟偶像是一种十分新的内容形态。相信将来，那会是一种支流的内容形态。片子，动画，游戏，曲播，是会彼此连系，并降生出新形态的，那将不再会有明显的边界。那份对将来的热血澎湃，是我们心之所想，也是做为一个内容从业者期看看到的工作。
Q：A-SOUL 认为本身更大的优势在哪里？
A：A-SOUL更大的优势应该是：实。
一起头，因为我们的目标是做实时曲播，所以就没法通事后期剪辑往芜存菁，我们无法往润色瑕疵。后来我们发现，其实看寡是有必然的宽大度的，也是期看看到我们生长：当我们勤奋斗争的时候，粉丝们会不惜赞扬；当我们自满懒惰裹足不前的时候，粉丝们会不竭敦促。我们的邮箱天天都能收到良多粉丝的反应和定见，那是我们动力的来源。
因而后来我们就愈加勇敢了：研发的每一个手艺难点，我们都不会因为难就取巧躲避；曲播的每一个演出，我们都要一块为曲播效果付出汗水；枝江的每一段故事，都和陪伴着企划生长的所有人，一路谱写出来。