元宇宙概念在时下极为炽热,此中虚拟人则被认为是现实与元宇宙交互的重要路子,并且良多虚拟人已经活泼在各类平台上,如AYAYI被阿里礼聘为头号数字人员工,并发行了中秋元宇宙的NFT。抖音上的虚拟明星“柳夜熙”,粉丝量则已到达近900万人,总点赞量3500多万(图1)。
当然虚拟人的造做其实不简单,涉及了人工智能、大数据,还要有超高性能的计算机,不外跟着各类和元宇宙相关的开源手艺的普及,如今借助百度供给的“飞桨”平台,任何人都能够轻松造做出属于本身的“虚拟人”,让通俗人也能够在短视频平台上一展风度!
虚拟人造做原理
本文介绍虚拟人造做项目是基于网友造做的开源项目(地址github.com/JiehangXie/PaddleBoBo),我们只要在“飞桨”平台注册一个用户,然后克隆该项目并运行即可。它的原理是先生成一个虚拟人视频(视频已经通过深度进修完成面部脸色迁徙),然后将合成的语音和视频合成,最末生成能够朗读任何文章的虚拟人播报视频(图2)。它能够用在短视频平台上的视频讲解、课程讲解、新闻播报等场景中,用来替代实人出镜。
生成默认虚拟人
1.注册用户
那个项目能够借助“飞桨”平台免费供给的虚拟情况运行和生成虚拟人,因而各人起首要登录aistudio.baidu.com/aistudio/index,按提醒注册一个用户。
2.运行项目
登录“飞桨”平台后翻开“项目”页面,接着输入“paddlebobo”搜刮,找到此中的“PaddleBoBo,有手就能用飞桨造一个虚拟主播(人)”项目并点击翻开。接着在翻开的页面点击“运行一下”,在弹出的页面选择“V100 32GB”运行情况(图3)。
小提醒:注册“飞桨”平台并运行项目后,平台每天会赠送8个点的免费算力(每天都有),足够各人体验和生成虚拟人操做了。
展开全文
3.利用情况
按提醒启动选择的情况后,在虚拟运行情况中依次运行“1.克隆项目”、“2.安拆PaddleGAN和PaddleSpeech依赖”、“3.静态图像转虚拟主播动画”,在第三步完成后确保页面提醒“已胜利创建虚拟人,文件保留在.file/input/test.mp4”,同时展开左侧窗格途径,在指定文件夹中看到“test.mp4”文件(图4)。
切换到“4.让虚拟主播说话”,在“--text”后的代码输入需要转换为语音的文本,能够将本身需要让主播说的内容都放置在那段代码中,文本不要分行(能够预先将文本复造到Word,然后利用查找替代将段落标识表记标帜替代为空),最初点击“运行”,运行胜利后会在左侧窗格根目次下能够看到“out.mp4”,那个就是最末生成的虚拟人视频(图5)。
4.查看视频效果
在左侧窗格选中“out.mp4”,右击选择“下载”,将下载到当地后就能够利用系统自带的播放器播放了,能够看到生成的虚拟人会主动朗读在图4的“--text”后设置的文本转语音的内容(图6)。
生成自定义主播形象
当然在那个讲究个性的时代,利用陈旧见解的虚拟人主播形象和没有个性的机器语音,显然无法称心各人的需求。接下来就介绍若何对项目代码停止稍加更改,让它能够生成更有个性地虚拟人。
1.造做虚拟人图片
根据项目标阐明,若是需要改换主播的形象,我们只要自行筹办适宜的图像和布景图片即可。为了制止肖像侵权,人物素材能够翻开)。
接着再翻开,按提醒将下载好的头像上传到该网站,并停止抠图处置,接着将抠图下载到当地备用(图8)。
翻开PPT新建一个空白版式的幻灯片,接着根据本身的需要添加适宜的布景。同时筹办一张主持人照片(能够利用上面办法抠图后插入PPT),然后将图8处置好的照片叠加到本来主持人的头部上方,生成本身的虚拟人形象和布景图,最初将PPT导出为“test.png”备用(图9)。当然利用同样的办法,各人能够造做更多的虚拟人形象,每个虚拟人都是世界上其实不存在的AI人像,并且每个虚拟形象都能够造做得美轮美奂。
2.生成新的虚拟人视频
返回图4所示的窗口,在左侧窗格将本来“test.png”重定名为“test1.png”。接着点击“上传”,将上述筹办好的照片上传到“/home/aistudio/PaddleBoBo/file/input”,最初同图4操做,再次创建虚拟人视频备用。
3.生成语音
项目默认利用的是百度的语音转换办事,转换的语音机器化的陈迹比力明显。若是想让本身声音更有磁性,能够自行利用“智影”(/)的语音转换办事。
翻开上述网站后点击“新建文本配音”,然后在将需要转换的视频脚本文本粘贴到文本框。那里能够根据现实需要对文本停止设置,好比在长句之间插入停顿,或者点击多音字设置准确的读音,还能够为句子指定读音人、音效、语速、布景音乐等,完成后点击“生成音频素材”,将语音文件下载为“1001.mp3”备用(图10)。如许即便你的通俗话再禁绝则,都能够生成字正腔圆的讲解文本语音了。
返回图4所示窗口,在左侧窗格展开“/home/aistudio/PaddleBoBo/file/output/audio”。然后将“1001.mp3”上传到该目次下备用。在图4的左侧窗格继续展开“/home/aistudio/PaddleBoBo/general_demo.py”,在右侧窗格将第7行删除,将第17行代码改为“wavfile = '.file/output/audio/1001.mp3'”,即便用本身生成的语音文件合成到视频中(图11)。接着在返回图5所示的窗口,将“--text”代码删除,其他同步运行即可生成新的虚拟人视频了。
为视频添加字幕
短视频的造做少不设置装备摆设字幕,字幕的添加能够借助“剪映”完成。为了能够造做出准确无误的字幕,起首利用Word翻开视频的脚本文件,接着点击菜单栏的“视图”,勾选其下的“标尺”,显示“标尺”后根据本身需要拖动标尺,如许文档每行字数会主动停止调整,好比能够调整为每行显示20个汉字,然后按住Alt键复造字幕的内容(图12)。
启动“剪映”后新建项目,导入“out.mp4”视频到下方的时间线。继续切换到“文本→智能字幕→起头婚配”,在翻开的字幕窗口按下Ctrl+V快速键粘贴上述复造的字幕,如许每条字幕的长度是上图设置的字数,点击“起头婚配”(图13)。完成字幕的婚配后,最初点击“导出”将视频导出保留即可。
OK,完成上述的设置后,一条便宜虚拟人短视频就造做完成了(图14)。怎么样,那就是我们造做的虚拟人了,那下各人不要再为本身形象不敷出寡无法实人出镜而懊恼,也不要再为本身通俗话不敷原则开不了口忧愁,因为虚拟人能够代你出镜,而且帮你朗读各类文本。从此,你在网上就是美少女、俊小伙的形象了。赶紧去造做属于你的虚拟代言人吧。