2018年底,在第五届世界互联网大会上,“克隆”于真人主播邱浩的全球首个ai合成男主播“首秀”,由新华社联合搜狗发布,很快在全球范围内引起热议。
陈伟,搜狗语音交互技术中心高级总监,同时也是新华社ai主播项目的负责人。他表示,从去年11月到现在,新华社工作的两位ai主播已经播报了几千余条新闻,没有出现过失误。
今年2月19日,男主播升级成为站立式ai合成主播“新小浩”,站立式“新小浩”不仅能坐着播报新闻,还能站起来,带着手势、姿态等多种肢体动作,更接近于真人。与此同时,双方还推出了首个ai合成女主播“新小萌”。
在新华社,基于两位真实主播的声音、表情等真实数据生成模型,工作人员仅需要输入新闻稿,就可以让ai形象自动根据文字播报。并且,无需进行二次视频编辑,ai主播将自动识别语义并配上对应音调及表情。
“我们提供的系统,新华社只要每天在想要播报的新闻,过几秒钟生成一个完整的视频,中文、英文不同类型的新闻视频就可以马上出来。”陈伟表示。我们看到,ai主播的能力在不断进化,2月发布的“新小浩”开始加入肢体动作,让主播的表达方式更加多元化。
ai合成主播来自于搜狗ai分身项目的落地,基于多种模态识别融合的技术,包括语音、手写、唇语等维度的识别和模拟,仅需数个小时的视频资料就可以合成一个比较逼真的真人形象。
“逼真度”是衡量ai主播效果的一个重要指标。陈伟向机器之心表示,在初期,团队采用主观的方式来衡量ai分身的真实度,最近逐渐考虑采用一些客观标准,比如与真人视频每一帧画面进行比对。
近日,一段“换脸杨幂版”的《射雕英雄传》在网上广泛流传,关于ai换脸和模拟真人技术的讨论上升到社会层面,比如将技术用于不正当目的的伦理问题。
陈伟对此回应,首先, “分身”与“换脸”(deepfakes)在技术层面有着本质的差别,“换脸实际上是把一个人脸映射到另一个人脸上,前期投入成本很大,但‘分身’一旦建模之后,只需要输入文字就可以生成视频,不需要任何表演成本在里面。”
在技术使用的规范问题上,陈伟表示, “搜狗选择和明确的公司、在明确的领域合作,尽量通过场景圈定技术的使用范围,这样的好处就是不会把技术滥用。
苹果新一代操作系统OS X Mountain正式发售
苹果M1芯片是颠覆性创新?
SAP HANA如何使用非易失性内存
rk3566相当于骁龙什么芯片?
讨论AUTOSAR方法中的软件组件的概念
搜狗陈伟:AI主播将加入肢体动作,让主播的表达方式更加多元化
汽车无人驾驶传感器平台大盘点
什么是四象限稳压器?为什么要使用它?
荣耀官方暗示荣耀20将在5月21日伦敦发布
“数智化”时代之下,掌握数据分析四大要素很重要
Power Integrations与伟诠电子联合推出适合智能移动设备的18W USB PD快速充电器参考设计
关于led显示屏的介绍,它的型号都有哪些
传统手机品牌接二连三回归,飞利浦也来凑热闹!预推新机飞利浦S310X,实为“复出”信号
Cypress展示具有多点触摸位置识别功能的电容式触摸屏
特斯拉回应:严格按照规律生产
车载Tyco信息中心电路保护方法
3.3V/5V驱动耦合器:TLP2366
安徽广德县首个柔性电路板项目已进入安装调试阶段
应该如何购买物联网卡需要注意什么
效率高达90%的高PF、低THD、低纹波RGB智能照明方案