云服务提供商的语音算法成为芯片的黑匣子

在设计智能音箱和其他语音功能的设备,例如可穿戴设备、可听觉设备时,开发者面临的首要挑战是如何让麦克风准确有效地检测 “alexa ”和 “hey google ”等唤醒词,以便在云端处理。
当dsp group推出支持语音的语音系统级芯片(soc)dbm10时,edn向该公司smartvoice芯片的产品经理yosi brosh提出了这个问题。这款基于dsp和神经网络(nn)加速器的双核soc,针对电池设备中的语音和传感器处理进行了优化,如可听、可穿戴设备、真正的无线立体声(tws)耳机和智能家居遥控器等。
上图:用于语音智能产品的dbm10芯片宣称的采用平台方式,具有全面的软件框架支持。
brosh表示,像亚马逊网络服务(aws)这样的云平台对在芯片上配置寄存器不感兴趣。相反,这些云服务关注的是语音算法如何高效检测唤醒词。brosh说“他们希望算法能够检测到唤醒词,而不需要工程师花费大量时间研究和配置芯片上的寄存器。”
因此,dsp group开发了一个api,使语音检测算法很容易集成到云服务中。他补充道;“在某种程度上,云服务提供商的语音算法成为芯片的黑匣子。”
通常的做法是,设备制造商发布带有麦克风设置的软件代码,并告诉算法提供商如何在麦克风驱动中集成算法。以dsp group的dbm10芯片为例,它使用语音固件采集音频,使语音采集算法的集成变得高效简单。
dsp group一直在与十几家云公司密切合作,其中包括阿里巴巴、亚马逊、百度、谷歌和三星,同时在其芯片上移植他们的语音算法。据brosh介绍,该公司在某些情况下还提供一套完整的软件。
该芯片能够为系统设计人员提供简单的部署路径,brosh表示,公司对运行在dbm10语音接口芯片上软件的支持一直提供到生产层面,“系统工程师不需要编写一行代码”。
这就是为什么dsp group称其dbm10芯片为完整解决方案的原因。该soc通过通用dsp和名为nnetlite的神经网络处理器对音频算法以及传感ai算法进行了优化。除此以外dsp group还提供运行在wi-fi芯片上用于与dbm10芯片进行通信的额外驱动程序。
soc还具有跨平台的工具链,支持所有常用的人工智能(ai)和机器学习(ml)框架,以简化算法部署。工程师们可以开发、训练和测试算法,然后将算法以标准格式保存,工具链会将其提取并创建一个图像,下载到soc中。
上图:nnetlite编译器可以快速优化、修剪和部署任何框架的ai/ml模型到dbm10 soc。
该soc的外形尺寸很小,只有4平方毫米,可以进入像智能手表这样的极小设备。同样,在soc的神经网络nnetlite引擎上运行的始终处于开启状态的wake word算法只消耗几微瓦的电能。


高通推出第3代骁龙8cx计算平台
电力系统的运行状态有几种?
什么是状态监测,“预测性维护”该如何实施
微软为什么还在继续为Windows 7用户免费开放Windows 10系统升级
区块链的基本数据结构解析
云服务提供商的语音算法成为芯片的黑匣子
莱姆开环数字输出传感器的原理解析
专家传真-中国半导体业上演本土配套和进口替代黄金交叉
AT32 MCU USB HID应用,带来无缝连接「芯」体验
如何测试DC-DC的SW信号?
福禄克发布TiX580和Ti480红外热像仪 全面进入640像素时代
V2X全方位通信部署解决方案如何支持智能交通建设?
电涌保护器的后备保护元件分析
小米小爱智能闹钟高清图赏
半年时间,拍摄8省市10个案例,我们见到了这样的智能中国
平台赋能,算力共建,智贯东西 “2023 英特尔算力大会暨东数西算大会”成功举办
Roamware推出变革性国际用户身份系统CloudSIM
clivet中央空调怎么念_clivet是水空调么
释放海量数据价值,尽显数据之美,华为云大数据打造智能数据底座
锂电池的生产工艺流程图详解