tinyml证明了小芯片也可以发觉更多可能。这种新方法不是在大型,耗电的云端计算机上运行复杂的机器学习(ml)模型,而是在终端设备上运行优化的识别模型,而这些微控制器仅消耗不超过几毫瓦的功率。
在arm和行业领导者google,qualcomm等人的支持下,这一新兴的细分市场tinyml有潜力改变我们物联网(iot)处理数据的方式,其中数十亿个微型设备已用于提供更大的洞察力以及增强消费,医疗,汽车和工业等领域的效率。
为什么要在微控制器上使用tinyml?
诸如arm cortex-m系列之类的微控制器是ml的理想平台,因为它们已被广泛使用。它们可以快速,高效地执行实时计算,因此可靠性高,响应速度快,并且由于它们仅消耗很少的电量,因此可以部署在更换电池困难或不便的地方。也许更重要的是,它们足够便宜,几乎可以在任何地方使用。市场分析机构idc报告称,2018年售出了281亿个微控制器,并预测到2023年年出货量将增长到382亿个。
微控制器上的ml成为我们用于分析和理解iot生成数据的新技术。特别是,深度学习方法可用于处理信息并理解来自传感器的数据,传感器执行诸如检测声音,捕获图像和跟踪运动之类的事情。
以紧凑格式进行高级模式识别
通过研究机器学习中涉及的数学,数据科学家发现他们可以通过进行某些更改来降低复杂性,例如用简单的8位运算代替浮点计算。这些变化创建了机器学习模型,该模型可以更有效地工作,并且需要更少的处理和内存资源。
tinyml技术的飞速发展得益于新技术和开发人员的参与。仅在几年前,我们还庆祝我们能够运行语音识别模型的能力,该模型能够在受限的arm cortex-m3微控制器上仅使用15 kb(kb)的代码和22kb的数据就可以检测到某些单词,以便唤醒系统。
从那时起,arm推出了新的机器学习(ml)处理器,称为ethos-u55和ethos-u65,这是一种micronpu,专门设计用于加速嵌入式和iot设备中的ml推理。
与我们今天看到的令人印象深刻的示例相比,ethos-u55与具有ai功能的cortex-m55处理器相结合,将大大提高机器学习性能并提高能源效率。我们预计在未来12个月内会推出响应芯片。
tinyml使边缘设备更上一层楼
tinyml的潜在用例几乎是无限的。开发人员已经在与tinyml合作,探索各种新想法:响应信号灯改变信号以减少拥堵,工业机器可以预测何时需要维护,传感器可以监视农作物中是否存在有害昆虫,可以在库存不足时请求补货的货架,医疗监护仪可以在保持隐私的同时跟踪生命周期等等。
tinyml可以使端点设备更一致,更可靠,因为不再需要依赖繁忙的拥挤的昂贵的互联网连接云端,也不必进行复杂的数据传输。减少甚至消除与云的交互具有以下好处:减少能源消耗,显着减少处理数据的延迟,以及提高安全性。
当然,这些在微控制器上执行推理的tinyml模型无意取代当前在云端进行的复杂推理,这毫无价值。他们要做的是将特定功能从云降低到端点设备上。这样,开发人员可以在需要时保持云交互。
tinyml还为开发人员提供了一套功能强大的新工具来解决问题。ml使检测基于规则的系统难以识别的复杂事件成为可能,因此端点ai设备可以开始进行新任务。而且,由于ml使得可以用文字或手势来控制设备,而不是按钮或智能手机,因此可以在更具挑战性的操作环境中更坚固耐用地部署设备。
tinyml不断扩展的生态系统
行业参与者已经迅速认识到tinyml的价值,并迅速采取行动以创建一个广泛的生态系统。从热情的爱好者到经验丰富的专业人员,各个级别的开发人员,现在可都以访问易于入门的工具。所需要的只是一台笔记本电脑,一个开源软件库和一条usb线,用于将笔记本电脑连接到价格低至几美元的廉价开发板上。实际上,在2021年初,raspberry pi发布了他们的第一块微控制器板,这是市场上最便宜的开发板之一,仅售4美元。名为raspberry pipico的芯片是由rp2040 soc供电,rp2040 soc是一款功能强大的双arm cortex-m0 +处理器。 rp2040 mcu能够运行tensorflow lite micro,我们预计在接下来的几个月中,该板将有各种各样的ml用例。
arm是tinyml的强烈支持者,因为我们的微控制器架构对于iot至关重要,并且因为我们看到了设备上推理的潜力。arm与google的合作使开发人员更容易在注重功耗的环境中部署端点机器学习。 arm cmsis-nn库与google的tensorflow lite micro(tflu)框架相结合,使数据科学家和软件开发人员可以利用arm的硬件优化功能,而无需成为嵌入式编程专家。最重要的是,arm在cortex-m硬件keil mdk以及我们的物联网操作系统mbed os的优化工具上进行了大量投资,以帮助开发人员在部署ml应用程序时快速地从原型开发到生产。
没有许多早期贡献者,tinyml将是不可能的。pete warden,是tinyml的“奠基人”和google tensorflow lite micro的技术负责人。来自arm生态系统的创新者kwabena agyeman,他开发了openmv,该项目致力于低成本,可扩展,基于python的机器视觉模块的支持机器学习算法。另外一位arm生态系统创新者,daniel situnayake,edge impulse的创始人,tinyml工程师和开发人员,该公司提供涵盖数据收集,模型训练和模型优化的完整tinyml管道。此外,arm的合作伙伴(例如提供了nanoedge ai的公司cartesiam.ai,nanoedge ai是一种工具,可根据在真实条件下观察到的传感器行为在端点上创建软件模型)将tinyml推向另一个高度。
arm还是tinyml基金会的合作伙伴,tinyml基金会是一个开放的社区,负责协调,以帮助人们联系,分享想法并参与其中。有许多本地化的tinyml聚会,包括英国,以色列和西雅图,以及全球范围的tinyml峰会。
React Native重构即将完成,改善版本有何不同?
控制系统与自动驾驶安全设计的关系
什么是同步多处理器
如何选择非接触式检测的液位传感器?
研究人员提出利用5G移动网络容量过剩的新方法
详解为什么要在微控制器上使用TinyML?与TinyML的作用和潜力
电气装备用电线电缆的主要生产工艺流程
IMX219-77 Camera摄像头的指令使用
国芯思辰|锂电池线性充电管理芯片优晶YS4056可用于便携式电子设备
喜讯:捷易科技成为数字政府建设产业联盟成员单位
基于ARM核的音频解码器单芯片系统研究
看准4000家AI企业 英特尔再战“AI江湖”
单片机系统中最常用的三种通信协议解析
LTCC技术在SIP领域的应用
美国对英国5G计划加大施压
2023氢能源基础建设及氢燃料电池核心技术峰会即将于11月在上海嘉定召开
一份优秀电气图纸设计的三个要点
选择PCB组装制造商的一些参考点
BME280压力和温湿度传感器的工作原理
二阶RC低通滤波器设计方案