MCU巨头，奔向同一个目标
导读
现在，被称为是单片机的微控制器（mcu）已经越来越“不简单”。随着物联网设备的普及和应用场景的扩大，对于更智能化和自主决策能力的需求也在增加，作为物联网设备中必不可少的大脑——mcu，正朝着更智能化、更强大的方向发展。越来越多的传统微控制器单元（mcu）巨头们开始意识到将ai功能与mcu相结合的潜力，并积极投入到ai领域的研发中。传统认知中，人工智能（ai）相关的深度学习应用，只有算力充沛的mpu或者是pc才能玩得转。那么，mcu厂商们将如何应对这一新趋势呢？
01. 为什么要在mcu集成ai？
首先，让我们来了解下，为何mcu大厂要在mcu产品中布局ai，在mcu上跑ai或者将mcu与npu等集成在一起的好处有哪些？大致可归纳为如下几个方面：
低功耗和高效性能：mcu通常具有较低的功耗和较高的能效特性，适合应用于低功耗场景。将ai算法和处理能力与mcu集成在一起，可以在低功耗的情况下实现高效的ai计算。这对于一些需要长时间运行、依赖于电池供电或功耗敏感的应用非常重要。
实时性和即时响应：将ai能力集成到mcu上，使得ai算法可以实时地在设备本地进行处理和响应，而无需依赖于云端或其他远程服务器。这提高了系统的实时性和即时响应能力，使得设备能够更快速地做出决策和反应，适用于许多实时应用场景，如嵌入式控制、边缘计算等。
隐私和数据安全：将ai算法和数据处理能力放在设备本地，可以减少对云端的依赖，从而增强隐私和数据安全性。敏感数据可以在本地设备上进行处理，减少了数据传输的风险和隐私泄露的可能性。这对于一些对隐私和数据安全要求较高的应用，如智能家居、医疗设备等非常重要。
灵活性和定制化：将mcu与npu等ai处理单元集成在一起，可以为设备提供更大的灵活性和定制化能力。根据特定的应用需求，可以选择不同的mcu和ai处理单元的组合，以实现最佳的性能和能效平衡。这种灵活性和定制化能力可以适应各种应用场景和需求的变化。
减少系统复杂性和成本：相对于将ai处理能力集中在独立的处理器或芯片中，将其集成在mcu中可以减少组件数量和系统复杂性，从而降低了系统设计和制造的成本。
总之，有ai功能的mcu可以为物联网设备提供更高级的控制和计算能力，使其能够进行复杂的推理和决策。因此，现在为边缘设备创建机器学习模型正成为一种大的趋势，这些模型称为微型机器学习或tinyml，它主要适用于内存和处理能力有限的设备，以及互联网连接不存在或有限的设备。tinyml使在mcu上运行深度学习模型成为可能。tinyml在mcu上的应用越来越普遍。
但是，想让深度学习模型在mcu上跑起来，不是易事。mcu上跑ai，最关键的是如何将训练好的深度学习的模型，转换并部署到mcu上，这需要一整套工具和方法，这对于传统的mcu厂商而言还是有一定门槛的。因此，要在mcu上部署ai，必须在软件和硬件两方面同时着力。那么mcu巨头们都是如何做的呢？
02. mcu厂商自行设计机器学习软件
ai应用通常需要硬件和软件的紧密配合。但从mcu本身的属性来看，它的资源非常有限，因此需要特定的软件库和工具来支持ai任务。然而，与传统的计算机平台相比，mcu上的ai软件库和工具的选择和可用性相对较少。开发人员可能需要自行优化和适配现有的库，或者开发专门针对mcu的ai软件。在几大mcu巨头厂商里，恩智浦和st均已经自行设计了机器学习相关的软件。
恩智浦在2018年推出了机器学习软件eiq软件，该软件能够在恩智浦edgeverse微控制器和微处理器（包括i.mx rt跨界mcu和i.mx系列应用处理器）上使用。
后来，为了降低mcu运行ai算法的门槛，恩智浦还打造了一个适用于mcu的ai工具链——nano.ai。它主要包含两部分，一部分是将原始算法模型转换成mcu上能够快速运行的数据和库，另一部分包含一个轻量级推理引擎，能做出一个能跑在mcu上、只需几兆flash甚至几兆sdram的方案。
目前，恩智浦已经推出了带有ai功能的mcu产品，mcx n系列是恩智浦集成npu的第一个产品家族，mcx n94x和mcx n54x mcu系列中集成了恩智浦设计的用于实时推理的专用片上神经处理单元 （npu）。据悉，与单独使用 cpu内核相比，片上npu的ml吞吐量最高可提高 30 倍。
2019年st也发布了一款stm32cube.ai工具，这使开发者在mcu上优化ai模型成为可能。stm32cube.ai是一款用来评估、转换、优化和部署已训练好的神经网络模型的工具，适合主流的人工智能框架，可为开发者提供评估和调整算法的能力。
而其实st很早就在ai上进行起布局，这大约可以追溯到2017年，在2017年isscc（国际固态电路会议）上st 揭晓了一种能够加速深度卷积神经网络算法的超低功耗片上系统 （soc）—orlando。orlando使用cortex-m4微控制器 （mcu） 和 128 kb 内存、八个可编程集群，每个集群包含两个 32 位 dsp 和四个 sram 组，每个组提供四个模块，每个模块为 2 x 64 kb。与这个高效核心相结合的是图像和 cnn 协处理器（称为神经处理单元或 npu），它集成了八个卷积加速器 （ca） 等。
03. 与第三方软件工具商合作
与第三方软件工具商合作，对于mcu厂商而言，也不失为是一个好的策略，第三方机器学习软件工具商通常拥有丰富的机器学习算法和工具库，mcu厂商可以基于这些软件工具构建自己的解决方案，并根据客户需求提供定制化的选择。在这方面，microchip、瑞萨、st都有相关的布局。
2020年9月，microchip宣布与cartesiam（现已被st收购）、edge impulse和motion gestures合作，将这些合作伙伴的软件和解决方案的接口引入其设计环境，使microchip的32位mcu和mplab x集成开发环境，能够在其 ai/ml 项目的所有阶段为客户提供独特的支持，包括数据收集、模型训练和推理实施。
据悉，microchip机器学习 （ml） 技术的核心是用于mplab x ide的ml插件。ml插件在 mplab data visualizer 中工作，简化了数据收集过程并支持快速开发嵌入式ml解决方案。ml插件检索的数据由他们的设计合作伙伴得工具进行分析，并有助于事件识别和数据模式异常检测。
在近日的stm32峰会上，st宣布与英伟达合作，将nividia tao和stm32cube.ai工具相整合，让开发者stm32微控制器上无缝训练和实现神经网络模型，以达到适配的性能和精度。nvidia tao是一个加速ai算法开发和优化的开发环境，tao工具包提供了一个低代码的人工智能框架，以加速视觉模型的开发。
但是与第三方软件工具商合作也有弊端，如microchip合作的cartesiam软件工具商就被st收购（下文中讲述），还可能存在技术整合和兼容性问题、依赖性等问题。
04. 通过收购补齐软件上的短板
毫无疑问，mcu厂商已经意识到ai技术对于mcu的重要性，而且ai领域的技术变化快速，收购是实现技术升级的一个快速途径。这也有助于简化客户的采购和集成过程，提高产品的易用性和竞争力。
我们已经看到，近两年来，越来越多的mcu巨头开始通过收购一些专注于mcu的ai解决方案和软件工具的厂商，来增强自身在ai领域的竞争力。
首先是意法半导体（st），2021年6月3日，意法半导体宣布收购边缘ai软件专业开发公司cartesiam。cartesiam成立于2016年，总部位于法国土伦，专门从事人工智能开发工具研发，让基于arm的mcu具有机器学习和推理能力。该公司开发了具有专利的nanoedge ai studio旗舰解决方案，它能让没有ai知识背景的嵌入式系统设计人员也可以快速开发专用的软件库，nanoedge ai studio可以让开发人员基于少量数据，通过创建、清理、优化数据集等步骤创建适配的ml库。nanoedge具有异常检测与设备学习的能力，也提供分类和回归库。收购cartesiam公司之后，该公司的nanoedge ai studio方案将对st的stm32cube.ai实现进一步完善和补充。
据悉，st即将推出第一个带有神经网络硬件处理单元（neural-art accelerator）的通用微控制器——stm32n6，这款mcu与其stm32mp1微处理器（运行频率为 800mhz 的双 cortex-a7）相比，stm32n6 的推断速度提高了25倍。
再一个是瑞萨，2022年7月20日，瑞萨宣布，完成对美国从事机器学习模型开发的初创企业reality ai。reality ai主要为汽车、工业和商业产品中的高级非视觉传感提供范围广泛的嵌入式人工智能和微型机器学习 （tinyml） 解决方案。
此次收购将使瑞萨电子能够扩展其用于人工智能应用的工具套件和软件产品，将reality ai的人工智能推理技术与瑞萨电子的mcu和mpu产品组合相结合，将实现机器学习和信号处理的无缝实施。据了解，与使用量化、压缩、修剪或其他机器学习技术使模型变小但精度降低的方法不同，reality ai将先进的信号处理方法与机器学习相结合，在不影响体积的情况下提供完全的精度。
据瑞萨物联网及基础设施事业本部mcu事业发展部副总裁mohammed dogar的介绍，瑞萨将全面拥抱ai。目前嵌入式ai分析主要有三个场景：视频、语音以及实时分析。在这三个场景中，瑞萨均在布局，其中前两种主要是跟第三方合作伙伴来实现，而对于实时分析，主要就是通过收购reality ai来实现。
英飞凌在近日也刚刚发布了收购的信息，2023年5月16日，英飞凌宣布，已收购总部位于瑞典斯德哥尔摩的初创公司imagimob ab。imagimob是快速增长的微型机器学习和自动机器学习（tinyml 和 automl）市场的领先者。据了解，imagimob开发了一个端到端的机器学习工具链，该工具链高度灵活且易于使用，重点放在交付生产级ml模型上。英飞凌将收购该公司 100% 的股份。以提升其微控制器和传感器上的 tinyml边缘 ai 功能。
这笔交易将进一步扩展英飞凌的硬件/软件生态系统，使使用从赛普拉斯和英飞凌传感器系列获得的 psoc 微控制器的开发人员可以更方便地使用 tinyml。但也有可能在内部用于无线 airoc 芯片的固件，以通过使用 tinyml 优化信号链来提高性能并降低功耗。
总体而言，通过收购掌握ai软件技术，这些厂商可以在其mcu产品中实现更深层次的集成，提供更加完整和高性能的解决方案。
05. 结语
我们正在迈入aiot时代，ai深入到边缘和终端装置，已经是一个长期必然的大方向。mcu这个芯片界的老前辈，也在因应市场需求，衍生出更多的功能。目前几乎几大mcu巨头均已经在ai软件方面备足了弹药，接下来就是比拼产品的过程。而在这个逐渐由ai驱动的mcu的未来，国内mcu厂商将面临着更大的挑战。
薪火相传 绽放未来 ——【官宣】“广东希荻微”更名为“希荻微集团”
高通公布新型快速充电技术，15分钟内将4500mAh电池充满100%
英飞凌为工业4.0提供业界领先的半导体解决方案
交换机的基本工作原理？交换机的二、三、四层交换技术简析
调节DAC输出电压范围的几种方式
MCU巨头，奔向同一个目标
基于PLC切削液自动勾兑机的远程监控故障报警系统
Senorics已成功完成Pre-A轮融资，总金额超800万欧元
美允许五角大楼延后执行华为禁令_为什么允许延后执行华为禁令
固态硬盘接口有几种
ADC究竟是什么
揭秘赛灵思计算平台ACAP技术细节
变电站投运前多间隔CT向量极性检查
四款基于MIPS CPU面向物联网应用的连接设备
搜狗地图正在通过AR导航技术对地图行业进行变革
面向2.4GHz和1GHz以下频段的ZigBee技术
如何提高笔记本电池的驰航力？
索尼PS5游戏主机的配置参数介绍
调研机构：上半年信利国际摄像头模组总出货量约为8600万颗
电视巨头被低估 把握技术价值才最重要
现在，被称为是单片机的微控制器（mcu）已经越来越“不简单”。随着物联网设备的普及和应用场景的扩大，对于更智能化和自主决策能力的需求也在增加，作为物联网设备中必不可少的大脑——mcu，正朝着更智能化、更强大的方向发展。越来越多的传统微控制器单元（mcu）巨头们开始意识到将ai功能与mcu相结合的潜力，并积极投入到ai领域的研发中。传统认知中，人工智能（ai）相关的深度学习应用，只有算力充沛的mpu或者是pc才能玩得转。那么，mcu厂商们将如何应对这一新趋势呢？
01. 为什么要在mcu集成ai？
首先，让我们来了解下，为何mcu大厂要在mcu产品中布局ai，在mcu上跑ai或者将mcu与npu等集成在一起的好处有哪些？大致可归纳为如下几个方面：
低功耗和高效性能：mcu通常具有较低的功耗和较高的能效特性，适合应用于低功耗场景。将ai算法和处理能力与mcu集成在一起，可以在低功耗的情况下实现高效的ai计算。这对于一些需要长时间运行、依赖于电池供电或功耗敏感的应用非常重要。
实时性和即时响应：将ai能力集成到mcu上，使得ai算法可以实时地在设备本地进行处理和响应，而无需依赖于云端或其他远程服务器。这提高了系统的实时性和即时响应能力，使得设备能够更快速地做出决策和反应，适用于许多实时应用场景，如嵌入式控制、边缘计算等。
隐私和数据安全：将ai算法和数据处理能力放在设备本地，可以减少对云端的依赖，从而增强隐私和数据安全性。敏感数据可以在本地设备上进行处理，减少了数据传输的风险和隐私泄露的可能性。这对于一些对隐私和数据安全要求较高的应用，如智能家居、医疗设备等非常重要。
灵活性和定制化：将mcu与npu等ai处理单元集成在一起，可以为设备提供更大的灵活性和定制化能力。根据特定的应用需求，可以选择不同的mcu和ai处理单元的组合，以实现最佳的性能和能效平衡。这种灵活性和定制化能力可以适应各种应用场景和需求的变化。
减少系统复杂性和成本：相对于将ai处理能力集中在独立的处理器或芯片中，将其集成在mcu中可以减少组件数量和系统复杂性，从而降低了系统设计和制造的成本。
总之，有ai功能的mcu可以为物联网设备提供更高级的控制和计算能力，使其能够进行复杂的推理和决策。因此，现在为边缘设备创建机器学习模型正成为一种大的趋势，这些模型称为微型机器学习或tinyml，它主要适用于内存和处理能力有限的设备，以及互联网连接不存在或有限的设备。tinyml使在mcu上运行深度学习模型成为可能。tinyml在mcu上的应用越来越普遍。
但是，想让深度学习模型在mcu上跑起来，不是易事。mcu上跑ai，最关键的是如何将训练好的深度学习的模型，转换并部署到mcu上，这需要一整套工具和方法，这对于传统的mcu厂商而言还是有一定门槛的。因此，要在mcu上部署ai，必须在软件和硬件两方面同时着力。那么mcu巨头们都是如何做的呢？
02. mcu厂商自行设计机器学习软件
ai应用通常需要硬件和软件的紧密配合。但从mcu本身的属性来看，它的资源非常有限，因此需要特定的软件库和工具来支持ai任务。然而，与传统的计算机平台相比，mcu上的ai软件库和工具的选择和可用性相对较少。开发人员可能需要自行优化和适配现有的库，或者开发专门针对mcu的ai软件。在几大mcu巨头厂商里，恩智浦和st均已经自行设计了机器学习相关的软件。
恩智浦在2018年推出了机器学习软件eiq软件，该软件能够在恩智浦edgeverse微控制器和微处理器（包括i.mx rt跨界mcu和i.mx系列应用处理器）上使用。
后来，为了降低mcu运行ai算法的门槛，恩智浦还打造了一个适用于mcu的ai工具链——nano.ai。它主要包含两部分，一部分是将原始算法模型转换成mcu上能够快速运行的数据和库，另一部分包含一个轻量级推理引擎，能做出一个能跑在mcu上、只需几兆flash甚至几兆sdram的方案。
目前，恩智浦已经推出了带有ai功能的mcu产品，mcx n系列是恩智浦集成npu的第一个产品家族，mcx n94x和mcx n54x mcu系列中集成了恩智浦设计的用于实时推理的专用片上神经处理单元 （npu）。据悉，与单独使用 cpu内核相比，片上npu的ml吞吐量最高可提高 30 倍。
2019年st也发布了一款stm32cube.ai工具，这使开发者在mcu上优化ai模型成为可能。stm32cube.ai是一款用来评估、转换、优化和部署已训练好的神经网络模型的工具，适合主流的人工智能框架，可为开发者提供评估和调整算法的能力。
而其实st很早就在ai上进行起布局，这大约可以追溯到2017年，在2017年isscc（国际固态电路会议）上st 揭晓了一种能够加速深度卷积神经网络算法的超低功耗片上系统 （soc）—orlando。orlando使用cortex-m4微控制器 （mcu） 和 128 kb 内存、八个可编程集群，每个集群包含两个 32 位 dsp 和四个 sram 组，每个组提供四个模块，每个模块为 2 x 64 kb。与这个高效核心相结合的是图像和 cnn 协处理器（称为神经处理单元或 npu），它集成了八个卷积加速器 （ca） 等。
03. 与第三方软件工具商合作
与第三方软件工具商合作，对于mcu厂商而言，也不失为是一个好的策略，第三方机器学习软件工具商通常拥有丰富的机器学习算法和工具库，mcu厂商可以基于这些软件工具构建自己的解决方案，并根据客户需求提供定制化的选择。在这方面，microchip、瑞萨、st都有相关的布局。
2020年9月，microchip宣布与cartesiam（现已被st收购）、edge impulse和motion gestures合作，将这些合作伙伴的软件和解决方案的接口引入其设计环境，使microchip的32位mcu和mplab x集成开发环境，能够在其 ai/ml 项目的所有阶段为客户提供独特的支持，包括数据收集、模型训练和推理实施。
据悉，microchip机器学习 （ml） 技术的核心是用于mplab x ide的ml插件。ml插件在 mplab data visualizer 中工作，简化了数据收集过程并支持快速开发嵌入式ml解决方案。ml插件检索的数据由他们的设计合作伙伴得工具进行分析，并有助于事件识别和数据模式异常检测。
在近日的stm32峰会上，st宣布与英伟达合作，将nividia tao和stm32cube.ai工具相整合，让开发者stm32微控制器上无缝训练和实现神经网络模型，以达到适配的性能和精度。nvidia tao是一个加速ai算法开发和优化的开发环境，tao工具包提供了一个低代码的人工智能框架，以加速视觉模型的开发。
但是与第三方软件工具商合作也有弊端，如microchip合作的cartesiam软件工具商就被st收购（下文中讲述），还可能存在技术整合和兼容性问题、依赖性等问题。
04. 通过收购补齐软件上的短板
毫无疑问，mcu厂商已经意识到ai技术对于mcu的重要性，而且ai领域的技术变化快速，收购是实现技术升级的一个快速途径。这也有助于简化客户的采购和集成过程，提高产品的易用性和竞争力。
我们已经看到，近两年来，越来越多的mcu巨头开始通过收购一些专注于mcu的ai解决方案和软件工具的厂商，来增强自身在ai领域的竞争力。
首先是意法半导体（st），2021年6月3日，意法半导体宣布收购边缘ai软件专业开发公司cartesiam。cartesiam成立于2016年，总部位于法国土伦，专门从事人工智能开发工具研发，让基于arm的mcu具有机器学习和推理能力。该公司开发了具有专利的nanoedge ai studio旗舰解决方案，它能让没有ai知识背景的嵌入式系统设计人员也可以快速开发专用的软件库，nanoedge ai studio可以让开发人员基于少量数据，通过创建、清理、优化数据集等步骤创建适配的ml库。nanoedge具有异常检测与设备学习的能力，也提供分类和回归库。收购cartesiam公司之后，该公司的nanoedge ai studio方案将对st的stm32cube.ai实现进一步完善和补充。
据悉，st即将推出第一个带有神经网络硬件处理单元（neural-art accelerator）的通用微控制器——stm32n6，这款mcu与其stm32mp1微处理器（运行频率为 800mhz 的双 cortex-a7）相比，stm32n6 的推断速度提高了25倍。
再一个是瑞萨，2022年7月20日，瑞萨宣布，完成对美国从事机器学习模型开发的初创企业reality ai。reality ai主要为汽车、工业和商业产品中的高级非视觉传感提供范围广泛的嵌入式人工智能和微型机器学习 （tinyml） 解决方案。
此次收购将使瑞萨电子能够扩展其用于人工智能应用的工具套件和软件产品，将reality ai的人工智能推理技术与瑞萨电子的mcu和mpu产品组合相结合，将实现机器学习和信号处理的无缝实施。据了解，与使用量化、压缩、修剪或其他机器学习技术使模型变小但精度降低的方法不同，reality ai将先进的信号处理方法与机器学习相结合，在不影响体积的情况下提供完全的精度。
据瑞萨物联网及基础设施事业本部mcu事业发展部副总裁mohammed dogar的介绍，瑞萨将全面拥抱ai。目前嵌入式ai分析主要有三个场景：视频、语音以及实时分析。在这三个场景中，瑞萨均在布局，其中前两种主要是跟第三方合作伙伴来实现，而对于实时分析，主要就是通过收购reality ai来实现。
英飞凌在近日也刚刚发布了收购的信息，2023年5月16日，英飞凌宣布，已收购总部位于瑞典斯德哥尔摩的初创公司imagimob ab。imagimob是快速增长的微型机器学习和自动机器学习（tinyml 和 automl）市场的领先者。据了解，imagimob开发了一个端到端的机器学习工具链，该工具链高度灵活且易于使用，重点放在交付生产级ml模型上。英飞凌将收购该公司 100% 的股份。以提升其微控制器和传感器上的 tinyml边缘 ai 功能。
这笔交易将进一步扩展英飞凌的硬件/软件生态系统，使使用从赛普拉斯和英飞凌传感器系列获得的 psoc 微控制器的开发人员可以更方便地使用 tinyml。但也有可能在内部用于无线 airoc 芯片的固件，以通过使用 tinyml 优化信号链来提高性能并降低功耗。
总体而言，通过收购掌握ai软件技术，这些厂商可以在其mcu产品中实现更深层次的集成，提供更加完整和高性能的解决方案。
05. 结语
我们正在迈入aiot时代，ai深入到边缘和终端装置，已经是一个长期必然的大方向。mcu这个芯片界的老前辈，也在因应市场需求，衍生出更多的功能。目前几乎几大mcu巨头均已经在ai软件方面备足了弹药，接下来就是比拼产品的过程。而在这个逐渐由ai驱动的mcu的未来，国内mcu厂商将面临着更大的挑战。
薪火相传 绽放未来 ——【官宣】“广东希荻微”更名为“希荻微集团”
高通公布新型快速充电技术，15分钟内将4500mAh电池充满100%
英飞凌为工业4.0提供业界领先的半导体解决方案
交换机的基本工作原理？交换机的二、三、四层交换技术简析
调节DAC输出电压范围的几种方式
MCU巨头，奔向同一个目标
基于PLC切削液自动勾兑机的远程监控故障报警系统
Senorics已成功完成Pre-A轮融资，总金额超800万欧元
美允许五角大楼延后执行华为禁令_为什么允许延后执行华为禁令
固态硬盘接口有几种
ADC究竟是什么
揭秘赛灵思计算平台ACAP技术细节
变电站投运前多间隔CT向量极性检查
四款基于MIPS CPU面向物联网应用的连接设备
搜狗地图正在通过AR导航技术对地图行业进行变革
面向2.4GHz和1GHz以下频段的ZigBee技术
如何提高笔记本电池的驰航力？
索尼PS5游戏主机的配置参数介绍
调研机构：上半年信利国际摄像头模组总出货量约为8600万颗
电视巨头被低估 把握技术价值才最重要