利用 Renesas 的 RZ/V2 系列 MPU 加速视觉识别系统设计
作者：jacob beningo
边缘视觉识别正成为许多产品的一个越来越关键的特性，机器学习 （ml） 和人工智能 （ai） 的应用范围不断扩大。开发人员面临的问题在于，ml/ai赋能的视觉运行识别算法所需要的计算能力可能超出了功耗受限应用所能提供的能力。如果需要昂贵的热管理解决方案，则成本还会增加。
边缘 ml/ai 的目标是找到最优架构方法以平衡性能与功耗，同时提供一个强大的软件生态系统来开发应用程序。
基于这些考虑，本文介绍了 renesas electronics rz/v2 系列微处理器单元 （mpu） 解决方案，该方案内置 ai硬件加速器。本文探讨了 mpu——而非微控制器 （mcu） 或高端图形处理单元 （gpu）——如何解决设计人员面临的几个问题，本文还说明了如何利用 rz/v2系列设计视觉识别系统，并提供了一些有助于顺利完成该过程的“技巧与诀窍”。
rz/v2 系列 mpu 介绍
rz/v2 系列 mpu 解决方案为使用三核微处理器的开发人员解锁了许多能力。rz/v2l 系列微处理器包含两个运行在 1.2 ghz 的 armcortex-a55 处理器和一个运行在 200 mhz 的实时微控制器内核 （arm® cortex®-m33）。此外，该系列器件包含一个基于 armmali-g31 多媒体处理器的 gpu，具有 neon 单指令/多数据 （simd）指令。这三个处理核心和多媒体处理器相结合，为从事视觉识别系统的开发人员提供了功能全面的解决方案。
rz/v2 系列目前有两类 mpu，即 rz/v2l 和 rz/v2m 系列。rz/v2l 有一个简单的图像信号处理器 （isp）、3d图形引擎和一个高度通用的外设集。rz/v2m 则增加了一个高性能 isp，支持每秒 30 帧 （fps） 的 4k 分辨率。本文重点介绍 rz/v2l系列，包括 r9a07g054l23gbg 和r9a07g054l24gbg。这两款器件的主要区别在于：r9a07g054l23gbg 采用 15 mm2456-lfbga 封装，而 r9a07g054l24gbg 采用 21 mm2 551-lfbga 封装。
rz/v2l 系列的方框图如图 1 所示。除了三个处理核心外，这些 mpu 还包括 ddr3/ddr4内存、spi、usb、以太网、i²c、can、sci、gpio、模数转换器 （adc）等标准外设的接口。此外，这些器件包含安全功能，如安全启动、加密引擎和真随机数发生器 （trng）。不过，该 mpu 系列的出众之处在于其动态可配置处理器（drp） ai 加速器。
秘密武器——drp-ai 加速器
drp-ai 加速器是让 rz/v2l 系列 mpu 以较少的能耗和较低的温度快速执行视觉识别应用的秘密武器。drp-ai 包括两个元件：drp 和 ai乘法累加 （mac），二者能通过内部开关优化数据流来高效处理卷积网络和全组合层的操作（图 2）。
drp-ai 硬件专门用于执行 ai 推理。drp-ai 采用 renesas开发的独特动态可配置技术，可提供灵活性、高速处理和高能效。此外，免费软件工具 drp-ai 翻译器可以让用户实施优化的 ai 模型，迅速实现性能最大化。由drp-ai 翻译器输出的多个可执行文件可以放在外部存储器中。然后，应用程序可以在运行时在多个 ai 模型之间动态切换。
drp 可以通过动态改变硬件配置来快速处理复杂的活动，如图像预处理和 ai 模型池化层。
drp-ai 翻译器
drp-ai 翻译器工具从训练好的 onnx 模型生成 drp-ai 优化的可执行文件，与具体 ai 框架无关。例如，开发人员可以使用pytorch、tensorflow 或任何其他 ai 建模框架，只要能输出 onnx 模型即可。模型一旦训练完毕，就被送入 drp-ai 翻译器，由其生成drp 和 ai-mac 可执行文件（图 3）。
drp-ai 翻译器有三个主要用途：
调度 ai 模型处理的每个操作。
隐藏开销，如计划表中每个操作的转换期间发生的内存访问时间。
优化网络图结构。
翻译器自动将 ai 模型的每个进程分配给 ai-mac 和 drp，用户无需成为硬件专家就能轻松使用drp-ai。开发人员可通过所提供的驱动程序进行调用，以运行高性能 ai 模型。此外，drp-ai 翻译器可持续更新以支持新开发的 ai模型，而无需改变硬件。
系统用例和流程
使用 rz/v2l mpu 训练和部署视觉识别应用的一般流程如图 4所示。像平常一样，工程师可以获取数据集，并使用它来训练自己的视觉识别模型。无论尝试识别的是猫咪、购物车中的产品，还是装配线上的故障零件，他们都可以使用熟悉的ai 框架开展训练流程。模型训练完成后，就会被转换成 onnx 格式，并被送入 drp-ai 翻译器，翻译器进而输出可以在 drp-ai硬件上执行的目标代码。随后，来自摄像头、加速计或其他传感器的数据经采样后馈入可执行文件，提供运行推理的结果。
工程师在其设计中可以通过多种方式利用 rz/v2l mpu（图 5）。首先，rz/v2l mpu 可用于独立的设计中，rz/v2l用作系统中唯一的处理器。它有三个核心和 ai 加速硬件，系统可以不需要额外的计算能力。
第二个用例是 rz/v2l 用作更大系统中的 ai 处理器。在此用例中，rz/v2l 运行 ai推理，并将结果返回给另一个处理器或系统，后者针对该结果进行操作。所选用例取决于多个因素，如成本、整体系统架构、性能和实时响应要求。
现实生活应用示例
有许多可以部署视觉识别技术的用例。一个有趣的例子是在超市。如今，在杂货店结账时，员工或购物者通常会扫描购物车中的每件物品。一个有趣的用例是利用视觉识别检测穿过传送带的物品，并自动计费。
可以使用简单的 cmos 摄像头和 renesas 的 rtk9754l23s01000be 评估板来构建原型（图 6）。rz/v2l嵌入式开发板带有系统级模块 （som） 和载板，便于开发人员快速启动和运行。此外，开发板支持 linux 和 drp-ai 翻译器等各种工具。
图 7 中可以看到获取图像数据和产生 ai 结果所需的操作概述。在此应用示例中，使用 cmos 传感器通过板载 isp拍摄传送带的图像。然后，图像被保存到存储器中并被送入 drp-ai 引擎。最后，drp-ai 引擎运行推理并提供 ai结果。例如，结果可能是发现了香蕉或苹果，或其他某种水果。
该结果通常伴随一个 0 到 1 的置信度。例如，置信度 0.90 意味着 ai 确信检测到苹果，而置信度 0.52 可能表示 ai认为是苹果但不确定。将多个样本的 ai 结果进行平均以提高正确结果的概率，这种做法并不罕见。
最后，在此例中，检测到的物体周围会绘制一个方框，识别到的物体的名称与置信度一起显示在方框中（图 8）。
rz/v2l 入门技巧与诀窍
希望在 renesas 的 rz/v2l mpu
上开始机器学习的开发人员会发现，他们有很多资源可资利用。为了简化和加快开发，开发人员应牢记以下几个“技巧和窍门”：
从开发板和现有示例开始，体验应用的部署和运行。
如果有必要执行多个推理，则将可执行模型保存到外部存储器中，并使用 drp-ai 功能在模型间快速切换。
查看 renesas 的 rz/v 嵌入式 ai mpu 网站上的文档和视频。
下载 drp-ai 翻译器。
下载 rz/v2l drp-ai 支持包。
开发人员遵循这些“技巧和窍门”，可以在开始使用时节省更多的时间并省去更多的麻烦。
结语
ml 和 ai 正在进入许多边缘应用，实时识别物品的能力变得越来越重要。设计人员的困难在于找到合适的架构，以便在边缘执行 ai/ml。gpu通常非常耗电，而 mcu 可能没有足够的计算能力。
如本文所述，配备 drp-ai 的 renesas rz/v mpu 系列具备多个优点，如硬件加速 ai，同时还有大量的工具链和原型开发支持。
陶瓷PTC与有机PTC的性能比较
持续促进5G与工业互联网融合的几点建议
为何说“连接”是楼宇数字化升级之门
2016年全球半导体设备销售额增长13%
诺基亚正在为头戴式耳机准备一个名为Power Earbuds Lite的新版本
利用 Renesas 的 RZ/V2 系列 MPU 加速视觉识别系统设计
一文讲透超宽带（UWB）前世今生
血氧仪怎么看数据正常值是多少
洗碗机历史悠久发展快速 创新走进中式厨房
解决LED灯泡发热的最佳方法
北京ABB开关有限公司举办成立25周年庆典活动
耳机也可以窃听你的通话内容 地球太可怕
浅谈星形接法和三角形接法电压和电流关系
收购锤子科技,今日头条进军智能手机市场
linux内核锁机制
把握创新技术应用风向，迎战新一轮竞争
2019年第三季全球PC出货量微增1.1%
氧化铝陶瓷基板的晶体结构、分类及性能
导热绝缘塑料提出路灯智能控制系统方案
沐渥智能饮水机控制板迭代升级，加速智能家居网络化进程
边缘视觉识别正成为许多产品的一个越来越关键的特性，机器学习 （ml） 和人工智能 （ai） 的应用范围不断扩大。开发人员面临的问题在于，ml/ai赋能的视觉运行识别算法所需要的计算能力可能超出了功耗受限应用所能提供的能力。如果需要昂贵的热管理解决方案，则成本还会增加。
边缘 ml/ai 的目标是找到最优架构方法以平衡性能与功耗，同时提供一个强大的软件生态系统来开发应用程序。
基于这些考虑，本文介绍了 renesas electronics rz/v2 系列微处理器单元 （mpu） 解决方案，该方案内置 ai硬件加速器。本文探讨了 mpu——而非微控制器 （mcu） 或高端图形处理单元 （gpu）——如何解决设计人员面临的几个问题，本文还说明了如何利用 rz/v2系列设计视觉识别系统，并提供了一些有助于顺利完成该过程的“技巧与诀窍”。
rz/v2 系列 mpu 介绍
rz/v2 系列 mpu 解决方案为使用三核微处理器的开发人员解锁了许多能力。rz/v2l 系列微处理器包含两个运行在 1.2 ghz 的 armcortex-a55 处理器和一个运行在 200 mhz 的实时微控制器内核 （arm® cortex®-m33）。此外，该系列器件包含一个基于 armmali-g31 多媒体处理器的 gpu，具有 neon 单指令/多数据 （simd）指令。这三个处理核心和多媒体处理器相结合，为从事视觉识别系统的开发人员提供了功能全面的解决方案。
rz/v2 系列目前有两类 mpu，即 rz/v2l 和 rz/v2m 系列。rz/v2l 有一个简单的图像信号处理器 （isp）、3d图形引擎和一个高度通用的外设集。rz/v2m 则增加了一个高性能 isp，支持每秒 30 帧 （fps） 的 4k 分辨率。本文重点介绍 rz/v2l系列，包括 r9a07g054l23gbg 和r9a07g054l24gbg。这两款器件的主要区别在于：r9a07g054l23gbg 采用 15 mm2456-lfbga 封装，而 r9a07g054l24gbg 采用 21 mm2 551-lfbga 封装。
rz/v2l 系列的方框图如图 1 所示。除了三个处理核心外，这些 mpu 还包括 ddr3/ddr4内存、spi、usb、以太网、i²c、can、sci、gpio、模数转换器 （adc）等标准外设的接口。此外，这些器件包含安全功能，如安全启动、加密引擎和真随机数发生器 （trng）。不过，该 mpu 系列的出众之处在于其动态可配置处理器（drp） ai 加速器。
秘密武器——drp-ai 加速器
drp-ai 加速器是让 rz/v2l 系列 mpu 以较少的能耗和较低的温度快速执行视觉识别应用的秘密武器。drp-ai 包括两个元件：drp 和 ai乘法累加 （mac），二者能通过内部开关优化数据流来高效处理卷积网络和全组合层的操作（图 2）。
drp-ai 硬件专门用于执行 ai 推理。drp-ai 采用 renesas开发的独特动态可配置技术，可提供灵活性、高速处理和高能效。此外，免费软件工具 drp-ai 翻译器可以让用户实施优化的 ai 模型，迅速实现性能最大化。由drp-ai 翻译器输出的多个可执行文件可以放在外部存储器中。然后，应用程序可以在运行时在多个 ai 模型之间动态切换。
drp 可以通过动态改变硬件配置来快速处理复杂的活动，如图像预处理和 ai 模型池化层。
drp-ai 翻译器
drp-ai 翻译器工具从训练好的 onnx 模型生成 drp-ai 优化的可执行文件，与具体 ai 框架无关。例如，开发人员可以使用pytorch、tensorflow 或任何其他 ai 建模框架，只要能输出 onnx 模型即可。模型一旦训练完毕，就被送入 drp-ai 翻译器，由其生成drp 和 ai-mac 可执行文件（图 3）。
drp-ai 翻译器有三个主要用途：
调度 ai 模型处理的每个操作。
隐藏开销，如计划表中每个操作的转换期间发生的内存访问时间。
优化网络图结构。
翻译器自动将 ai 模型的每个进程分配给 ai-mac 和 drp，用户无需成为硬件专家就能轻松使用drp-ai。开发人员可通过所提供的驱动程序进行调用，以运行高性能 ai 模型。此外，drp-ai 翻译器可持续更新以支持新开发的 ai模型，而无需改变硬件。
系统用例和流程
使用 rz/v2l mpu 训练和部署视觉识别应用的一般流程如图 4所示。像平常一样，工程师可以获取数据集，并使用它来训练自己的视觉识别模型。无论尝试识别的是猫咪、购物车中的产品，还是装配线上的故障零件，他们都可以使用熟悉的ai 框架开展训练流程。模型训练完成后，就会被转换成 onnx 格式，并被送入 drp-ai 翻译器，翻译器进而输出可以在 drp-ai硬件上执行的目标代码。随后，来自摄像头、加速计或其他传感器的数据经采样后馈入可执行文件，提供运行推理的结果。
工程师在其设计中可以通过多种方式利用 rz/v2l mpu（图 5）。首先，rz/v2l mpu 可用于独立的设计中，rz/v2l用作系统中唯一的处理器。它有三个核心和 ai 加速硬件，系统可以不需要额外的计算能力。
第二个用例是 rz/v2l 用作更大系统中的 ai 处理器。在此用例中，rz/v2l 运行 ai推理，并将结果返回给另一个处理器或系统，后者针对该结果进行操作。所选用例取决于多个因素，如成本、整体系统架构、性能和实时响应要求。
现实生活应用示例
有许多可以部署视觉识别技术的用例。一个有趣的例子是在超市。如今，在杂货店结账时，员工或购物者通常会扫描购物车中的每件物品。一个有趣的用例是利用视觉识别检测穿过传送带的物品，并自动计费。
可以使用简单的 cmos 摄像头和 renesas 的 rtk9754l23s01000be 评估板来构建原型（图 6）。rz/v2l嵌入式开发板带有系统级模块 （som） 和载板，便于开发人员快速启动和运行。此外，开发板支持 linux 和 drp-ai 翻译器等各种工具。
图 7 中可以看到获取图像数据和产生 ai 结果所需的操作概述。在此应用示例中，使用 cmos 传感器通过板载 isp拍摄传送带的图像。然后，图像被保存到存储器中并被送入 drp-ai 引擎。最后，drp-ai 引擎运行推理并提供 ai结果。例如，结果可能是发现了香蕉或苹果，或其他某种水果。
该结果通常伴随一个 0 到 1 的置信度。例如，置信度 0.90 意味着 ai 确信检测到苹果，而置信度 0.52 可能表示 ai认为是苹果但不确定。将多个样本的 ai 结果进行平均以提高正确结果的概率，这种做法并不罕见。
最后，在此例中，检测到的物体周围会绘制一个方框，识别到的物体的名称与置信度一起显示在方框中（图 8）。
rz/v2l 入门技巧与诀窍
希望在 renesas 的 rz/v2l mpu
上开始机器学习的开发人员会发现，他们有很多资源可资利用。为了简化和加快开发，开发人员应牢记以下几个“技巧和窍门”：
从开发板和现有示例开始，体验应用的部署和运行。
如果有必要执行多个推理，则将可执行模型保存到外部存储器中，并使用 drp-ai 功能在模型间快速切换。
查看 renesas 的 rz/v 嵌入式 ai mpu 网站上的文档和视频。
下载 drp-ai 翻译器。
下载 rz/v2l drp-ai 支持包。
开发人员遵循这些“技巧和窍门”，可以在开始使用时节省更多的时间并省去更多的麻烦。
结语
ml 和 ai 正在进入许多边缘应用，实时识别物品的能力变得越来越重要。设计人员的困难在于找到合适的架构，以便在边缘执行 ai/ml。gpu通常非常耗电，而 mcu 可能没有足够的计算能力。
如本文所述，配备 drp-ai 的 renesas rz/v mpu 系列具备多个优点，如硬件加速 ai，同时还有大量的工具链和原型开发支持。
陶瓷PTC与有机PTC的性能比较
持续促进5G与工业互联网融合的几点建议
为何说“连接”是楼宇数字化升级之门
2016年全球半导体设备销售额增长13%
诺基亚正在为头戴式耳机准备一个名为Power Earbuds Lite的新版本
利用 Renesas 的 RZ/V2 系列 MPU 加速视觉识别系统设计
一文讲透超宽带（UWB）前世今生
血氧仪怎么看数据正常值是多少
洗碗机历史悠久发展快速 创新走进中式厨房
解决LED灯泡发热的最佳方法
北京ABB开关有限公司举办成立25周年庆典活动
耳机也可以窃听你的通话内容 地球太可怕
浅谈星形接法和三角形接法电压和电流关系
收购锤子科技,今日头条进军智能手机市场
linux内核锁机制
把握创新技术应用风向，迎战新一轮竞争
2019年第三季全球PC出货量微增1.1%
氧化铝陶瓷基板的晶体结构、分类及性能
导热绝缘塑料提出路灯智能控制系统方案
沐渥智能饮水机控制板迭代升级，加速智能家居网络化进程