如何用10行代码轻松在ZYNQ MP上实现图像识别
本文来自赛灵思高级产品应用工程师，张超。如今各种机器学习框架的普及使得个人搭建和训练一个机器学习模型越来越容易。然而现实中大量的机器学习模型训练完后需要在边缘端部署，那么我们看看借助xilinx vitis-ai工具，如何仅仅使用10行代码，就能在zynq mp器件上部署深度学习模型实现图像分类。
简介
xilinx vitis-ai 是用于 xilinx 硬件平台上的 ai 推理的开发堆栈。它由优化的 ip、工具、库、模型和示例设计组成。
简单来说，它主要包含：
ai推理加速器ip，即dpu；
支持将ai模型优化 (optimizer)、量化 (quantizer)、最后编译 (compiler) 成dpu运行指令集的整套工具；
支撑模型运行的运行时库(vitis-ai runtime, vitis-ai library)；
更多具体介绍请 访问如下链接至官方文档：
https://github.com/xilinx/vitis-ai
https://www.xilinx.com/support/documentation/sw_manuals/vitis_ai/1_4/ug1414-vitis-ai.pdf
本案例中，我们将使用 xilinx kria kv260开发板（包含zynqmp器件）为目标运行设备。
本文使用的vitis-ai 版本为1.4, 使用的platform基于vitis/vivado 2020.2。为了方便快速部署，我们直接使用官方发布的linux系统启动镜像, 并且使用vitis-ai library为编程接口。
准备工作
开始工作前我们需要先搭建好运行环境，包括设置host端（x86机器）的交叉编译环境，以及 target端（kv260）的启动镜像烧写。
本文的主要目的是阐述 vitis-ai library 的使用，故运行环境的搭建不做过多介绍，可以完全参考以下链接中的步骤
“step1: setup cross-compiler”
“step2: setup the target”
https://github.com/xilinx/vitis-ai/tree/master/setup/mpsoc/vart
注意因为kv260 的vitis-ai 1.4 platform基于vitis/vivado 2020.2, 配置交叉编译环境使用的脚本为host_cross_compiler_setup_2020.2.sh
因为我们使用官方启动镜像，step2中标注为“optional”的步骤我们都可以省略。
当kv260成功启动，我们会在console中看到如下提示符：
root@xilinx-k26-starterkit-2020_2:~#
程序编译
可通过如下方式获得本案例中的代码，
git clone https://github.com/lobster1989/image-classification-on-edge-with-10-lines-of-code.git
主要用到的文件为classification.cpp和makefile。另外几个jpeg文件可用于后续测试输入。
安装准备工作章节中配置好交叉编译环境后，切换到源码目录中直接运行make。make完成后文件夹中会生成执行文件“classification”。
运行演示
kv260 连接好串口，从sd卡启动运行（记得提前把执行文件和测试图片拷贝到sd下），
切换到执行文件和测试图片目录下，运行 ./classification.jpeg
分类结果如下：
代码分析
vitis-ai包含了两组编程接口：vart (vitis-ai runtime) 比较底层，提供更大的自由度；vitis-ai library属于高层次api，构建于 vart 之上，通过封装许多高效、高质量的神经网络，提供更易于使用的统一接口。
vitis-ai library的组成如下图，包含 base libraries, model libraries, library test samples, application demos几个部分：
base libraries提供底层接口；
model libraries是重要的部分，提供了主流模型（classification, detection, segmentation…) 的调用方法；
library test samples和application demos主要提供library的使用示例；
更多vitis-ai library的细节可参考官方文档，
https://www.xilinx.com/support/documentation/sw_manuals/vitis_ai/1_4/ug1354-xilinx-ai-sdk.pdf
再来看本例子，如何用简单到10行代码实现图片分类：
int main(int argc, char* argv[]) {
std::string image_name = argv[1];
auto image = cv::imread(image_name);
auto network = vitis::create(resnet50);
auto result = network->run(image);
cout << classification result: << endl;
for (const auto &r : result.scores){
cout << result.lookup(r.index) << : << r.score vitis::classification 是 model libraries 中的一个基础类，其作用是进行图片分类，这个类中包含如下方法：
其中create方法接受一个模型名称作为参数，返回一个classification类的实例。在安装了vitis-ai library的开发板上，已经训练编译好的模型文件放在开发板的/usr/share/vitis_ai_library/models/目录下，vitis-ai library会通过传递给create方法的模型名称来调用这些模型文件，比如我们用到的resnet50模型文件位置如下，
如果用户训练并编译好了自己的模型，也可以把自己的模型文件放到对应位置来使用。
run方法接受一个/一组图片作为输入，输出这个/这些图片的分类结果。其工作简单来说就是把模型文件和图片数据传送给dpu, dpu运行并输出推理结果，cpu再读回结果。
再看下添加了注释的代码片段，整个过程实际上非常简单明了。
int main(int argc, char* argv[]) {
std::string image_name = argv[1];
auto image = cv::imread(image_name); // 读入图片
auto network = vitis::create(resnet50); // 用resnet50模型创建classification类实例
auto result = network->run(image); //运行模型
cout << classification result: << endl;
for (const auto &r : result.scores){
cout << result.lookup(r.index) << : << r.score << endl; //输出模型运行结果
}
}
除了classification基础类， vitis-ai library包含了非常多的常用机器学习任务（classification, detection, segmentation…)的基础类。这些类的使用方法基本一致，
首先通过create方法创建基础类的实例，
通过getinputwidth()/getinputheight()来获取模型需要的图片尺寸，
resize图片，
运行run方法来运行网络获得输出。
总结
通过这个例子，我们看到通过vitis-ai工具，可以大大缩减模型到部署之间的距离。vitis-ai包含了常用模型的model-zoo, 提供简单易用的编程接口，甚至可以让不熟悉机器学习或者fpga的软件开发者都可以在极短的时间内在fpga/soc器件上部署神经网络应用。
基于芯象半导体NB-IoT芯片的5G智能断电监测告警器简介
剖析齿轮在步进电机中的作用
日系与德系造车研发理念与核心技术对比
动力电池及储能系统研发生产企业孚能科技发布2022第一季度报告
华为Mate10曝光：性能再上一层楼，颜值超越三星S8！
如何用10行代码轻松在ZYNQ MP上实现图像识别
如何使用Python和ADALM2000创建示波器
孙正义的先见之明，横跨300年的愿景
为以太网供电工业安全摄像头节省更多功耗
我国5G网络建设速度超预期
德国塑料条模压成型工艺获新突破 将使用全新激光加工工艺
【节能学院】安科瑞故障电弧探测器在建筑电气的设计与应用
工业显示器有什么接口
硬件工程师设计出错了，飞线究竟有多酸爽
思岚科技荣获“楼宇黑科技TOP10”，助力智慧楼宇新变革
法国巴黎国际汽车零配件展
德州仪器推出基于信号隔离半导体技术的全新光耦仿真器产品系列
宝马踏板电摩发布：3系同款10.25英寸仪表盘
自驾技术在物流业领域必须克服的难点
江西贵溪市高端线缆线束产业列入省重点工业产业集群项目
简介
xilinx vitis-ai 是用于 xilinx 硬件平台上的 ai 推理的开发堆栈。它由优化的 ip、工具、库、模型和示例设计组成。
简单来说，它主要包含：
ai推理加速器ip，即dpu；
支持将ai模型优化 (optimizer)、量化 (quantizer)、最后编译 (compiler) 成dpu运行指令集的整套工具；
支撑模型运行的运行时库(vitis-ai runtime, vitis-ai library)；
更多具体介绍请 访问如下链接至官方文档：
https://github.com/xilinx/vitis-ai
https://www.xilinx.com/support/documentation/sw_manuals/vitis_ai/1_4/ug1414-vitis-ai.pdf
本案例中，我们将使用 xilinx kria kv260开发板（包含zynqmp器件）为目标运行设备。
本文使用的vitis-ai 版本为1.4, 使用的platform基于vitis/vivado 2020.2。为了方便快速部署，我们直接使用官方发布的linux系统启动镜像, 并且使用vitis-ai library为编程接口。
准备工作
开始工作前我们需要先搭建好运行环境，包括设置host端（x86机器）的交叉编译环境，以及 target端（kv260）的启动镜像烧写。
本文的主要目的是阐述 vitis-ai library 的使用，故运行环境的搭建不做过多介绍，可以完全参考以下链接中的步骤
“step1: setup cross-compiler”
“step2: setup the target”
https://github.com/xilinx/vitis-ai/tree/master/setup/mpsoc/vart
注意因为kv260 的vitis-ai 1.4 platform基于vitis/vivado 2020.2, 配置交叉编译环境使用的脚本为host_cross_compiler_setup_2020.2.sh
因为我们使用官方启动镜像，step2中标注为“optional”的步骤我们都可以省略。
当kv260成功启动，我们会在console中看到如下提示符：
root@xilinx-k26-starterkit-2020_2:~#
程序编译
可通过如下方式获得本案例中的代码，
git clone https://github.com/lobster1989/image-classification-on-edge-with-10-lines-of-code.git
主要用到的文件为classification.cpp和makefile。另外几个jpeg文件可用于后续测试输入。
安装准备工作章节中配置好交叉编译环境后，切换到源码目录中直接运行make。make完成后文件夹中会生成执行文件“classification”。
运行演示
kv260 连接好串口，从sd卡启动运行（记得提前把执行文件和测试图片拷贝到sd下），
切换到执行文件和测试图片目录下，运行 ./classification.jpeg
分类结果如下：
代码分析
vitis-ai包含了两组编程接口：vart (vitis-ai runtime) 比较底层，提供更大的自由度；vitis-ai library属于高层次api，构建于 vart 之上，通过封装许多高效、高质量的神经网络，提供更易于使用的统一接口。
vitis-ai library的组成如下图，包含 base libraries, model libraries, library test samples, application demos几个部分：
base libraries提供底层接口；
model libraries是重要的部分，提供了主流模型（classification, detection, segmentation…) 的调用方法；
library test samples和application demos主要提供library的使用示例；
更多vitis-ai library的细节可参考官方文档，
https://www.xilinx.com/support/documentation/sw_manuals/vitis_ai/1_4/ug1354-xilinx-ai-sdk.pdf
再来看本例子，如何用简单到10行代码实现图片分类：
int main(int argc, char* argv[]) {
std::string image_name = argv[1];
auto image = cv::imread(image_name);
auto network = vitis::create(resnet50);
auto result = network->run(image);
cout << classification result: << endl;
for (const auto &r : result.scores){
cout << result.lookup(r.index) << : << r.score
其中create方法接受一个模型名称作为参数，返回一个classification类的实例。在安装了vitis-ai library的开发板上，已经训练编译好的模型文件放在开发板的/usr/share/vitis_ai_library/models/目录下，vitis-ai library会通过传递给create方法的模型名称来调用这些模型文件，比如我们用到的resnet50模型文件位置如下，
如果用户训练并编译好了自己的模型，也可以把自己的模型文件放到对应位置来使用。
run方法接受一个/一组图片作为输入，输出这个/这些图片的分类结果。其工作简单来说就是把模型文件和图片数据传送给dpu, dpu运行并输出推理结果，cpu再读回结果。
再看下添加了注释的代码片段，整个过程实际上非常简单明了。
int main(int argc, char* argv[]) {
std::string image_name = argv[1];
auto image = cv::imread(image_name); // 读入图片
auto network = vitis::create(resnet50); // 用resnet50模型创建classification类实例
auto result = network->run(image); //运行模型
cout << classification result: << endl;
for (const auto &r : result.scores){
cout << result.lookup(r.index) << : << r.score << endl; //输出模型运行结果
}
}
除了classification基础类， vitis-ai library包含了非常多的常用机器学习任务（classification, detection, segmentation…)的基础类。这些类的使用方法基本一致，
首先通过create方法创建基础类的实例，
通过getinputwidth()/getinputheight()来获取模型需要的图片尺寸，
resize图片，
运行run方法来运行网络获得输出。
总结
通过这个例子，我们看到通过vitis-ai工具，可以大大缩减模型到部署之间的距离。vitis-ai包含了常用模型的model-zoo, 提供简单易用的编程接口，甚至可以让不熟悉机器学习或者fpga的软件开发者都可以在极短的时间内在fpga/soc器件上部署神经网络应用。
基于芯象半导体NB-IoT芯片的5G智能断电监测告警器简介
剖析齿轮在步进电机中的作用
日系与德系造车研发理念与核心技术对比
动力电池及储能系统研发生产企业孚能科技发布2022第一季度报告
华为Mate10曝光：性能再上一层楼，颜值超越三星S8！
如何用10行代码轻松在ZYNQ MP上实现图像识别
如何使用Python和ADALM2000创建示波器
孙正义的先见之明，横跨300年的愿景
为以太网供电工业安全摄像头节省更多功耗
我国5G网络建设速度超预期
德国塑料条模压成型工艺获新突破 将使用全新激光加工工艺
【节能学院】安科瑞故障电弧探测器在建筑电气的设计与应用
工业显示器有什么接口
硬件工程师设计出错了，飞线究竟有多酸爽
思岚科技荣获“楼宇黑科技TOP10”，助力智慧楼宇新变革
法国巴黎国际汽车零配件展
德州仪器推出基于信号隔离半导体技术的全新光耦仿真器产品系列
宝马踏板电摩发布：3系同款10.25英寸仪表盘
自驾技术在物流业领域必须克服的难点
江西贵溪市高端线缆线束产业列入省重点工业产业集群项目