基于AX650N+CLIP的以文搜图展示
一
背景
元气满满的10月份就结束了，时间不长，却产出了上千张照片，找到自己想要的照片有点难度。希望有一种精确的以文搜图的方法，快速定位到某一类图片（例如：金色头发的小姐姐……）。
之前大家熟悉的计算机视觉模型（cv）基本上是采用监督学习的方式，基于某一类数据集进行有限类别的任务学习。这种严格的监督训练方式限制了模型的泛化性和实用性，需要额外的标注数据来完成训练时未曾见过的视觉“概念”。
能否有一种“识别万物”的图像识别大模型呢？今天就借此机会，通过实操来重温下由openai在2021年初发布的zero-shot视觉分类模型clip，并移植到爱芯派pro上实现简单的以图搜文示例。
二
clip
summary of our approach
2021年初由openai发布的zero-shot的视觉分类模型clip（contrastive language–image pre-training），该预训练的模型在没有微调的情况下在下游任务上取得了很好的迁移效果。作者在30多个数据集上做了测试，涵盖了ocr、视频中的动作检测、坐标定位等任务。作者特意强调了clip的效果：没有在imagenet上做微调的clip，竟然能和已经在imagenet上训练好的resnet 50打成平手，简直不可思议。
● clip网站：
https://openai.com/research/clip
● clip论文：
https://arxiv.org/abs/2103.00020
深度学习在cv领域很成功，但是现在大家使用最多的强监督学习方案总体而言存在以下问题：
● cv数据集标注劳动密集，成本高昂
● 模型只能胜任一个任务，迁移到新任务上非常困难
● 模型泛化能力较差
2.1 预训练
openai的这项工作clip可以解决上述问题，思路看起来很简单，看下图就知道了，简单来说clip是使用text encoder从文本中提取的语义特征和image encoder从图像中提取的语义特征进行匹配训练：
pre training
2.2 推理
接下来是zero-shot的推理过程。给定一张图片，如何利用预训练好的网络去做分类呢？这里作者很巧妙地设置了一道“多项选择”。具体来说，我给网络一堆分类标签，比如cat, dog, bird，利用文本编码器得到向量表示。然后分别计算这些标签与图片的余弦相似度；最终相似度最高的标签即是预测的分类结果。
zero-shot prediction
从论文中公开的效果非常不错，clip的zero-shot迁移能力非常强。在imagenet各种系列分类任务上，clip无需imagenet标注数据训练，通过zero-shot分类效果就可以达到resnet监督训练结果，并且泛化性和鲁棒性更好。
clip on imagenet
三
爱芯派pro（ax650n）
搭载爱芯元智第三代高能效比智能视觉芯片ax650n。集成了八核cortex-a55 cpu，10.8tops@int8 npu，支持8k@30fps的isp，以及h.264、h.265编解码的vpu。接口方面，ax650n支持64bit lpddr4x，多路mipi输入，千兆ethernet、usb、以及hdmi 2.0b输出，并支持32路1080p@30fps解码内置高算力和超强编解码能力，满足行业对高性能边缘智能计算的需求。通过内置多种深度学习算法，实现视觉结构化、行为分析、状态检测等应用，高效率支持transformer模型和视觉大模型。提供丰富的开发文档，方便用户进行二次开发。
爱芯派pro（ax650n inside）
四
上板示例
为了方便大家快速体验clip的效果，我们在github上开源了对应的demo以及相关预编译好的npu模型，方便大家快速体验。
● github链接：
https://github.com/axera-tech/clip-onnx-ax650-cpp
提供的demo包内容说明
文件名
描述
main
demo执行程序
image_encoder.axmodel
图像编码模型（ax650n npu）
image_encoder.onnx
图像编码模型（cpu）
images
测试图片集
text_encoder.onnx
文本编码模型
text.txt
文本输入序列
vocab.txt
文本词集
feature_matmul.onnx
特征比对模型
4.1 耗时统计
clip image encoder的模型，我们采用精度更好的基于vit-b的backbone
backbone
输入尺寸
参数量
计算量
vit-b/32
1,3,224,224
86m
4.4g macs
单独运行的耗时分析如下：
root@maixbox:~/qtang/clip# /opt/bin/ax_run_model -m image_encoder.axmodel -w 3 -r 10 run axmodel: model: image_encoder.axmodel type: npu3 vnpu: disable affinity: 0b001 repeat: 10 warmup: 3 batch: 1 pulsar2 ver: 1.8-patch1 6fa8d395 engine ver: [axera version]: libax_engine.so v1.27.0_p3_20230627143603 jun 27 2023 14:58:22 jk 1.1.0 tool ver: 1.0.0 cmm size: 93238580 bytes ------------------------------------------------------ min = 4.158 ms max = 4.220 ms avg = 4.198 ms ------------------------------------------------------
从上面可以看出，使用ax650n上的npu运行image encoder，最快可以达到238 images/秒的特征提取速度，也就是说只需短短的4.2秒就能完成前面提及到的1000张照片的特征提取。
4.2 测试一
使用5张图片，简单来展示下clip具体的效果
5张测试图片
测试结果
批量测试
从实际上板运行log可以看出，最后的特征匹配“matmul inference”耗时＜0.0008s，也就是不到1毫秒就能从1000张图片中搜索到与文本对应的置信度最高的图片。
4.3 测试二
下面是ax650n上clip demo的pipeline分别使用cpu后端和npu后端运行image encoder模型的耗时&cpu负载对比：
cpu版本
npu版本
pipeline各模块统计
cpu
npu
耗时
440 ms
7 ms
cpu负载
（满载800%）
397%
90%
内存占用
1181 mib
460 mib
4.3 测试三
前面介绍的是meta开源的英文语料的clip模型，当然也有社区大佬提供了中文语料微调模型：
输入图片集：
input images
输入文本：“金色头发的小姐姐”
输出结果：
clip中文示例
五
交互示例
我们最近还更新了基于爱芯派pro的交互式以文搜图示例，更加直观的展现其功能。
● demo安装步骤可参考
https://github.com/axera-tech/clip-onnx-ax650-cpp/releases
六
结束语
随着vision transformer网络模型的快速发展，越来越多有趣的ai应用将逐渐从云端服务迁移到边缘侧设备和端侧设备。例如基于本文提及到的clip模型，在端侧可以实现以下场景应用：
● 事件抓拍相机，实时抓拍监控场景下各种突发事件
● 事件快速回溯，从海量的视频数据中快速找到某一特点人物和事件
● 智能nas，家用私有网盘不再担心找不到照片
同时为了降低社区开发者transformer模型在边缘侧移植的研究门槛，业界优秀的开源智能硬件公司矽速科技推出的基于ax650n的社区开发板爱芯派pro（maix-iv）已经正式上架，欢迎关注。
导入ARM的TEE核心 NFC手机毋须安全元件
摩尔斯微（Morse Micro）提供同类最佳的Wi-Fi HaLow SoC和模块样品供客户评估
全球鹰智能化RQ-4无人机升级，瞄准未来智能化战场
自助银行联网综合智能视频监控系统介绍
魅族Flyme6 更新后备份与恢复的操作方法
基于AX650N+CLIP的以文搜图展示
英国政府再次承诺将对海上风能进行大规模投资
2K档的“黑马”！上市两个月，OPPO A95的真实口碑到底如何？
FPGA开发与学习连载4
Python五种下划线的模式和命名约定
Linux嵌入式操作系统在嵌入式系统中的应用才刚刚开始
人工智能算法的演进升级需要高质量数据作为支撑
智能控制型电饭锅电路图
linux驱动模块参数传递方式
全功能光纤USB3.1 Gen2线缆的特点和应用
新能源利用如何“泛能化”？
联发科超越高通成全球手机芯片领域的王者
人脸识别助力反欺诈
电位器和编码器有什么不同？
一加5什么时候上市？一加5发布会邀请函爆光，配置、价格、外观是不是就静待发布会了！
背景
元气满满的10月份就结束了，时间不长，却产出了上千张照片，找到自己想要的照片有点难度。希望有一种精确的以文搜图的方法，快速定位到某一类图片（例如：金色头发的小姐姐……）。
之前大家熟悉的计算机视觉模型（cv）基本上是采用监督学习的方式，基于某一类数据集进行有限类别的任务学习。这种严格的监督训练方式限制了模型的泛化性和实用性，需要额外的标注数据来完成训练时未曾见过的视觉“概念”。
能否有一种“识别万物”的图像识别大模型呢？今天就借此机会，通过实操来重温下由openai在2021年初发布的zero-shot视觉分类模型clip，并移植到爱芯派pro上实现简单的以图搜文示例。
二
clip
summary of our approach
2021年初由openai发布的zero-shot的视觉分类模型clip（contrastive language–image pre-training），该预训练的模型在没有微调的情况下在下游任务上取得了很好的迁移效果。作者在30多个数据集上做了测试，涵盖了ocr、视频中的动作检测、坐标定位等任务。作者特意强调了clip的效果：没有在imagenet上做微调的clip，竟然能和已经在imagenet上训练好的resnet 50打成平手，简直不可思议。
● clip网站：
https://openai.com/research/clip
● clip论文：
https://arxiv.org/abs/2103.00020
深度学习在cv领域很成功，但是现在大家使用最多的强监督学习方案总体而言存在以下问题：
● cv数据集标注劳动密集，成本高昂
● 模型只能胜任一个任务，迁移到新任务上非常困难
● 模型泛化能力较差
2.1 预训练
openai的这项工作clip可以解决上述问题，思路看起来很简单，看下图就知道了，简单来说clip是使用text encoder从文本中提取的语义特征和image encoder从图像中提取的语义特征进行匹配训练：
pre training
2.2 推理
接下来是zero-shot的推理过程。给定一张图片，如何利用预训练好的网络去做分类呢？这里作者很巧妙地设置了一道“多项选择”。具体来说，我给网络一堆分类标签，比如cat, dog, bird，利用文本编码器得到向量表示。然后分别计算这些标签与图片的余弦相似度；最终相似度最高的标签即是预测的分类结果。
zero-shot prediction
从论文中公开的效果非常不错，clip的zero-shot迁移能力非常强。在imagenet各种系列分类任务上，clip无需imagenet标注数据训练，通过zero-shot分类效果就可以达到resnet监督训练结果，并且泛化性和鲁棒性更好。
clip on imagenet
三
爱芯派pro（ax650n）
搭载爱芯元智第三代高能效比智能视觉芯片ax650n。集成了八核cortex-a55 cpu，10.8tops@int8 npu，支持8k@30fps的isp，以及h.264、h.265编解码的vpu。接口方面，ax650n支持64bit lpddr4x，多路mipi输入，千兆ethernet、usb、以及hdmi 2.0b输出，并支持32路1080p@30fps解码内置高算力和超强编解码能力，满足行业对高性能边缘智能计算的需求。通过内置多种深度学习算法，实现视觉结构化、行为分析、状态检测等应用，高效率支持transformer模型和视觉大模型。提供丰富的开发文档，方便用户进行二次开发。
爱芯派pro（ax650n inside）
四
上板示例
为了方便大家快速体验clip的效果，我们在github上开源了对应的demo以及相关预编译好的npu模型，方便大家快速体验。
● github链接：
https://github.com/axera-tech/clip-onnx-ax650-cpp
提供的demo包内容说明
文件名
描述
main
demo执行程序
image_encoder.axmodel
图像编码模型（ax650n npu）
image_encoder.onnx
图像编码模型（cpu）
images
测试图片集
text_encoder.onnx
文本编码模型
text.txt
文本输入序列
vocab.txt
文本词集
feature_matmul.onnx
特征比对模型
4.1 耗时统计
clip image encoder的模型，我们采用精度更好的基于vit-b的backbone
backbone
输入尺寸
参数量
计算量
vit-b/32
1,3,224,224
86m
4.4g macs
单独运行的耗时分析如下：
root@maixbox:~/qtang/clip# /opt/bin/ax_run_model -m image_encoder.axmodel -w 3 -r 10 run axmodel: model: image_encoder.axmodel type: npu3 vnpu: disable affinity: 0b001 repeat: 10 warmup: 3 batch: 1 pulsar2 ver: 1.8-patch1 6fa8d395 engine ver: [axera version]: libax_engine.so v1.27.0_p3_20230627143603 jun 27 2023 14:58:22 jk 1.1.0 tool ver: 1.0.0 cmm size: 93238580 bytes ------------------------------------------------------ min = 4.158 ms max = 4.220 ms avg = 4.198 ms ------------------------------------------------------
从上面可以看出，使用ax650n上的npu运行image encoder，最快可以达到238 images/秒的特征提取速度，也就是说只需短短的4.2秒就能完成前面提及到的1000张照片的特征提取。
4.2 测试一
使用5张图片，简单来展示下clip具体的效果
5张测试图片
测试结果
批量测试
从实际上板运行log可以看出，最后的特征匹配“matmul inference”耗时＜0.0008s，也就是不到1毫秒就能从1000张图片中搜索到与文本对应的置信度最高的图片。
4.3 测试二
下面是ax650n上clip demo的pipeline分别使用cpu后端和npu后端运行image encoder模型的耗时&cpu负载对比：
cpu版本
npu版本
pipeline各模块统计
cpu
npu
耗时
440 ms
7 ms
cpu负载
（满载800%）
397%
90%
内存占用
1181 mib
460 mib
4.3 测试三
前面介绍的是meta开源的英文语料的clip模型，当然也有社区大佬提供了中文语料微调模型：
输入图片集：
input images
输入文本：“金色头发的小姐姐”
输出结果：
clip中文示例
五
交互示例
我们最近还更新了基于爱芯派pro的交互式以文搜图示例，更加直观的展现其功能。
● demo安装步骤可参考
https://github.com/axera-tech/clip-onnx-ax650-cpp/releases
六
结束语
随着vision transformer网络模型的快速发展，越来越多有趣的ai应用将逐渐从云端服务迁移到边缘侧设备和端侧设备。例如基于本文提及到的clip模型，在端侧可以实现以下场景应用：
● 事件抓拍相机，实时抓拍监控场景下各种突发事件
● 事件快速回溯，从海量的视频数据中快速找到某一特点人物和事件
● 智能nas，家用私有网盘不再担心找不到照片
同时为了降低社区开发者transformer模型在边缘侧移植的研究门槛，业界优秀的开源智能硬件公司矽速科技推出的基于ax650n的社区开发板爱芯派pro（maix-iv）已经正式上架，欢迎关注。
导入ARM的TEE核心 NFC手机毋须安全元件
摩尔斯微（Morse Micro）提供同类最佳的Wi-Fi HaLow SoC和模块样品供客户评估
全球鹰智能化RQ-4无人机升级，瞄准未来智能化战场
自助银行联网综合智能视频监控系统介绍
魅族Flyme6 更新后备份与恢复的操作方法
基于AX650N+CLIP的以文搜图展示
英国政府再次承诺将对海上风能进行大规模投资
2K档的“黑马”！上市两个月，OPPO A95的真实口碑到底如何？
FPGA开发与学习连载4
Python五种下划线的模式和命名约定
Linux嵌入式操作系统在嵌入式系统中的应用才刚刚开始
人工智能算法的演进升级需要高质量数据作为支撑
智能控制型电饭锅电路图
linux驱动模块参数传递方式
全功能光纤USB3.1 Gen2线缆的特点和应用
新能源利用如何“泛能化”？
联发科超越高通成全球手机芯片领域的王者
人脸识别助力反欺诈
电位器和编码器有什么不同？
一加5什么时候上市？一加5发布会邀请函爆光，配置、价格、外观是不是就静待发布会了！