轻量级视觉模型设计的新启发
计算机视觉两大门派功力合体，给移动端视觉任务减负增速。
当下，计算机视觉领域最热议的方向，莫过于近两年越来越火的视觉transformer（vit）和传统的卷积神经网络（convnet），谁才能主宰计算机视觉的未来？
风头正盛的vit，是计算机视觉领域过去十年最瞩目的研究突破之一。2020年，谷歌视觉大模型vision transformer（vit）横空出世，凭借碾压各路convnet的性能表现，一举掀起transformer在计算机视觉领域的研究热潮。
但“convnet派”还没到低头认输的时候。2022年1月，meta ai研究院、加州大学伯克利分校的研究人员发表了卷积神经网络的“扛鼎之作”——convnext，基于纯convnet新架构，取得了超过先进vit的计算速度和精度。
▲convnet与vit模型图像分类实验结果对比
vit论文：https://arxiv.org/abs/2010.11929
convnext论文：https://arxiv.org/abs/2201.03545
那如果将这两类模型的优势互补，会不会产生1+1》2的效果？
近日，基于这一思路的论文《parc-net：继承convnet和transformer优点的位置敏感的循环卷积》入选了计算机视觉顶会eccv 2022，并引发国内外广泛关注。
这篇论文提出了一种面向移动端、融入vit优点的纯卷积结构模型parc-net，能以更小的参数量，在常见视觉任务中实现比主流轻量级convnet更好的性能。
▲parc-net在三种视觉任务实验中均以更小参数量取得最佳性能表现
值得一提的是，论文提出一种既有全局感受野、又对位置信息保持敏感的基础卷积算子parc，它能与现有主流网络结构融合，兼顾模型性能和计算速度的提升，相关代码现已开源。
具体是怎么实现的？我们联系到论文第一作者张号逵博士，并与其进行深入交流。
parc论文：https://arxiv.org/abs/2203.03952
源代码：https://github.com/hkzhang91/parc-net
01.
取vit的三个亮点，将纯卷积结构变强
在计算机视觉领域，vit模型性能彪悍，门槛和成本却惊人，无论是庞大数据量，还是超高算力需求，都离不开“钞能力”的支撑。
相比之下，轻量级convnet虽然性能难以与vit媲美，但具有易训练、参数量少、计算成本低、推理速度快等优势，对硬件资源的需求不像vit那么受限，可部署在各种移动或边缘计算设备上。此前较流行的轻量级convnet有shufflenet、mobilenet、efficientnet、tinynet等等。
经对比，云天励飞的研究人员借鉴vit的优点，基于卷积结构设计了一个轻量级骨干模型parc-net。
论文作者认为，vit和convnet有三个主要区别：vit更擅长提取全局特征，采用meta-former结构，而且信息集成由数据驱动。parc的设计思路便是从这三点着手来优化convnet。
▲普通convnet和vit之间的三个主要区别。（a） convnet常用的residual block；（b） vit中常用的meta-former 结构；（c） 本文提出的parc block。
具体而言，研究人员设计了一种位置信息敏感的循环卷积（position aware circular convolution， parc）。这是一种简单有效的轻量卷积运算算子，既拥有像vit类结构的全局感受野，同时产生了像局部卷积那样的位置敏感特征，能克服依赖自注意力结构提取全局特征的问题。
parc结构主要包含三部分改动：1）结合circular padding和大感受野低秩分解卷积核提取全局特征；2）引入位置嵌入，保证输出特征对于空间位置信息的敏感性；3）动态插值实时生成尺寸适配的卷积核和位置编码，应对输入分辨率变化情况，这增强了对不同尺寸输入的适应能力。
▲parc结构示例
研究人员还将parc和squeeze exictation（se）操作结合起来，构建了一个纯卷积结构的meta former结构。该结构舍弃了自注意力硬件支持不友好的操作，但保留了传统transformer块提取全局特征的特点。
然后，研究人员在channel mixer部分引入硬件支持较友好的通道注意力机制，使其纯卷积meta former结构也具备自注意力的特点。
基于parc结构最终得到的parc块，可作为一个即插即用的基础单元，替换现有vit或convnet模型中的相关块，从而提升精度，并降低计算成本，有效克服硬件支持的问题。
▲parc实验结果
02.
三大视觉任务表现出色 多项指标打败苹果mobilevit
“据我们所知，这是第一次尝试结合convnet和vit的优点来设计一个轻量级pure-convnet的结构。”论文作者如此描述parc-net的开创性。
实验结果表明，在图像分类、物体检测、语义分割这三类常见的视觉任务中，混合结构的模型性能表现普遍高于当前主流的一些纯卷积结构、vit结构的模型，其中parc-net模型取得了最好的整体性能表现。
▲对于imagenet-1k的图像分类实验结果
在图像分类实验中，对于imagenet-1k的分类，parc-net使用的参数规模最小（大约500万个参数），却实现了最高准确率78.6%。
mobilevit是苹果公司2022年在国际深度学习顶会iclr22上提出的轻量级通用vit模型。同样部署在基于arm的瑞芯微rk3288芯片上，相较基线模型mobilevit，parc-net节省了11%的参数和13%的计算成本，同时准确率提高了0.2%，推理速度提高了23%。
▲与基准模型的推理速度对比
与基于vit结构的模型相比，parc-net的参数量只有meta ai团队deit模型参数的一半左右，准确率却比deit提高了2.7%。
在ms-coco物体检测和pascal voc分割任务中，parc-net同样基于较少的参数，实现了更好的性能、更快的推理速度。
▲ms-coco物体检测实验结果
▲pascal voc分割任务实验结果
张号逵博士是parc-net论文的第一作者，现任深圳云天励飞资深算法研究员，研究领域包括网络结构搜索、深度估计、轻量化骨干模型、信息检索及高光谱图像分类等。
他告诉智东西，传统convnet可以适应视觉任务中输入分辨率的变化，而具有全局感受野的纯卷积结构的缺陷是卷积核必须跟输入分辨率保持一致，为了更好应对分辨率的变化，其团队正在研究将模型做成动态卷积的形式，以提高鲁棒性。
目前这项研究成果已经可以用在算力受限的移动端或边缘设备中，实现更高准确率的视觉任务。如果进行一些小的改动，parc-net还可以被用于其他的视觉任务，例如6dof姿态评估及其他dense prediction的任务。
03.
与自研芯片协同 运算速度可提升快3~4倍
那么parc-net模型的研究成果，具体如何在实际业务场景中发挥价值？
据介绍，一方面，parc-net模型可以集成到开源算法训练平台ymir中，然后被部署至终端设备；另一方面，通过与云天励飞自研芯片协同，它能将运算速度和精度进一步提升。
ymir是一个高度自动化的ai模型开发平台，能做到利用鼠标简单操作就可以完成数据收集、模型训练、数据挖掘、数据标注等功能。将拥有高运算效率的parc-net模型版本上传至ymir后，用户可在该平台上直接选用parc-net模型，也可以针对具体业务场景，添加相应的数据集对parc-net进行再训练，从而获得能更好满足业务需求的模型。
以前有些对精度要求高或者采用vit结构的移动端视觉任务，受限于计算效率问题，难以在摄像头设备或手机上运行，而上传到云端做运算，对有较高实时性要求的视觉任务不是很友好。
parc-net则较好地改善了这类问题，在模型精度和推理效率之间实现平衡，使得边缘设备可以在本地运行一些对精度要求高的视觉任务。比如，人脸识别终端设备可运用parc-net直接对路过的人进行高质量特征值提取，无需将数据传输到云端，就能与数据库进行检索比对。
与云天励飞自研芯片搭配后，parc-net模型的性能表现还能再上一个台阶。
张号逵博士谈道，其团队考虑到软硬件设计协同问题，在研发之初参考了云天励飞自研芯片工具链的设计及算子支持情况，然后进行模型网络结构及算子的设计，以更好地发挥出芯片算力。
研究人员将parc-net和基线模型mobilevit均部署到自研低功耗芯片dp上进行推理速度测试。从实验结果可以看到，parc-net的推理速度能够达到mobilevit速度的3~4倍。
▲与基准模型在不同芯片平台上的推理速度对比
这也是研究团队决定选择基于纯卷积结构来设计parc-net的原因之一。convnet已经统治计算机视觉领域十年之久，而vit在这一领域兴起时间较短，很多现有的神经网络加速器、硬件优化策略，都是围绕卷积结构设计。因此部署在移动端时，纯convnet往往能比vit享有更好的软硬件及工具链支持，并实现更快的推理速度。
即便搭载在对支持vit更友好的芯片上，张号逵博士说，parc-net依然能取得比现有其他混合模型更好的性能表现。
绝大多数视觉任务可以分为两类：一类对位置信息不敏感，如图像分类等；另一类对位置信息较敏感，如物体检测、3d姿态估计、ar试穿等。对于这些视觉任务，无论用在智能门禁、手机识图还是自动驾驶汽车的摄像头，parc-net都能够发挥出其兼顾模型精度和计算效率的优势，并且不会受部署终端设备配置的限制。
04.
结语：轻量级视觉模型设计的新启发
当前vit与convnet两大研究方向在计算机视觉领域旗鼓相当，vit在学术界四处屠榜，convnet则在工业界主导地位难以撼动，将两者融合的相关研究也如雨后春笋般涌现。
此次入选eccv顶会的parc-net模型，既顾及边缘设备对模型规模的限制，基于纯卷积结构，确保其具备易训练、易部署、推理效率高、硬件更友好等特点，又吸纳了vit的设计特征，实现比其他convnet模型更高的精度。这可以给移动端视觉任务的模型设计带来一些启发。
基于单片机的步进电机控制系统设计
中国移动将采用2.6GHz作为5G网络的前期主用频段
RT-Thread所遵循的Apache2.0协议你了解吗？
润芯微科技入选智能座舱整体解决方案优质供应商
使用隔离式大功率分流模块提高测量效率
轻量级视觉模型设计的新启发
机器学习研究用于自学做事的算法
电荷放大器组成及各部分作用
演变：智能座舱硬件平台的四个阶段
简单介绍光学薄膜在线检测系统的检测原理
直线马达助力的悬挂式空中轨道列车试乘发车
通过协同仿真改善高速开关电源的设计
华为智能数据中心的解决方案后发先制 为用户实现利益价值最大化
C语言实现面向对象的方法
区块链人才为什么供需不平衡
9coin，助您轻松赚取“睡后”收入
空气监测微型站是什么
特斯拉对购买Model 3和Model Y买家免费增压
百度或将与威马联手造车，双方对合作模式进行商议
英飞凌与e络盟社区携手发起“Sustain our Planet”设计挑战赛
当下，计算机视觉领域最热议的方向，莫过于近两年越来越火的视觉transformer（vit）和传统的卷积神经网络（convnet），谁才能主宰计算机视觉的未来？
风头正盛的vit，是计算机视觉领域过去十年最瞩目的研究突破之一。2020年，谷歌视觉大模型vision transformer（vit）横空出世，凭借碾压各路convnet的性能表现，一举掀起transformer在计算机视觉领域的研究热潮。
但“convnet派”还没到低头认输的时候。2022年1月，meta ai研究院、加州大学伯克利分校的研究人员发表了卷积神经网络的“扛鼎之作”——convnext，基于纯convnet新架构，取得了超过先进vit的计算速度和精度。
▲convnet与vit模型图像分类实验结果对比
vit论文：https://arxiv.org/abs/2010.11929
convnext论文：https://arxiv.org/abs/2201.03545
那如果将这两类模型的优势互补，会不会产生1+1》2的效果？
近日，基于这一思路的论文《parc-net：继承convnet和transformer优点的位置敏感的循环卷积》入选了计算机视觉顶会eccv 2022，并引发国内外广泛关注。
这篇论文提出了一种面向移动端、融入vit优点的纯卷积结构模型parc-net，能以更小的参数量，在常见视觉任务中实现比主流轻量级convnet更好的性能。
▲parc-net在三种视觉任务实验中均以更小参数量取得最佳性能表现
值得一提的是，论文提出一种既有全局感受野、又对位置信息保持敏感的基础卷积算子parc，它能与现有主流网络结构融合，兼顾模型性能和计算速度的提升，相关代码现已开源。
具体是怎么实现的？我们联系到论文第一作者张号逵博士，并与其进行深入交流。
parc论文：https://arxiv.org/abs/2203.03952
源代码：https://github.com/hkzhang91/parc-net
01.
取vit的三个亮点，将纯卷积结构变强
在计算机视觉领域，vit模型性能彪悍，门槛和成本却惊人，无论是庞大数据量，还是超高算力需求，都离不开“钞能力”的支撑。
相比之下，轻量级convnet虽然性能难以与vit媲美，但具有易训练、参数量少、计算成本低、推理速度快等优势，对硬件资源的需求不像vit那么受限，可部署在各种移动或边缘计算设备上。此前较流行的轻量级convnet有shufflenet、mobilenet、efficientnet、tinynet等等。
经对比，云天励飞的研究人员借鉴vit的优点，基于卷积结构设计了一个轻量级骨干模型parc-net。
论文作者认为，vit和convnet有三个主要区别：vit更擅长提取全局特征，采用meta-former结构，而且信息集成由数据驱动。parc的设计思路便是从这三点着手来优化convnet。
▲普通convnet和vit之间的三个主要区别。（a） convnet常用的residual block；（b） vit中常用的meta-former 结构；（c） 本文提出的parc block。
具体而言，研究人员设计了一种位置信息敏感的循环卷积（position aware circular convolution， parc）。这是一种简单有效的轻量卷积运算算子，既拥有像vit类结构的全局感受野，同时产生了像局部卷积那样的位置敏感特征，能克服依赖自注意力结构提取全局特征的问题。
parc结构主要包含三部分改动：1）结合circular padding和大感受野低秩分解卷积核提取全局特征；2）引入位置嵌入，保证输出特征对于空间位置信息的敏感性；3）动态插值实时生成尺寸适配的卷积核和位置编码，应对输入分辨率变化情况，这增强了对不同尺寸输入的适应能力。
▲parc结构示例
研究人员还将parc和squeeze exictation（se）操作结合起来，构建了一个纯卷积结构的meta former结构。该结构舍弃了自注意力硬件支持不友好的操作，但保留了传统transformer块提取全局特征的特点。
然后，研究人员在channel mixer部分引入硬件支持较友好的通道注意力机制，使其纯卷积meta former结构也具备自注意力的特点。
基于parc结构最终得到的parc块，可作为一个即插即用的基础单元，替换现有vit或convnet模型中的相关块，从而提升精度，并降低计算成本，有效克服硬件支持的问题。
▲parc实验结果
02.
三大视觉任务表现出色 多项指标打败苹果mobilevit
“据我们所知，这是第一次尝试结合convnet和vit的优点来设计一个轻量级pure-convnet的结构。”论文作者如此描述parc-net的开创性。
实验结果表明，在图像分类、物体检测、语义分割这三类常见的视觉任务中，混合结构的模型性能表现普遍高于当前主流的一些纯卷积结构、vit结构的模型，其中parc-net模型取得了最好的整体性能表现。
▲对于imagenet-1k的图像分类实验结果
在图像分类实验中，对于imagenet-1k的分类，parc-net使用的参数规模最小（大约500万个参数），却实现了最高准确率78.6%。
mobilevit是苹果公司2022年在国际深度学习顶会iclr22上提出的轻量级通用vit模型。同样部署在基于arm的瑞芯微rk3288芯片上，相较基线模型mobilevit，parc-net节省了11%的参数和13%的计算成本，同时准确率提高了0.2%，推理速度提高了23%。
▲与基准模型的推理速度对比
与基于vit结构的模型相比，parc-net的参数量只有meta ai团队deit模型参数的一半左右，准确率却比deit提高了2.7%。
在ms-coco物体检测和pascal voc分割任务中，parc-net同样基于较少的参数，实现了更好的性能、更快的推理速度。
▲ms-coco物体检测实验结果
▲pascal voc分割任务实验结果
张号逵博士是parc-net论文的第一作者，现任深圳云天励飞资深算法研究员，研究领域包括网络结构搜索、深度估计、轻量化骨干模型、信息检索及高光谱图像分类等。
他告诉智东西，传统convnet可以适应视觉任务中输入分辨率的变化，而具有全局感受野的纯卷积结构的缺陷是卷积核必须跟输入分辨率保持一致，为了更好应对分辨率的变化，其团队正在研究将模型做成动态卷积的形式，以提高鲁棒性。
目前这项研究成果已经可以用在算力受限的移动端或边缘设备中，实现更高准确率的视觉任务。如果进行一些小的改动，parc-net还可以被用于其他的视觉任务，例如6dof姿态评估及其他dense prediction的任务。
03.
与自研芯片协同 运算速度可提升快3~4倍
那么parc-net模型的研究成果，具体如何在实际业务场景中发挥价值？
据介绍，一方面，parc-net模型可以集成到开源算法训练平台ymir中，然后被部署至终端设备；另一方面，通过与云天励飞自研芯片协同，它能将运算速度和精度进一步提升。
ymir是一个高度自动化的ai模型开发平台，能做到利用鼠标简单操作就可以完成数据收集、模型训练、数据挖掘、数据标注等功能。将拥有高运算效率的parc-net模型版本上传至ymir后，用户可在该平台上直接选用parc-net模型，也可以针对具体业务场景，添加相应的数据集对parc-net进行再训练，从而获得能更好满足业务需求的模型。
以前有些对精度要求高或者采用vit结构的移动端视觉任务，受限于计算效率问题，难以在摄像头设备或手机上运行，而上传到云端做运算，对有较高实时性要求的视觉任务不是很友好。
parc-net则较好地改善了这类问题，在模型精度和推理效率之间实现平衡，使得边缘设备可以在本地运行一些对精度要求高的视觉任务。比如，人脸识别终端设备可运用parc-net直接对路过的人进行高质量特征值提取，无需将数据传输到云端，就能与数据库进行检索比对。
与云天励飞自研芯片搭配后，parc-net模型的性能表现还能再上一个台阶。
张号逵博士谈道，其团队考虑到软硬件设计协同问题，在研发之初参考了云天励飞自研芯片工具链的设计及算子支持情况，然后进行模型网络结构及算子的设计，以更好地发挥出芯片算力。
研究人员将parc-net和基线模型mobilevit均部署到自研低功耗芯片dp上进行推理速度测试。从实验结果可以看到，parc-net的推理速度能够达到mobilevit速度的3~4倍。
▲与基准模型在不同芯片平台上的推理速度对比
这也是研究团队决定选择基于纯卷积结构来设计parc-net的原因之一。convnet已经统治计算机视觉领域十年之久，而vit在这一领域兴起时间较短，很多现有的神经网络加速器、硬件优化策略，都是围绕卷积结构设计。因此部署在移动端时，纯convnet往往能比vit享有更好的软硬件及工具链支持，并实现更快的推理速度。
即便搭载在对支持vit更友好的芯片上，张号逵博士说，parc-net依然能取得比现有其他混合模型更好的性能表现。
绝大多数视觉任务可以分为两类：一类对位置信息不敏感，如图像分类等；另一类对位置信息较敏感，如物体检测、3d姿态估计、ar试穿等。对于这些视觉任务，无论用在智能门禁、手机识图还是自动驾驶汽车的摄像头，parc-net都能够发挥出其兼顾模型精度和计算效率的优势，并且不会受部署终端设备配置的限制。
04.
结语：轻量级视觉模型设计的新启发
当前vit与convnet两大研究方向在计算机视觉领域旗鼓相当，vit在学术界四处屠榜，convnet则在工业界主导地位难以撼动，将两者融合的相关研究也如雨后春笋般涌现。
此次入选eccv顶会的parc-net模型，既顾及边缘设备对模型规模的限制，基于纯卷积结构，确保其具备易训练、易部署、推理效率高、硬件更友好等特点，又吸纳了vit的设计特征，实现比其他convnet模型更高的精度。这可以给移动端视觉任务的模型设计带来一些启发。
基于单片机的步进电机控制系统设计
中国移动将采用2.6GHz作为5G网络的前期主用频段
RT-Thread所遵循的Apache2.0协议你了解吗？
润芯微科技入选智能座舱整体解决方案优质供应商
使用隔离式大功率分流模块提高测量效率
轻量级视觉模型设计的新启发
机器学习研究用于自学做事的算法
电荷放大器组成及各部分作用
演变：智能座舱硬件平台的四个阶段
简单介绍光学薄膜在线检测系统的检测原理
直线马达助力的悬挂式空中轨道列车试乘发车
通过协同仿真改善高速开关电源的设计
华为智能数据中心的解决方案后发先制 为用户实现利益价值最大化
C语言实现面向对象的方法
区块链人才为什么供需不平衡
9coin，助您轻松赚取“睡后”收入
空气监测微型站是什么
特斯拉对购买Model 3和Model Y买家免费增压
百度或将与威马联手造车，双方对合作模式进行商议
英飞凌与e络盟社区携手发起“Sustain our Planet”设计挑战赛