跨图像关系型KD方法语义分割任务-CIRKD
语义分割任务作为计算机视觉中的基础任务之一，其目的是对图像中的每一个像素进行分类。该任务也被广泛应用于实践，例如自动驾驶和医学图像分割。现有流行的用于语义分割任务的模型，例如deeplab和pspnet系列，虽然获得了很好的分割精度，但是所需的算力成本较高。本文考虑使用知识蒸馏（knowledge distillation，kd）算法来缓解这个问题。kd作为模型压缩里的一项重要技术，其核心思想是将教师模型中学习的知识作为监督信号来训练学生模型，使得学生模型得到更好的性能。虽然现有的语义分割知识蒸馏方法能够对学生网络的性能进行提升，但是这些方法通常是从单张图像中提取知识，忽略了跨图像之间的关系信息也是一种有价值的知识。
最近，地平线-中科院提出了一种新颖的跨图像关系型kd方法用于语义分割任务-cirkd。该方法尝试在语义分割任务中建模pixel-to-pixel和pixel-to-region这两种对比关系作为kd的监督信号。本文主要从方法介绍以及实验结果对提出的cirkd进行讲解。
kd作为一种思想已被广泛应用，尤其是图像分类任务。但是先前的工作表明直接将图像分类kd方法直接迁移到语义分割任务是不可行的，因为它们没有考虑到语义分割的结构化信息。一些经典的语义分割kd工作于是去尝试捕捉到一些上下文信息来建模结构化知识，比如pixel相似度，pixel与region向量的相似度关系，但是这些方法通常在单张图像内部进行信息提取，难以捕捉到更加广泛的上下文依赖。
于是，我们提出一种跨图像的知识蒸馏方法来建模图像间的依赖，从而使得网络能够捕捉到更加丰富的结构化信息。具体地，本工作建模数据集中的全部图像之间建模pixel-to-pixel以及pixel-to-region的对比关系作为知识。动机在于一个好的教师模型可以产生更好的全局pixel依赖以及特征空间。cirkd引导学生模型去模仿教师网络产生的更好的结构化语义关系，因此提升了语义分割表现。
具体方法
本方法分别从mini-batch和memory的角度对结构化关系进行建模。
1. 基于mini-batch的pixel-to-pixel蒸馏
首先是在batch中建模关系，将图像产生的特征图在spatial维度上进行分离，产生pixel-wise的特征向量。针对某一个pixel点的特征向量作为锚样本，其他pixel点特征向量（包括当前图像和其他图像）作为对比样本，可以得到相似度矩阵。基于此方法，在教师端和学生端都可以产生对应的相似度矩阵，然后通过kl散度进行逼近，使得学生可以学到教师的相似度矩阵：
一个batch内的图像进行两两之间的关系矩阵求取和迁移：
整个过程的示意图如下所示：
2. 基于memory的pixel-to-pixel蒸馏
相对于基于mini-batch的对比性关系求取，这里采用一个memory bank来存储对比向量，使得每一个锚样本都可以得到充足的对比样本。针对某一个pixel点的特征向量作为锚样本，每次训练随机从memory bank中采样大量的pixel特征向量来构造对比样本，通过相乘分别得到教师和学生的相似度矩阵：
使用kl散度的误差形式将教师和学生的pixel-to-pixel相似度矩阵进行对齐：
3. 基于memory的pixel-to-region蒸馏
离散化的pixel特征向量不能充分在捕捉到图像内容，因此本方法利用memory对region向量进行存储。region向量产生自对来自相同类别的pixel向量做一个平均。针对某一个pixel点的特征向量作为锚样本，每次训练随机从memory bank中采样大量的region特征向量来构造对比样本，通过相乘分别得到教师和学生的相似度矩阵：
使用kl散度的误差形式将教师和学生的pixel-to-region相似度矩阵进行对齐：
基于memory进行kd的整体示意图如下所示：
最终的训练误差则是将以上3部分误差相加在一起：
实验结果
实验在流行的cityscapes场景分割数据集上进行，相比于其他流行的语义分割kd方法，cirkd获得了一致最佳的表现。
在一些case study上进行可视化，本方法能够得到最好的分割表现。
万能试验机选型表中需要关注的参数及其意义
再获新突破！移远通信RedCap模组拿下首张端网协同测评证书
云计算引爆的科技行业繁荣似乎要见顶了
恩智浦荣获2016年全球百强创新企业
最优秀的国产深度系统Deepin V20即将上线，你准备好升级了吗
跨图像关系型KD方法语义分割任务-CIRKD
C语言语句简析
沈阳机床i5走上全新智造路 达到世界领先水平
大功率投光灯5段线性高效率低THD优化电路SM2326E
AI边缘计算网关和普通网关有什么区别？各自有什么优势？
Intel inside常时连网个人计算机 随时享受高效连网
基于FM的多功能语音收发系统
浅谈总线通讯数据冲突的问题的解决
为无线物联网网络选择 LPWAN 技术
IR推出新款超高速600V IGBT系列器件
北京联通推出金融街5G体验平均速率超1Gbps
用变频器的电机为什么发抖？变频器带动电机运行时产生抖动怎么处理？
AC-DC电源模块设计原理以及常见疑问的解答
谷歌完成对Fitbit收购,加码可穿戴式设备市场
现场设计三极管开关电路视频教程分享
最近，地平线-中科院提出了一种新颖的跨图像关系型kd方法用于语义分割任务-cirkd。该方法尝试在语义分割任务中建模pixel-to-pixel和pixel-to-region这两种对比关系作为kd的监督信号。本文主要从方法介绍以及实验结果对提出的cirkd进行讲解。
kd作为一种思想已被广泛应用，尤其是图像分类任务。但是先前的工作表明直接将图像分类kd方法直接迁移到语义分割任务是不可行的，因为它们没有考虑到语义分割的结构化信息。一些经典的语义分割kd工作于是去尝试捕捉到一些上下文信息来建模结构化知识，比如pixel相似度，pixel与region向量的相似度关系，但是这些方法通常在单张图像内部进行信息提取，难以捕捉到更加广泛的上下文依赖。
于是，我们提出一种跨图像的知识蒸馏方法来建模图像间的依赖，从而使得网络能够捕捉到更加丰富的结构化信息。具体地，本工作建模数据集中的全部图像之间建模pixel-to-pixel以及pixel-to-region的对比关系作为知识。动机在于一个好的教师模型可以产生更好的全局pixel依赖以及特征空间。cirkd引导学生模型去模仿教师网络产生的更好的结构化语义关系，因此提升了语义分割表现。
具体方法
本方法分别从mini-batch和memory的角度对结构化关系进行建模。
1. 基于mini-batch的pixel-to-pixel蒸馏
首先是在batch中建模关系，将图像产生的特征图在spatial维度上进行分离，产生pixel-wise的特征向量。针对某一个pixel点的特征向量作为锚样本，其他pixel点特征向量（包括当前图像和其他图像）作为对比样本，可以得到相似度矩阵。基于此方法，在教师端和学生端都可以产生对应的相似度矩阵，然后通过kl散度进行逼近，使得学生可以学到教师的相似度矩阵：
一个batch内的图像进行两两之间的关系矩阵求取和迁移：
整个过程的示意图如下所示：
2. 基于memory的pixel-to-pixel蒸馏
相对于基于mini-batch的对比性关系求取，这里采用一个memory bank来存储对比向量，使得每一个锚样本都可以得到充足的对比样本。针对某一个pixel点的特征向量作为锚样本，每次训练随机从memory bank中采样大量的pixel特征向量来构造对比样本，通过相乘分别得到教师和学生的相似度矩阵：
使用kl散度的误差形式将教师和学生的pixel-to-pixel相似度矩阵进行对齐：
3. 基于memory的pixel-to-region蒸馏
离散化的pixel特征向量不能充分在捕捉到图像内容，因此本方法利用memory对region向量进行存储。region向量产生自对来自相同类别的pixel向量做一个平均。针对某一个pixel点的特征向量作为锚样本，每次训练随机从memory bank中采样大量的region特征向量来构造对比样本，通过相乘分别得到教师和学生的相似度矩阵：
使用kl散度的误差形式将教师和学生的pixel-to-region相似度矩阵进行对齐：
基于memory进行kd的整体示意图如下所示：
最终的训练误差则是将以上3部分误差相加在一起：
实验结果
实验在流行的cityscapes场景分割数据集上进行，相比于其他流行的语义分割kd方法，cirkd获得了一致最佳的表现。
在一些case study上进行可视化，本方法能够得到最好的分割表现。
万能试验机选型表中需要关注的参数及其意义
再获新突破！移远通信RedCap模组拿下首张端网协同测评证书
云计算引爆的科技行业繁荣似乎要见顶了
恩智浦荣获2016年全球百强创新企业
最优秀的国产深度系统Deepin V20即将上线，你准备好升级了吗
跨图像关系型KD方法语义分割任务-CIRKD
C语言语句简析
沈阳机床i5走上全新智造路 达到世界领先水平
大功率投光灯5段线性高效率低THD优化电路SM2326E
AI边缘计算网关和普通网关有什么区别？各自有什么优势？
Intel inside常时连网个人计算机 随时享受高效连网
基于FM的多功能语音收发系统
浅谈总线通讯数据冲突的问题的解决
为无线物联网网络选择 LPWAN 技术
IR推出新款超高速600V IGBT系列器件
北京联通推出金融街5G体验平均速率超1Gbps
用变频器的电机为什么发抖？变频器带动电机运行时产生抖动怎么处理？
AC-DC电源模块设计原理以及常见疑问的解答
谷歌完成对Fitbit收购,加码可穿戴式设备市场
现场设计三极管开关电路视频教程分享