深度学习模型小型化处理的五种方法
实习终于结束了，现把实习期间做的基于人体姿态估计的模型小型化的工作做个总结。
现在深度学习模型开始走向应用，因此我们需要把深度学习网络和模型部署到一些硬件上，而现有一些模型的参数量由于过大，会导致在一些硬件上的运行速度很慢，所以我们需要对深度学习模型进行小型化处理。模型小型化旨在保证模型效果不会明显下降的情况下降低模型的参数量，从而提高模型的运算速度。
以下是几种模型小型化的方法：
1、修改某些卷积层的num_output
其实很多模型的参数都有冗余，有些层根本不需要很多的卷积核，所以，通过修改该参数可以降低一部分的参数量。
2、使用分离通道卷积（depthwise separable convolution）
对某些卷积层使用分离通道卷积的方法。使用分离通道卷积可以去掉一部分冗余的参数。分离通道卷积与常用卷积的不同之处在于，标准卷积操作中，每个卷积核都要对输入的所有通道的特征进行卷积，然后结合生成一个对应的特征。分离通道卷积中，分为两步，第一步使用分离通道卷积，每个卷积核只对一个通道进行卷积。第二步，使用1x1的标准卷积整合分离通道卷积输出的特征。分离通道卷积时，各个通道之间的特征信息没有交互，之后会采用一个1*1的标准卷积运算，使分离通道卷积输出的特征的通道之间的信息有了一个交互。在tensorflow中，有对应的tf.nn.depthwise_conv2d接口可以很方便地实现分离通道卷积。
标准卷积和分离通道卷积的示意图如下
参考论文：mobilenets: efficient convolutional neural networks for mobile vision applications
3、使用channel shuffle方法
channel shuffle方法是在分离通道卷积方法的基础上做的改进，将分离通道卷积之后的1*1的全卷积替换为channel shuffle。
参考论文：shufflenet: an extremely efficient convolutional neural network for mobile devices
4、使用thinet方法
thinet方法是寻找一些对输出特征贡献较小的卷积核，将其裁剪掉，从而降低参数量。属于第一种方法的延伸。
参考论文：thinet: a filter level pruning method for deep neural network compression
5、改变网络结构
现在常见的网络结构有：以vgg为代表的单支流网络结构，googlenet的inception类型的网络结构，resnet的残差结构，还有densenet的结构（类似残差结构，把残差结构中特征的相加变为特征拼接）。在曾经的imagenet的比赛中，googlenet取得了比vgg更好的成绩，但是googlenet的参数量却比vgg小很多，这说明通过改变网络结构，我们不仅可以减低模型的参数量，还可能会提升模型的效果。
前四种方法都是在原有网络上进行的操作，一般不会对网络结构造成太大改变。而第五种方法则是彻底改变了网络的结构。
我们将模型的参数量降低后，如果随机初始化，模型由于参数量较小，很难达到原有的效果，所以构造了新的网络之后还会涉及到重构。
重构其实是为了得到一个较好的初始化模型。我们一般去重构网络的倒数第二层的输出特征，因为最终的结果都是在倒数第二层的输出特征上得到的。但有时我们还会去重构其他卷积层输出的特征，比如一个较深的网络，我们单纯地去重构倒数第二层的特征也很难得到一个较好的初始化模型，因为监督信息（即重构时的loss）太靠后，前面的层很难学习到，所以有时我们可以将网络分为几个部分，依次重构，先重构前面的，然后使用重构好的模型去重构后面的部分。
使用thinet方法，每裁剪完一层之后都要做finetunign，然后再裁剪下一层。我们也可以每裁剪完一层之后去做重构，全部都裁剪完之后，做姿态估计训练。
我们还可以重构和姿态估计训练一起做，使用两个监督信息（即重构和姿态估计两个loss）使模型边重构边训练，我们将其称为mimick。
这就是我在模型小型化的工作中使用到的一些方法。但如何使用这些方法才能得到一个好的结果，这还需要亲自去尝试。
中国移动董事长杨杰对5G全球的发展提出了四点建议
xenomai+linux双内核下的时钟管理机制
OpenAI和微软下场造AI芯片 首款自研AI芯片11月上线！
三星遭遇最严重的利润下滑 内存芯片市场成投资者的指望
AR初创公司Ubiquity6宣布完成2700万美元B轮融资
深度学习模型小型化处理的五种方法
基于4G物联网网关的二次供水泵站远程监控解决方案
汽车厂商如何缓解芯片供应的紧张局面?
送餐机器人可以优化就餐体验和提高服务效率
无人机热红外大范围区域影像的数据处理和温度分析
魅族千元机是最好的手机：魅蓝5S、魅蓝Note5，你更看好谁？
特朗普做梦都想创造就业机会 可还得过机器人这关
PLC的扫描工作过程
EMC干扰三要素？聊聊屏蔽和EMC的故事
新版荣耀MagicBook曝光新技术将让手机和电脑之间的互动更加灵活
集电极开路（OC）/漏极开路（OD）输出的结构
中芯国际已将明导国际Calibre产品认证DFM签核参考平台
一加5最新消息：一加5性价比超小米6，你们期待吗？
关于多种LED灯内部电路分析
Weiking灌封型小体积DC-DC变换器WK6028**S-30G简析
现在深度学习模型开始走向应用，因此我们需要把深度学习网络和模型部署到一些硬件上，而现有一些模型的参数量由于过大，会导致在一些硬件上的运行速度很慢，所以我们需要对深度学习模型进行小型化处理。模型小型化旨在保证模型效果不会明显下降的情况下降低模型的参数量，从而提高模型的运算速度。
以下是几种模型小型化的方法：
1、修改某些卷积层的num_output
其实很多模型的参数都有冗余，有些层根本不需要很多的卷积核，所以，通过修改该参数可以降低一部分的参数量。
2、使用分离通道卷积（depthwise separable convolution）
对某些卷积层使用分离通道卷积的方法。使用分离通道卷积可以去掉一部分冗余的参数。分离通道卷积与常用卷积的不同之处在于，标准卷积操作中，每个卷积核都要对输入的所有通道的特征进行卷积，然后结合生成一个对应的特征。分离通道卷积中，分为两步，第一步使用分离通道卷积，每个卷积核只对一个通道进行卷积。第二步，使用1x1的标准卷积整合分离通道卷积输出的特征。分离通道卷积时，各个通道之间的特征信息没有交互，之后会采用一个1*1的标准卷积运算，使分离通道卷积输出的特征的通道之间的信息有了一个交互。在tensorflow中，有对应的tf.nn.depthwise_conv2d接口可以很方便地实现分离通道卷积。
标准卷积和分离通道卷积的示意图如下
参考论文：mobilenets: efficient convolutional neural networks for mobile vision applications
3、使用channel shuffle方法
channel shuffle方法是在分离通道卷积方法的基础上做的改进，将分离通道卷积之后的1*1的全卷积替换为channel shuffle。
参考论文：shufflenet: an extremely efficient convolutional neural network for mobile devices
4、使用thinet方法
thinet方法是寻找一些对输出特征贡献较小的卷积核，将其裁剪掉，从而降低参数量。属于第一种方法的延伸。
参考论文：thinet: a filter level pruning method for deep neural network compression
5、改变网络结构
现在常见的网络结构有：以vgg为代表的单支流网络结构，googlenet的inception类型的网络结构，resnet的残差结构，还有densenet的结构（类似残差结构，把残差结构中特征的相加变为特征拼接）。在曾经的imagenet的比赛中，googlenet取得了比vgg更好的成绩，但是googlenet的参数量却比vgg小很多，这说明通过改变网络结构，我们不仅可以减低模型的参数量，还可能会提升模型的效果。
前四种方法都是在原有网络上进行的操作，一般不会对网络结构造成太大改变。而第五种方法则是彻底改变了网络的结构。
我们将模型的参数量降低后，如果随机初始化，模型由于参数量较小，很难达到原有的效果，所以构造了新的网络之后还会涉及到重构。
重构其实是为了得到一个较好的初始化模型。我们一般去重构网络的倒数第二层的输出特征，因为最终的结果都是在倒数第二层的输出特征上得到的。但有时我们还会去重构其他卷积层输出的特征，比如一个较深的网络，我们单纯地去重构倒数第二层的特征也很难得到一个较好的初始化模型，因为监督信息（即重构时的loss）太靠后，前面的层很难学习到，所以有时我们可以将网络分为几个部分，依次重构，先重构前面的，然后使用重构好的模型去重构后面的部分。
使用thinet方法，每裁剪完一层之后都要做finetunign，然后再裁剪下一层。我们也可以每裁剪完一层之后去做重构，全部都裁剪完之后，做姿态估计训练。
我们还可以重构和姿态估计训练一起做，使用两个监督信息（即重构和姿态估计两个loss）使模型边重构边训练，我们将其称为mimick。
这就是我在模型小型化的工作中使用到的一些方法。但如何使用这些方法才能得到一个好的结果，这还需要亲自去尝试。
中国移动董事长杨杰对5G全球的发展提出了四点建议
xenomai+linux双内核下的时钟管理机制
OpenAI和微软下场造AI芯片 首款自研AI芯片11月上线！
三星遭遇最严重的利润下滑 内存芯片市场成投资者的指望
AR初创公司Ubiquity6宣布完成2700万美元B轮融资
深度学习模型小型化处理的五种方法
基于4G物联网网关的二次供水泵站远程监控解决方案
汽车厂商如何缓解芯片供应的紧张局面?
送餐机器人可以优化就餐体验和提高服务效率
无人机热红外大范围区域影像的数据处理和温度分析
魅族千元机是最好的手机：魅蓝5S、魅蓝Note5，你更看好谁？
特朗普做梦都想创造就业机会 可还得过机器人这关
PLC的扫描工作过程
EMC干扰三要素？聊聊屏蔽和EMC的故事
新版荣耀MagicBook曝光新技术将让手机和电脑之间的互动更加灵活
集电极开路（OC）/漏极开路（OD）输出的结构
中芯国际已将明导国际Calibre产品认证DFM签核参考平台
一加5最新消息：一加5性价比超小米6，你们期待吗？
关于多种LED灯内部电路分析
Weiking灌封型小体积DC-DC变换器WK6028**S-30G简析