训练深度神经网络的感觉就像买彩票，“打了折”的深度学习
mit csail近期发表文章《彩票假设：寻找稀疏可训练的神经网络》认为神经网络就像中彩票并不是每一张都有用，但应设法找到最能中奖的那个，因此可通过消除神经网络结构件不必要的连接（也称修剪）适应低功率设备，在一系列条件下不断重复该过程，神经网络可缩小10%到20%，但并不影响准确率，甚至比原始网络跟快。
根据齐鲁晚报报道，最近威海一彩民获得了1219万大奖，可以说是非常幸运了，看的一众神经网络“炼丹师”们羡慕不已。
训练深度神经网络的感觉就像买彩票
hackernews网友opwieurposiu就吐槽，做dnn其实根本和买彩票没什么区别：先是收集训练数据，然后写一个python脚本，支付大约1美元的gpu时间，跑一下。所不同的是，你盯着的不是轮盘的转针，而是损失函数图。
95%的时间都是废的，但是每隔一段时间你就会得到很大的回报。中奖的时候，你可能觉得自己真是个天才！但复盘的时候又发现，你根本不知道为什么a方式有效而b就不行。这种感觉，跟压彩票非常相似。
1美元的神经网络很小了。为了更好地学习，神经网络就必须非常大，需要海量数据集，整个训练过程可能要持续好多天。投入100美元、1000美元、10000美元……的时候，你可能感受到的不仅仅是经费在燃烧了。
可是，如果说，实际上神经网络不一定要那么大呢？
不修剪了，把没用的部分直接砍掉！
mit csail的两位研究人员jonathan frankle和michael carbin发表过一篇论文《彩票假设：寻找稀疏的、可训练的神经网络》刚刚被评为iclr最佳论文。
论文指出，神经网络剪枝技术可以在不影响精度的前提下，将训练网络的参数数量减少90%以上，降低存储需求并提高推理的计算性能。然而，当前的经验是，剪枝产生的稀疏架构从一开始就很难训，然而同时也能提高了效率。
frankle和carbin发现，一个标准的修剪技巧可以自然的显露出一个子网络，初始化该网络就能提高训练效率。因此他们提出了 “彩票假设”(lottery ticket hypothesis)：任何密集、随机初始化的前馈网络，都包含一个子网络，以便在隔离训练时可以在最多相同数量的训练迭代中，匹配原始网络的准确性。
然而，在成功的找到这个子网络之前，必须经过多次训练和“修剪”整个网络。这就好像你去买了一大包彩票，然后从里面找出中奖的那个。神经网络的好处是，所有的彩票都在你的手中，你总能找出来中奖的那个。
如果能确切的定位到原始网络中哪个子网络跟最终预测相关，那么也就用不着多次训练和“修建”，直接砍掉无关的部分即可。这样又进一步的降低了工作量，提高了效率。这就意味着，要通过一种技巧，使得每次买彩票必中！
彩票假设也可能迁移学习产生影响，在这种情况下，为图像识别等任务训练的网络可以帮助完成不同的任务。
“打了折”的深度学习
感谢大家对神经网络的过度热捧，使得越来越多的人感叹于神经网络的神奇效果，但很少有人理解训练一个神经网络有多难。一来成本高昂，二来耗时漫长。所以研究人员必须做出许多让步，在模型的大小、训练耗时和最终表现等多个方面进行权衡。
包括今天两位主角提出的“彩票假设”的验证过程。他们首先采用一种通用的方法，用最低的“权重”“修剪”连接来消除受过训练的网络的不必要连接，使其适用于智能手机等低功耗设备。
“彩票假设”的关键创新，是发现经过网络训练之后，修剪连接可能根本就没有必要。为了测试这个假设，他们尝试再次训练完全相同的网络，但没有修剪连接。
重要的是，他们将每个连接“重置”到训练开始时分配的权重。这些初始权重对于帮助中奖来说至关重要，没有它们，被修剪的网络将无法学习。通过修剪越来越多的连接，最终确定了哪些是可以删掉而不影响模型预测能力。
为了验证这一假设，他们在各种条件下在许多不同的网络上重复了这个过程数万次。实验结果显示mnist和cifar10的“中奖彩票”的规模，始终要小于几个全连接架构和卷积前馈架构的10%-20%。这样的话，不仅深度网络在体积上打了折扣，成本、耗时都大打折扣。
下一步，该团队计划探索为什么某些子网特别擅长学习，以及有效找出这些子网的方法。
google已经用python实现了彩票假设算法，并在github上开源：
https://github.com/google-research/lottery-ticket-hypothesis
OPPO和vivo学习苹果,vivo以创新取得优异成绩
特斯拉与比亚迪“贴身肉搏” 电动汽车市场销量不断增长
深入解读Maxim特有的SIMO技术应用和优点
新技术在灵活性和效率上超越了传统的热能存储方案
荣耀V30系列配置细节曝光 搭载麒麟990以及盲孔设计
训练深度神经网络的感觉就像买彩票，“打了折”的深度学习
魅族zero真无孔手机2019年魅族首款手机，获iF设计金奖
ADUM5402CRWZ集成DC/DC转换器的四通道2.5 kV隔离器介绍
工业4glte路由器的功能是怎样的
中国移动把陆良南境颐养小镇打造成5G特色智慧化小镇
区块链初创公司EverMarkets宣布正在建立一个区块链交易平台
把握物联网浪潮下的电路保护机遇
移远通信和高通联合举办物联网技术开放日
以太网光模块市场的收入预计将在2019年全年下降18%
μModule稳压器在物联网设备中的应用
拧紧液化石油气“安全阀”，用科技力量筑牢城市生命线！
五分钟看懂固特异胎压自控技术
曝台积电减少对华为的产能支持 拟避让其它大客户
高性价比掌机Retroid Pocket 3：搭载展锐芯片T310，采用PowerVR GPU
基于AP3766芯片控制的LED驱动电路设计
根据齐鲁晚报报道，最近威海一彩民获得了1219万大奖，可以说是非常幸运了，看的一众神经网络“炼丹师”们羡慕不已。
训练深度神经网络的感觉就像买彩票
hackernews网友opwieurposiu就吐槽，做dnn其实根本和买彩票没什么区别：先是收集训练数据，然后写一个python脚本，支付大约1美元的gpu时间，跑一下。所不同的是，你盯着的不是轮盘的转针，而是损失函数图。
95%的时间都是废的，但是每隔一段时间你就会得到很大的回报。中奖的时候，你可能觉得自己真是个天才！但复盘的时候又发现，你根本不知道为什么a方式有效而b就不行。这种感觉，跟压彩票非常相似。
1美元的神经网络很小了。为了更好地学习，神经网络就必须非常大，需要海量数据集，整个训练过程可能要持续好多天。投入100美元、1000美元、10000美元……的时候，你可能感受到的不仅仅是经费在燃烧了。
可是，如果说，实际上神经网络不一定要那么大呢？
不修剪了，把没用的部分直接砍掉！
mit csail的两位研究人员jonathan frankle和michael carbin发表过一篇论文《彩票假设：寻找稀疏的、可训练的神经网络》刚刚被评为iclr最佳论文。
论文指出，神经网络剪枝技术可以在不影响精度的前提下，将训练网络的参数数量减少90%以上，降低存储需求并提高推理的计算性能。然而，当前的经验是，剪枝产生的稀疏架构从一开始就很难训，然而同时也能提高了效率。
frankle和carbin发现，一个标准的修剪技巧可以自然的显露出一个子网络，初始化该网络就能提高训练效率。因此他们提出了 “彩票假设”(lottery ticket hypothesis)：任何密集、随机初始化的前馈网络，都包含一个子网络，以便在隔离训练时可以在最多相同数量的训练迭代中，匹配原始网络的准确性。
然而，在成功的找到这个子网络之前，必须经过多次训练和“修剪”整个网络。这就好像你去买了一大包彩票，然后从里面找出中奖的那个。神经网络的好处是，所有的彩票都在你的手中，你总能找出来中奖的那个。
如果能确切的定位到原始网络中哪个子网络跟最终预测相关，那么也就用不着多次训练和“修建”，直接砍掉无关的部分即可。这样又进一步的降低了工作量，提高了效率。这就意味着，要通过一种技巧，使得每次买彩票必中！
彩票假设也可能迁移学习产生影响，在这种情况下，为图像识别等任务训练的网络可以帮助完成不同的任务。
“打了折”的深度学习
感谢大家对神经网络的过度热捧，使得越来越多的人感叹于神经网络的神奇效果，但很少有人理解训练一个神经网络有多难。一来成本高昂，二来耗时漫长。所以研究人员必须做出许多让步，在模型的大小、训练耗时和最终表现等多个方面进行权衡。
包括今天两位主角提出的“彩票假设”的验证过程。他们首先采用一种通用的方法，用最低的“权重”“修剪”连接来消除受过训练的网络的不必要连接，使其适用于智能手机等低功耗设备。
“彩票假设”的关键创新，是发现经过网络训练之后，修剪连接可能根本就没有必要。为了测试这个假设，他们尝试再次训练完全相同的网络，但没有修剪连接。
重要的是，他们将每个连接“重置”到训练开始时分配的权重。这些初始权重对于帮助中奖来说至关重要，没有它们，被修剪的网络将无法学习。通过修剪越来越多的连接，最终确定了哪些是可以删掉而不影响模型预测能力。
为了验证这一假设，他们在各种条件下在许多不同的网络上重复了这个过程数万次。实验结果显示mnist和cifar10的“中奖彩票”的规模，始终要小于几个全连接架构和卷积前馈架构的10%-20%。这样的话，不仅深度网络在体积上打了折扣，成本、耗时都大打折扣。
下一步，该团队计划探索为什么某些子网特别擅长学习，以及有效找出这些子网的方法。
google已经用python实现了彩票假设算法，并在github上开源：
https://github.com/google-research/lottery-ticket-hypothesis
OPPO和vivo学习苹果,vivo以创新取得优异成绩
特斯拉与比亚迪“贴身肉搏” 电动汽车市场销量不断增长
深入解读Maxim特有的SIMO技术应用和优点
新技术在灵活性和效率上超越了传统的热能存储方案
荣耀V30系列配置细节曝光 搭载麒麟990以及盲孔设计
训练深度神经网络的感觉就像买彩票，“打了折”的深度学习
魅族zero真无孔手机2019年魅族首款手机，获iF设计金奖
ADUM5402CRWZ集成DC/DC转换器的四通道2.5 kV隔离器介绍
工业4glte路由器的功能是怎样的
中国移动把陆良南境颐养小镇打造成5G特色智慧化小镇
区块链初创公司EverMarkets宣布正在建立一个区块链交易平台
把握物联网浪潮下的电路保护机遇
移远通信和高通联合举办物联网技术开放日
以太网光模块市场的收入预计将在2019年全年下降18%
μModule稳压器在物联网设备中的应用
拧紧液化石油气“安全阀”，用科技力量筑牢城市生命线！
五分钟看懂固特异胎压自控技术
曝台积电减少对华为的产能支持 拟避让其它大客户
高性价比掌机Retroid Pocket 3：搭载展锐芯片T310，采用PowerVR GPU
基于AP3766芯片控制的LED驱动电路设计