新一代深度学习模型取决于迁移学习
一年前，我和几个小伙伴一起开始在构建机器学习api的开源平台cortex上工作。起初，我们假设所有用户，包括所有把机器学习（ml）运用于生产的公司，都是拥有成熟数据科学团队的大公司。
但我们大错特错了。
一年中，我们看见学生、独立工程师以及小型团队纷纷把模型投入生产。出乎意料，他们提供的通常都是最先进的大型深度学习模型，可用于日常应用程序。一个两人组成的团队最近建立了一个500个gpu推理集群，以支持其应用程序的1万个并发用户。
仅仅在不久之前，只有预算高、数据量大的公司才能做到这样的事情。现在，任何团队都可以做到。这种转变是多种因素共同作用的结果，但其中一个重要因素是迁移学习。
什么是迁移学习
广义上讲，迁移学习是指将经过一项任务训练的深度神经网络的知识“迁移”到训练相关任务的另一个网络的技术。例如，可以使用迁移学习来获取用于对象检测模型，然后使用少量数据对其进行“微调”来检测更具体的事物。
这些技术之所以能起作用是因为深度神经网络的体系结构。网络的低层负责更多的基础知识，而特定任务知识则通常在顶层：
图源：stanford
较低层训练完后，可以用少量数据微调较高的层。例如，对象检测模型（比如说yolov4）进行微调后可以识别具有很小数据集的特定事物（例如车牌）。
在网络之间迁移知识的技术各不相同，但不约而同的是，最近有许多新项目旨在简化这个过程。例如，gpt-2-simple库允许任何人微调gpt-2，还可以使用python函数生成预测：https://gist.github.com/caleb-kaiser/dd40d16647b1e4cda7545837ea961272。
迁移学习是如何打通机器学习的
大部分团队不会因为缺乏某类知识而无法使用机器学习。如果要构建图像分类器，有许多知名的模型可以使用，使用现代化框架会让训练变得非常简单。对于大多数团队来说，机器学习因其成本因素所以从未被视为一个现实的选择。
让我们用openai的（到目前为止）最佳语言模型gpt-2为例来说明。
如果使用公有云，单就估算gpt-2训练成本就已超过4万美元，除了这一费用，gpt-2还需要训练40gb的文本内容（保守估计超过2000万页），抓取和整理大量文本本身就是一个巨大的项目。这让大多数团队无法训练自己的gpt-2。
但如果只是对其进行微调呢？来看一个相关项目。
ai dungeon是一款可自行选择的冒险游戏，其风格延续之前的命令游戏地牢爬行者。玩家通过输入指令进行游戏，游戏通过推进冒险作为回应。这款冒险游戏是由训练后的gpt-2模型编写的，你可以编写自己选择的冒险文本：
ai dungeon是由独立工程师尼克·沃顿开发的，他利用gpt-2-simple和从chooseyourstory.com网站上提取的文本微调gpt。沃尔顿表示微调gpt-2需要30mb的文本和12小时左右的时间来训练dgx-1——大约花费了374.62美元，但做出来的产品效果和aws的p3dn.24xlarge差不多。
也许大部分团队只能对着4万美元的云服务费和40gb的文本提取量望洋兴叹，但是375美元和30mb即便对小团队来说也不成问题。
迁移学习的应用领域超越了语言模型。在药物发现中，通常没有足够的特定疾病数据来从零开始训练模型。deepscreening是一个解决此类问题的免费平台，它允许用户上传自己的数据库和微调模型，然后利用该平台来筛选可能会发生反应的化合物库。
图源：unsplash
从零开始训练一个这样的模型超出大多数研究人员的能力范围，但是由于有了迁移学习，突然间人人都可以做到。
新一代深度学习模型取决于迁移学习
必须强调的一点是，尽管笔者目前给出的例子都偏重经济效益，但迁移学习并不是小型团队用来凑数的一个工具，所有团队无论大小都在使用迁移学习来训练深度学习模型。事实上，一些新发布的模型都是专门针对迁移学习的。
还记得gpt-2首次发布时，因其原始内存而霸占各大头版头条，我们以前从未听说过有15亿参数的模型。然而和gpt-3相比则是小巫见大巫了，后者参数量达到1750亿。
除了openai之外，几乎没有哪家公司能训练拥有1750亿个参数的语言模型。即便是部署这么大的模型也存在诸多问题。openai打破了他们发布开源的传统，预训练新模型版本，将gpt-3作为api发行—用户可以使用自己的数据微调gpt-3。
换句话说，gpt-3的庞大让迁移学习不再是训练新任务的一个经济实惠的方法，而是唯一可行的方法。
迁移学习优先方法已经变得越来越普遍。google刚刚发布的big transfer是一个先进计算机视觉模型开源存储库。尽管计算机视觉模型通常要比语言模型小，但它们已经开始追赶了——预训练过的resnet-152x4接受了1400万张图像的训练，容量为4.1 gb。
顾名思义，big transfer旨在鼓励利用这些模型来使用转移学习。作为存储库的一部分，google还提供了可以轻松微调每个模型的代码。正如下图所示，模型容量会随着时间不断增大（gpt-3会将图表的大小增加10倍）：
图源：microsoft
如果这种趋势持续下去（没有迹象表明这种趋势不会持续），那么迁移学习将成为团队使用前沿深度学习的主要方式。
随着模型变得越来越大，迁移学习使得每个团队都能使用这些模型，投入生产的大型深度学习模型的数量猛增。训练这些模型是一个挑战——它们需要大量空间和内存来进行推理，而且通常无法一次处理多个请求。
图源：unsplash
因为这些模型（gpu / asic推断，基于请求的弹性伸缩，spot实例支持），我们已经给cortex引入了几个主要功能，并且随着模型的扩大，我们将不断添加新的功能。
然而，与让世界上每个工程师都可以使用最先进的深度学习解决问题的潜力相比，基础架构挑战性的难度微不足道。人人可使用的深度学习，已经触手可及。
Atmel maXTouch为三星智能电话实现触摸屏提供解决
特发集团与华为签署合作协议 将围绕数字化、智慧化建设开展合作
基于PSOCTM 62处理器的谐波发生器设计实现
中央处理器cpu性能排名
ADI推出4GHz PLL合成器具领先相位杂讯性能
新一代深度学习模型取决于迁移学习
紫光展锐携手中国移动共创数字未来
流延膜表面缺陷检测设备的原理及功能
诺基亚终于归来！但是诺基亚6的骁龙430真的够用吗？
小米集团武汉总部大厦举行奠基仪式
中国联通推出异地同享业务
可编程器件的特点和发展历程
延时为何重要？浅析大延时的痛
网络电视直播软件哪个好呢？
京东方携智慧一体机产品亮相2021深圳国际全触与显示展
物联网的网络通信技术是怎么一回事
D级放大器与高分辨率AB级放大器的差距弥补解决方案分析
PCB的单片机控制板有什么设计的原则
如何在封装库中创建3D器件模型
水下LED灯条如何进行密封性防水测试
但我们大错特错了。
一年中，我们看见学生、独立工程师以及小型团队纷纷把模型投入生产。出乎意料，他们提供的通常都是最先进的大型深度学习模型，可用于日常应用程序。一个两人组成的团队最近建立了一个500个gpu推理集群，以支持其应用程序的1万个并发用户。
仅仅在不久之前，只有预算高、数据量大的公司才能做到这样的事情。现在，任何团队都可以做到。这种转变是多种因素共同作用的结果，但其中一个重要因素是迁移学习。
什么是迁移学习
广义上讲，迁移学习是指将经过一项任务训练的深度神经网络的知识“迁移”到训练相关任务的另一个网络的技术。例如，可以使用迁移学习来获取用于对象检测模型，然后使用少量数据对其进行“微调”来检测更具体的事物。
这些技术之所以能起作用是因为深度神经网络的体系结构。网络的低层负责更多的基础知识，而特定任务知识则通常在顶层：
图源：stanford
较低层训练完后，可以用少量数据微调较高的层。例如，对象检测模型（比如说yolov4）进行微调后可以识别具有很小数据集的特定事物（例如车牌）。
在网络之间迁移知识的技术各不相同，但不约而同的是，最近有许多新项目旨在简化这个过程。例如，gpt-2-simple库允许任何人微调gpt-2，还可以使用python函数生成预测：https://gist.github.com/caleb-kaiser/dd40d16647b1e4cda7545837ea961272。
迁移学习是如何打通机器学习的
大部分团队不会因为缺乏某类知识而无法使用机器学习。如果要构建图像分类器，有许多知名的模型可以使用，使用现代化框架会让训练变得非常简单。对于大多数团队来说，机器学习因其成本因素所以从未被视为一个现实的选择。
让我们用openai的（到目前为止）最佳语言模型gpt-2为例来说明。
如果使用公有云，单就估算gpt-2训练成本就已超过4万美元，除了这一费用，gpt-2还需要训练40gb的文本内容（保守估计超过2000万页），抓取和整理大量文本本身就是一个巨大的项目。这让大多数团队无法训练自己的gpt-2。
但如果只是对其进行微调呢？来看一个相关项目。
ai dungeon是一款可自行选择的冒险游戏，其风格延续之前的命令游戏地牢爬行者。玩家通过输入指令进行游戏，游戏通过推进冒险作为回应。这款冒险游戏是由训练后的gpt-2模型编写的，你可以编写自己选择的冒险文本：
ai dungeon是由独立工程师尼克·沃顿开发的，他利用gpt-2-simple和从chooseyourstory.com网站上提取的文本微调gpt。沃尔顿表示微调gpt-2需要30mb的文本和12小时左右的时间来训练dgx-1——大约花费了374.62美元，但做出来的产品效果和aws的p3dn.24xlarge差不多。
也许大部分团队只能对着4万美元的云服务费和40gb的文本提取量望洋兴叹，但是375美元和30mb即便对小团队来说也不成问题。
迁移学习的应用领域超越了语言模型。在药物发现中，通常没有足够的特定疾病数据来从零开始训练模型。deepscreening是一个解决此类问题的免费平台，它允许用户上传自己的数据库和微调模型，然后利用该平台来筛选可能会发生反应的化合物库。
图源：unsplash
从零开始训练一个这样的模型超出大多数研究人员的能力范围，但是由于有了迁移学习，突然间人人都可以做到。
新一代深度学习模型取决于迁移学习
必须强调的一点是，尽管笔者目前给出的例子都偏重经济效益，但迁移学习并不是小型团队用来凑数的一个工具，所有团队无论大小都在使用迁移学习来训练深度学习模型。事实上，一些新发布的模型都是专门针对迁移学习的。
还记得gpt-2首次发布时，因其原始内存而霸占各大头版头条，我们以前从未听说过有15亿参数的模型。然而和gpt-3相比则是小巫见大巫了，后者参数量达到1750亿。
除了openai之外，几乎没有哪家公司能训练拥有1750亿个参数的语言模型。即便是部署这么大的模型也存在诸多问题。openai打破了他们发布开源的传统，预训练新模型版本，将gpt-3作为api发行—用户可以使用自己的数据微调gpt-3。
换句话说，gpt-3的庞大让迁移学习不再是训练新任务的一个经济实惠的方法，而是唯一可行的方法。
迁移学习优先方法已经变得越来越普遍。google刚刚发布的big transfer是一个先进计算机视觉模型开源存储库。尽管计算机视觉模型通常要比语言模型小，但它们已经开始追赶了——预训练过的resnet-152x4接受了1400万张图像的训练，容量为4.1 gb。
顾名思义，big transfer旨在鼓励利用这些模型来使用转移学习。作为存储库的一部分，google还提供了可以轻松微调每个模型的代码。正如下图所示，模型容量会随着时间不断增大（gpt-3会将图表的大小增加10倍）：
图源：microsoft
如果这种趋势持续下去（没有迹象表明这种趋势不会持续），那么迁移学习将成为团队使用前沿深度学习的主要方式。
随着模型变得越来越大，迁移学习使得每个团队都能使用这些模型，投入生产的大型深度学习模型的数量猛增。训练这些模型是一个挑战——它们需要大量空间和内存来进行推理，而且通常无法一次处理多个请求。
图源：unsplash
因为这些模型（gpu / asic推断，基于请求的弹性伸缩，spot实例支持），我们已经给cortex引入了几个主要功能，并且随着模型的扩大，我们将不断添加新的功能。
然而，与让世界上每个工程师都可以使用最先进的深度学习解决问题的潜力相比，基础架构挑战性的难度微不足道。人人可使用的深度学习，已经触手可及。
Atmel maXTouch为三星智能电话实现触摸屏提供解决
特发集团与华为签署合作协议 将围绕数字化、智慧化建设开展合作
基于PSOCTM 62处理器的谐波发生器设计实现
中央处理器cpu性能排名
ADI推出4GHz PLL合成器具领先相位杂讯性能
新一代深度学习模型取决于迁移学习
紫光展锐携手中国移动共创数字未来
流延膜表面缺陷检测设备的原理及功能
诺基亚终于归来！但是诺基亚6的骁龙430真的够用吗？
小米集团武汉总部大厦举行奠基仪式
中国联通推出异地同享业务
可编程器件的特点和发展历程
延时为何重要？浅析大延时的痛
网络电视直播软件哪个好呢？
京东方携智慧一体机产品亮相2021深圳国际全触与显示展
物联网的网络通信技术是怎么一回事
D级放大器与高分辨率AB级放大器的差距弥补解决方案分析
PCB的单片机控制板有什么设计的原则
如何在封装库中创建3D器件模型
水下LED灯条如何进行密封性防水测试