谷歌大脑CMU联手推出XLNet,20项任务全面超越BERT
谷歌大脑和cmu联合团队提出面向nlp预训练新方法xlnet，性能全面超越此前nlp领域的黄金标杆bert，在20个任务上实现了性能的大幅提升，刷新了18个任务上的sota结果，可谓全面屠榜！
近日，谷歌大脑主任科学家quoc v. le在twitter上放出一篇重磅论文，立即引发热议：
这篇论文提出一种新的nlp模型预训练方法xlnet，在20项任务上(如squad、glue、race) 的性能大幅超越了此前nlp黄金标杆bert。
xlnet：克服bert固有局限，20项任务性能强于bert
本文提出的xlnet是一种广义自回归预训练方法，具有两大特点：（1）通过最大化分解阶的所有排列的预期可能性来学习双向语境，（2）由于其自回归的性质，克服了bert的局限性。
此外，xlnet将最先进的自回归模型transformer-xl的创意整合到预训练过程中。实验显示，xlnet在20个任务上的表现优于bert，而且大都实现了大幅度性能提升，并在18个任务上达到了sota结果，这些任务包括问答、自然语言推理、情感分析和文档排名等。
与现有语言预训练目标相比，本文提出了一种广义的自回归方法，同时利用了ar语言建模和ae的优点，同时避免了二者的局限性。首先是不再像传统的ar模型那样，使用固定的前向或后向分解顺序，而是最大化序列的预期对数似然性分解顺序的所有可能排列。每个位置的上下文可以包含来自该位置前后的令牌，实现捕获双向语境的目标。
作为通用ar语言模型，xlnet不依赖于数据损坏。因此，xlnet不会受到bert受到的预训练和微调后的模型之间差异的影响。同时以自然的方式使用乘积规则，分解预测的令牌的联合概率，从而消除了在bert中做出的独立性假设。
除了新的预训练目标外，xlnet还改进了预训练的架构设计。 xlnet将transformer-xl的分段重复机制和相对编码方案集成到预训练中，从而凭经验改进了性能，对于涉及较长文本序列的任务效果尤其明显。
图1：在给定相同输入序列x，但分解顺序不同的情况下，对置换语言建模目标的预测结果
图2：（a）：内容流注意力机制，与标准的自注意力机制相同。（b）查询流注意力，其中不含关于内容xzt的访问信息。（c）：使用双信息流注意力机制的置换语言建模训练示意图。
全面屠榜：大幅刷新18项任务数据集sota性能
表1：与阅读理解任务race测试集的最新结果的比较。 *表示使用聚集模型。 race中的“middle”和“high”是代表初中和高中难度水平的两个子集。所有bert和xlnet结果均采用大小相似的模型（又称bert-large），模型为24层架构。我们的xlnet单一模型在精确度方面高出了7.6分
表2：单xlnet模型在squad1.1数据集上的性能优于分别优于真人表现和最佳聚集模型性能达7.6 em和2.5 em。
表3：与几个文本分类数据集的测试集上错误率sota结果的比较。所有bert和xlnet结果均采用具有相似大小的24层模型架构（bert-large）
表4：glue数据集上的结果。所有结果都基于具有相似模型尺寸的24层架构（也称bert-large）。可以将最上行与bert和最下行中的结果直接比较。
表5：与文档排名任务clueweb09-b的测试集上的最新结果的比较。 †表示xlnet的结果。
表6：我们使用bert官方实现方案和xlnet超参数搜索空间在其他数据集上运行bert，结果如图所示，其中k是控制优化难度的超参数。所有模型都在相同的数据上进行预训练。
从实验结果可以看出，说xlnet全面超越bert其实一点都不夸张。
知乎热议：512tpu训练，家里没矿真搞不起
有热心网友一早将这篇“屠榜”论文发在了知乎上，从网友的评论上看，一方面承认谷歌和cmu此项成果的突破，同时也有人指出，这样性能强劲的xlnet，还是要背靠谷歌tpu平台的巨额算力资源，“大力出奇迹”果然还是深度学习界的第一真理吗？
比如，网友“towser”在对论文核心部分内容的简要回顾中，提到了xlnet的优化方法，其中引人注目的一点是其背后的谷歌爸爸的海量算力资源的支持：
512个tpu训练了2.5天，训练总计算量是bert的5倍！要知道作为谷歌的亲儿子，bert的训练计算量已经让多数人望尘莫及了。没钱，搞什么深度学习？
难怪nlp领域的专家、清华大学刘知远副教授对xlnet一句评价被毫无悬念地顶到了知乎最高赞：
目前，xlnet的代码和预训练模型也已经在github上放出。
360N5红米Note4X拍照测评对比,谁才是千元机的老司机?
三星宣布已经完成第二代10nm的质量验证工作
深度学习与人工智能密不可分 技术已深入生活
以后的孩子都得会编程适应“人工智能时代的切入口之一”好有所了解
卷积神经网络和深度神经网络的优缺点 卷积神经网络和深度神经网络的区别
谷歌大脑CMU联手推出XLNet,20项任务全面超越BERT
什么是色散补偿光纤
“冬天”即将来临，人工智能何去何从？
电流探头在谐波测试中的应用方案
零中频接收机中IQ不平衡的来源和影响
购买破壁机掌握这3点，双十一轻松下单不纠结
好视角智能机柜锁总览
分线盒的作用和位置
Java运行时内存区域与硬件内存的关系2
常州电网基建共44项目，承诺实现全市配电自动化全覆盖
Camon16可能会首先在印度的商店首次正式亮相
中国移动香港宣布，正式实现商用5G独立组网
微软Windows 10 21H2更新改进将在2021年下半年开始向消费者推出
一加5什么时候上市?最轻薄安卓旗舰诞生,一加手机5真机浮出水面
万物智联时代传感企业如何抓住智能化新趋势&新商机？
近日，谷歌大脑主任科学家quoc v. le在twitter上放出一篇重磅论文，立即引发热议：
这篇论文提出一种新的nlp模型预训练方法xlnet，在20项任务上(如squad、glue、race) 的性能大幅超越了此前nlp黄金标杆bert。
xlnet：克服bert固有局限，20项任务性能强于bert
本文提出的xlnet是一种广义自回归预训练方法，具有两大特点：（1）通过最大化分解阶的所有排列的预期可能性来学习双向语境，（2）由于其自回归的性质，克服了bert的局限性。
此外，xlnet将最先进的自回归模型transformer-xl的创意整合到预训练过程中。实验显示，xlnet在20个任务上的表现优于bert，而且大都实现了大幅度性能提升，并在18个任务上达到了sota结果，这些任务包括问答、自然语言推理、情感分析和文档排名等。
与现有语言预训练目标相比，本文提出了一种广义的自回归方法，同时利用了ar语言建模和ae的优点，同时避免了二者的局限性。首先是不再像传统的ar模型那样，使用固定的前向或后向分解顺序，而是最大化序列的预期对数似然性分解顺序的所有可能排列。每个位置的上下文可以包含来自该位置前后的令牌，实现捕获双向语境的目标。
作为通用ar语言模型，xlnet不依赖于数据损坏。因此，xlnet不会受到bert受到的预训练和微调后的模型之间差异的影响。同时以自然的方式使用乘积规则，分解预测的令牌的联合概率，从而消除了在bert中做出的独立性假设。
除了新的预训练目标外，xlnet还改进了预训练的架构设计。 xlnet将transformer-xl的分段重复机制和相对编码方案集成到预训练中，从而凭经验改进了性能，对于涉及较长文本序列的任务效果尤其明显。
图1：在给定相同输入序列x，但分解顺序不同的情况下，对置换语言建模目标的预测结果
图2：（a）：内容流注意力机制，与标准的自注意力机制相同。（b）查询流注意力，其中不含关于内容xzt的访问信息。（c）：使用双信息流注意力机制的置换语言建模训练示意图。
全面屠榜：大幅刷新18项任务数据集sota性能
表1：与阅读理解任务race测试集的最新结果的比较。 *表示使用聚集模型。 race中的“middle”和“high”是代表初中和高中难度水平的两个子集。所有bert和xlnet结果均采用大小相似的模型（又称bert-large），模型为24层架构。我们的xlnet单一模型在精确度方面高出了7.6分
表2：单xlnet模型在squad1.1数据集上的性能优于分别优于真人表现和最佳聚集模型性能达7.6 em和2.5 em。
表3：与几个文本分类数据集的测试集上错误率sota结果的比较。所有bert和xlnet结果均采用具有相似大小的24层模型架构（bert-large）
表4：glue数据集上的结果。所有结果都基于具有相似模型尺寸的24层架构（也称bert-large）。可以将最上行与bert和最下行中的结果直接比较。
表5：与文档排名任务clueweb09-b的测试集上的最新结果的比较。 †表示xlnet的结果。
表6：我们使用bert官方实现方案和xlnet超参数搜索空间在其他数据集上运行bert，结果如图所示，其中k是控制优化难度的超参数。所有模型都在相同的数据上进行预训练。
从实验结果可以看出，说xlnet全面超越bert其实一点都不夸张。
知乎热议：512tpu训练，家里没矿真搞不起
有热心网友一早将这篇“屠榜”论文发在了知乎上，从网友的评论上看，一方面承认谷歌和cmu此项成果的突破，同时也有人指出，这样性能强劲的xlnet，还是要背靠谷歌tpu平台的巨额算力资源，“大力出奇迹”果然还是深度学习界的第一真理吗？
比如，网友“towser”在对论文核心部分内容的简要回顾中，提到了xlnet的优化方法，其中引人注目的一点是其背后的谷歌爸爸的海量算力资源的支持：
512个tpu训练了2.5天，训练总计算量是bert的5倍！要知道作为谷歌的亲儿子，bert的训练计算量已经让多数人望尘莫及了。没钱，搞什么深度学习？
难怪nlp领域的专家、清华大学刘知远副教授对xlnet一句评价被毫无悬念地顶到了知乎最高赞：
目前，xlnet的代码和预训练模型也已经在github上放出。
360N5红米Note4X拍照测评对比,谁才是千元机的老司机?
三星宣布已经完成第二代10nm的质量验证工作
深度学习与人工智能密不可分 技术已深入生活
以后的孩子都得会编程适应“人工智能时代的切入口之一”好有所了解
卷积神经网络和深度神经网络的优缺点 卷积神经网络和深度神经网络的区别
谷歌大脑CMU联手推出XLNet,20项任务全面超越BERT
什么是色散补偿光纤
“冬天”即将来临，人工智能何去何从？
电流探头在谐波测试中的应用方案
零中频接收机中IQ不平衡的来源和影响
购买破壁机掌握这3点，双十一轻松下单不纠结
好视角智能机柜锁总览
分线盒的作用和位置
Java运行时内存区域与硬件内存的关系2
常州电网基建共44项目，承诺实现全市配电自动化全覆盖
Camon16可能会首先在印度的商店首次正式亮相
中国移动香港宣布，正式实现商用5G独立组网
微软Windows 10 21H2更新改进将在2021年下半年开始向消费者推出
一加5什么时候上市?最轻薄安卓旗舰诞生,一加手机5真机浮出水面
万物智联时代传感企业如何抓住智能化新趋势&新商机？