介绍一种新颖的三元组对比学习训练框架
摘要
在自然语言处理和知识图谱领域的信息提取中，三元组抽取是必不可少的任务。在本文中，我们将重新审视用于序列生成的端到端三元组抽取任务。由于生成三元组抽取可能难以捕获长期依赖关系并生成不忠实的三元组，因此我们引入了一种新的模型，即使用生成式transformer的对比学习三元组抽取框架。
具体来说，我们介绍了一个共享的transformer模块，用于基于编码器-解码器的生成。为了产生忠实的结果，我们提出了一种新颖的三元组对比学习训练框架。此外，我们引入了两种机制来进一步改善模型的性能（即，分批动态注意掩码和三元组校准）。在三个数据集（nyt，webnlg和mie）上的实验结果表明，我们的方法比基线具有更好的性能。我们的代码和数据集将在论文出版后发布。
论文动机
编码器-解码器模型是功能强大的工具，已在许多nlp任务中获得成功,但是现有方法仍然存在两个关键问题。首先，由于递归神经网络（rnn）的固有缺陷，它们无法捕获长期依赖关系，从而导致重要信息的丢失，否则将在句子中反映出来，从而导致模型无法应用更长的文本。第二，缺乏工作致力于生成忠实的三元组，序列到序列的体系结构会产生不忠实的序列，从而产生意义上的矛盾。例如，给定句子“美国总统特朗普在纽约市皇后区长大，并居住在那里直到13岁”，该模型可以生成事实“（特朗普出生于皇后区）”。尽管从逻辑上讲是正确的，但我们无法从给定的句子中找到直接的证据来支持它。
为了解决这些问题，我们引入了带有生成变压器（cgt）的对比学习三元组提取框架，该框架是一个共享的transformer模块，支持编码器-解码器的生成式三元组对比学习多任务学习。首先，我们使用分隔符和部分因果掩码机制将输入序列与目标序列连接起来，以区分编码器-解码器表示形式。除了预先训练的模型之外，我们的模型不需要任何其他参数。然后，我们介绍了一种新颖的三元组对比学习对象，该对象利用真实的三元组作为正实例，并利用随机令牌采样将损坏的三元组构造为负实例。为了共同优化三元组生成对象和对比学习对象，我们引入了分批动态注意掩码机制，该机制允许我们动态选择不同的对象并共同优化任务。最后，我们介绍了一种新颖的三元组校准算法，以在推理阶段滤除虚假三元组。
这项工作的贡献如下：
我们将三元组提取作为序列生成任务进行了重新介绍，并引入了一种新颖的cgt模型。考虑到增加的提取功能，cgt除了在预训练语言模型中发现的参数外，不需要其他参数。
我们引入了两种机制来进一步提高模型性能（即，批处理动态注意掩码和三元组校准）。第一个可以联合优化不同的对象，第二个可以确保忠实的推理。
我们在三个基准数据集上评估了cgt。 我们的模型优于其他强大的基准模型。我们还证明，在捕获长期依存关系方面，cgt比现有的三元组抽取方法更好，因此，在使用长句子场景下依然可以获得更好的性能。
模型框架
这里我们展示了cgt生成式transformer的总体架构。右上部分表示transformer生成模块，右下部分表示三元组对比学习模块。这两个部分训练时共同优化。生成模块依靠部分因果掩码机制建模成序列生成任务，如右图中的示例所示，对于三元组序列生成，其中右上部分设置为-∞以阻止从源段到目标段的关注；左侧部分设置为全0，表示令牌能够参与第一段。利用交叉熵损失生成来优化三元组生成过程，获得生成损失。对比学习模块将输入文本与正确的三元组实例或者伪造的三元组进行随机拼接，依靠部分因果掩码机制建模成文本分类任务，其中mask矩阵的元素全为0，利用经过mlp多层感知机层的特殊token[cls]表示来计算分类打分函数，鉴别是否为正确实例，从而增强模型对关键token的感知能力。我们利用交叉熵优化对比损失。生成损失与对比学习损失通过一个超参数权衡构成了我们最终的总体损失。我们的解码推理采用的是波束搜索和启发式约束。
实验结果
我们对三个基准数据集进行了实验：纽约时报（nyt），webnlg和mie。mie是医学领域的大规模中文对话信息提取数据集。图2中中显示了这三个数据集的部分实验统计信息。
华为与互联网企业一起探索5G应用的落地价值
关于华虹半导体深耕MCU市场分析和研究
华为售价超苹果、三星？根据不存在！满满都是套路
三星Galaxy S7星钻黑真机提前曝光，颜值控已经饥渴难耐！
宽带激光熔覆修复技术修复轴的工艺流程及性能特点
介绍一种新颖的三元组对比学习训练框架
俄罗斯A-100预警飞机反隐身能力远超我国？
追光十年 | 深圳一座满勤工作十年的光伏电站
LG官宣了2019新款OLED电视的大部分产品的定价和出货时间
空气开关的原理图解
无人机送快递热度飞速发展，但要实现无人机商用还需继续发展
位移传感器的分类以及应用介绍
无线充电技术三大主流标准简介
ds18b20的特性_ds18b20温度传感器应用
人脸识别的这五大应用场景你知道吗
被召回的AirPods Pro产业链关键元器件有哪些？
如何建立一个更完美的区块链
虹科案例 | EtherCAT协议在涂胶机器人控制系统的应用
三相电压不平衡度标准解析：变压器三相电压不平衡的危害、后果以及三相不平衡的解决办法
工业采用5G技术联网的工业设备占比已经超过了15%
在自然语言处理和知识图谱领域的信息提取中，三元组抽取是必不可少的任务。在本文中，我们将重新审视用于序列生成的端到端三元组抽取任务。由于生成三元组抽取可能难以捕获长期依赖关系并生成不忠实的三元组，因此我们引入了一种新的模型，即使用生成式transformer的对比学习三元组抽取框架。
具体来说，我们介绍了一个共享的transformer模块，用于基于编码器-解码器的生成。为了产生忠实的结果，我们提出了一种新颖的三元组对比学习训练框架。此外，我们引入了两种机制来进一步改善模型的性能（即，分批动态注意掩码和三元组校准）。在三个数据集（nyt，webnlg和mie）上的实验结果表明，我们的方法比基线具有更好的性能。我们的代码和数据集将在论文出版后发布。
论文动机
编码器-解码器模型是功能强大的工具，已在许多nlp任务中获得成功,但是现有方法仍然存在两个关键问题。首先，由于递归神经网络（rnn）的固有缺陷，它们无法捕获长期依赖关系，从而导致重要信息的丢失，否则将在句子中反映出来，从而导致模型无法应用更长的文本。第二，缺乏工作致力于生成忠实的三元组，序列到序列的体系结构会产生不忠实的序列，从而产生意义上的矛盾。例如，给定句子“美国总统特朗普在纽约市皇后区长大，并居住在那里直到13岁”，该模型可以生成事实“（特朗普出生于皇后区）”。尽管从逻辑上讲是正确的，但我们无法从给定的句子中找到直接的证据来支持它。
为了解决这些问题，我们引入了带有生成变压器（cgt）的对比学习三元组提取框架，该框架是一个共享的transformer模块，支持编码器-解码器的生成式三元组对比学习多任务学习。首先，我们使用分隔符和部分因果掩码机制将输入序列与目标序列连接起来，以区分编码器-解码器表示形式。除了预先训练的模型之外，我们的模型不需要任何其他参数。然后，我们介绍了一种新颖的三元组对比学习对象，该对象利用真实的三元组作为正实例，并利用随机令牌采样将损坏的三元组构造为负实例。为了共同优化三元组生成对象和对比学习对象，我们引入了分批动态注意掩码机制，该机制允许我们动态选择不同的对象并共同优化任务。最后，我们介绍了一种新颖的三元组校准算法，以在推理阶段滤除虚假三元组。
这项工作的贡献如下：
我们将三元组提取作为序列生成任务进行了重新介绍，并引入了一种新颖的cgt模型。考虑到增加的提取功能，cgt除了在预训练语言模型中发现的参数外，不需要其他参数。
我们引入了两种机制来进一步提高模型性能（即，批处理动态注意掩码和三元组校准）。第一个可以联合优化不同的对象，第二个可以确保忠实的推理。
我们在三个基准数据集上评估了cgt。 我们的模型优于其他强大的基准模型。我们还证明，在捕获长期依存关系方面，cgt比现有的三元组抽取方法更好，因此，在使用长句子场景下依然可以获得更好的性能。
模型框架
这里我们展示了cgt生成式transformer的总体架构。右上部分表示transformer生成模块，右下部分表示三元组对比学习模块。这两个部分训练时共同优化。生成模块依靠部分因果掩码机制建模成序列生成任务，如右图中的示例所示，对于三元组序列生成，其中右上部分设置为-∞以阻止从源段到目标段的关注；左侧部分设置为全0，表示令牌能够参与第一段。利用交叉熵损失生成来优化三元组生成过程，获得生成损失。对比学习模块将输入文本与正确的三元组实例或者伪造的三元组进行随机拼接，依靠部分因果掩码机制建模成文本分类任务，其中mask矩阵的元素全为0，利用经过mlp多层感知机层的特殊token[cls]表示来计算分类打分函数，鉴别是否为正确实例，从而增强模型对关键token的感知能力。我们利用交叉熵优化对比损失。生成损失与对比学习损失通过一个超参数权衡构成了我们最终的总体损失。我们的解码推理采用的是波束搜索和启发式约束。
实验结果
我们对三个基准数据集进行了实验：纽约时报（nyt），webnlg和mie。mie是医学领域的大规模中文对话信息提取数据集。图2中中显示了这三个数据集的部分实验统计信息。
华为与互联网企业一起探索5G应用的落地价值
关于华虹半导体深耕MCU市场分析和研究
华为售价超苹果、三星？根据不存在！满满都是套路
三星Galaxy S7星钻黑真机提前曝光，颜值控已经饥渴难耐！
宽带激光熔覆修复技术修复轴的工艺流程及性能特点
介绍一种新颖的三元组对比学习训练框架
俄罗斯A-100预警飞机反隐身能力远超我国？
追光十年 | 深圳一座满勤工作十年的光伏电站
LG官宣了2019新款OLED电视的大部分产品的定价和出货时间
空气开关的原理图解
无人机送快递热度飞速发展，但要实现无人机商用还需继续发展
位移传感器的分类以及应用介绍
无线充电技术三大主流标准简介
ds18b20的特性_ds18b20温度传感器应用
人脸识别的这五大应用场景你知道吗
被召回的AirPods Pro产业链关键元器件有哪些？
如何建立一个更完美的区块链
虹科案例 | EtherCAT协议在涂胶机器人控制系统的应用
三相电压不平衡度标准解析：变压器三相电压不平衡的危害、后果以及三相不平衡的解决办法
工业采用5G技术联网的工业设备占比已经超过了15%