三种pooling策略的对比
一、背景介绍
bert和roberta在文本语义相似度等句子对的回归任务上，已经达到了sota的结果。但是，它们都需要把两个句子同时喂到网络中，这样会导致巨大的计算开销：从10000个句子中找出最相似的句子对，大概需要5000万(c100002=49,995,000)个推理计算，在v100gpu上耗时约65个小时。这种结构使得bert不适合语义相似度搜索，同样也不适合无监督任务（例如：聚类）。
本文基于bert网络做了修改，提出了sentence-bert(sbert)网络结构，该网络结构利用孪生网络和三胞胎网络结构生成具有语义意义的句子embedding向量，语义相近的句子其embedding向量距离就比较近，从而可以用来进行相似度计算(余弦相似度、曼哈顿距离、欧式距离)。该网络结构在查找最相似的句子对，从上述的65小时大幅降低到5秒(计算余弦相似度大概0.01s)，精度能够依然保持不变。这样sbert可以完成某些新的特定任务，例如相似度对比、聚类、基于语义的信息检索。
二、模型介绍
1）pooling策略
sbert在bert/roberta的输出结果上增加了一个pooling操作，从而生成一个固定大小的句子embedding向量。实验中采取了三种pooling策略做对比：
直接采用cls位置的输出向量代表整个句子的向量表示
mean策略，计算各个token输出向量的平均值代表句子向量
max策略，取所有输出向量各个维度的最大值代表句子向量
三个策略的实验对比效果如下：
可见三个策略中，mean策略是效果最好的，所以后面实验默认采用的是mean策略。
2）模型结构
为了能够fine-tune bert/roberta，文章采用了孪生网络和三胞胎网络来更新权重参数，以达到生成的句子向量具有语义意义。该网络结构依赖于具体的训练数据，文中实验了下面几种结构和目标函数：
classification objective function:
这里将embedding向量u和v以及它们之间的差向量拼接在一起，组成一个新的向量，乘以权重参数wt∈r3n*k，n表示向量的维度，k是分类标签数量。
优化的时候采用交叉熵损失函数。
regression objective function:
两个句子嵌入向量u和v的相似度计算结构如下：
采取mae(mean squared error)损失作为优化的目标函数。
triplet objective function：
给定一个主句a、一个正面句子p和一个负面句子n，三元组损失调整网络，使得a和p之间的距离小于a和n之间的距离。数学上，我们最小化以下损失函数:
s表示a、p、n的句子嵌入向量，||·||表示距离，边缘参数ε表示sp与sa的距离至少比sn近ε。
3）模型训练
文中训练结合了snli(stanford natural language inference)和multi-genre nli两种数据集。snli有570,000个人工标注的句子对，标签分为矛盾、蕴含、中立三种；multinli是snli的升级版，格式和标签都一样，有430,000个句子对，主要是一系列口语和书面语文本。文本蕴含关系描述的是两个文本之间的推理关系，其中一个文本作为前提（premise），另一个文本作为假设（hypothesis），如果根据前提p能够推理得出假设h，那么就说p蕴含h，记做p->h。参考样例如下：
实验时，每个epoch作者用3-way softmax分类目标函数对sbert进行fine-tune，batch_size=16,采用adam优化器，learning rate=2e-5，pooling策略是mean。
三、评测-语义文本相似度(semantic textual similarity-sts)
在评测的时候，这里采用余弦相似度来比较两个句子向量的相似度。
1）无监督sts
本次评测采用的是sts 2012-2016 五年的任务数据、sts benchmark数据(2017年构建)、sick-relatedness数据，这些数据集都是标好label的句子对，label表示句子之间的相互关系，范围为0~5，样例如下：
无监督评测不采用这些数据集的任何训练数据，直接用上述训练好的模型来计算句子间的相似度，然后通过斯皮尔曼等级相关系数来衡量模型的优劣。结果如下：
结果显示直接采用bert的输出结果，效果挺差的,甚至不如直接计算glove嵌入向量的平均值效果好；采用本文的孪生网络在nli数据集上fine-tuning后的模型效果明显要好很多，sbert和sroberta差异不大。
2）有监督sts
有监督sts数据集采用的是sts benchmark(简称stsb)数据集，就是上面提到的2017年抽取构建的，是当前比较流行的有监督sts数据集。它主要来自三个方面：字幕、新闻、论坛，包含8,628个句子对，训练集5,749，验证集1,500，测试集1,379。bert将句子对同时输入网络，最后再接一个简单的回归模型作为输出，目前在此数据集上取得了sota的效果。
上述实验结果分为三块：
not trained for sts:表示直接采用的是跟上面无监督评测一样的模型，结果也一样；
trained on sts benchmark:表示没有使用nli数据集，直接在stsb训练数据集上利用孪生网络结构构建回归模型fine-tuning；
trained on nli data+sts benchmark:表示利用孪生网络先在nli数据集上训练分类模型学习句子向量表示，然后在stsb训练集上再利用回归模型再次学习句子embedding，相当于利用两种数据集进行了两次fine-tuning。
评测的时候都是采用的stsb的测试集进行评测。可以看到，最后一种训练方式表现最好，尤其单纯的bert架构有较大的提升幅度。
四、评测-senteval
senteval是一个当前流行的用来评测句子embedding质量的工具，这里句子embedding可以作为逻辑回归模型的特征，从而构建一个分类器，并在test集上计算其精度。这里利用senteval工具在下面几个迁移任务上对比sbert与其它生成句子embedding的方法：
mr(movie review):电影评论片段的情感预测,二分类
cr(product review):顾客产品评论的情感预测，二分类
subj(subjectivity status):电影评论和情节摘要中句子的主观性预测，二分类
mpqa(opinion-polarity):来自新闻网的短语级意见极性分类，二分类
sst(stanford sentiment analysis):斯坦福情感树库，二分类
trec(question-type classification)：来自trec的细粒度问题类型分类，多分类
mrpc:microsoft research paraphrase corpus from parallel news sources，释义检测。
实验结果显示，sbert生成的句子向量似乎能够很好捕获情感信息，在mr、cr、sst上都有较大的提升；bert在之前的sts数据集上表现比较差，但是在senteval上却有了不错的效果表现，这是因为sts数据集上利用余弦相似度衡量句子向量，余弦相似度对于向量的每一个维度都是同等的，然而senteval是利用逻辑回归分类器来评测，这样某些维度会对最终的分类结果产生影响。
所以，bert的直接输出结果无论是cls位置的还是平均embedding都不适合用来计算余弦相似度、曼哈顿距离和欧式距离。虽然bert在senteval上面表现稍微好一些，但是基于nli数据集的sbert还是达到了sota的效果。
五、消融研究
为了对sbert的不同方面进行消融研究，以便更好地了解它们的相对重要性，我们在snli和multi-nli数据集上构建了分类模型，在stsb数据集上构建了回归模型。在pooling策略上，对比了mean、max、cls三种策略；在分类目标函数中，对比了不同的向量组合方式。结果如下:
在pooling策略上，mean效果最好；在向量组合模式上，只有在分类训练的时候才使用，结果显示element-wise的|u-v|影响最大。
原文标题：sentence-bert: 一种能快速计算句子相似度的孪生网络
文章出处：【微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。
丝网印刷在PCB制造中扮演什么角色
详谈C++特性：多态的概念分类和实现原理
基于SiGe HBT的射频有源电感的设计
大数据产业面临转型 安防企业主体产业链条将日趋完善
爱晒太阳的金色雪花 便宜好用新电池
三种pooling策略的对比
交流硅二极管的工作原理
印度Vodafone Idea与诺基亚进行DSR技术部署，提高网络容量和用户体验
JavaScript的基础知识和代码写法说明
鸿蒙2.0或在明年搭载于智慧穿戴中首次亮相
华人运通发布智城项目 为未来出行提供实践与方案
Batch的大小、灾难性遗忘将如何影响学习速率
四国联合体签署PPA协议，将打破世界最低光伏电价和最大规模发电站
中国联通正式宣布与中国电信合建5G网络
无人驾驶飞机基本常识
单身狗福利来了！性爱机器人或将面世，全仿真模拟 饱受争议
互联网电视发明者重归战场 LeTV胜算尚未可知
EMC问题的三个基本要素
利用PLC控制变频器的接线安装调试知识
百望云携手华为发布金融信创与数电乐企联合方案 创新金融合规变革
bert和roberta在文本语义相似度等句子对的回归任务上，已经达到了sota的结果。但是，它们都需要把两个句子同时喂到网络中，这样会导致巨大的计算开销：从10000个句子中找出最相似的句子对，大概需要5000万(c100002=49,995,000)个推理计算，在v100gpu上耗时约65个小时。这种结构使得bert不适合语义相似度搜索，同样也不适合无监督任务（例如：聚类）。
本文基于bert网络做了修改，提出了sentence-bert(sbert)网络结构，该网络结构利用孪生网络和三胞胎网络结构生成具有语义意义的句子embedding向量，语义相近的句子其embedding向量距离就比较近，从而可以用来进行相似度计算(余弦相似度、曼哈顿距离、欧式距离)。该网络结构在查找最相似的句子对，从上述的65小时大幅降低到5秒(计算余弦相似度大概0.01s)，精度能够依然保持不变。这样sbert可以完成某些新的特定任务，例如相似度对比、聚类、基于语义的信息检索。
二、模型介绍
1）pooling策略
sbert在bert/roberta的输出结果上增加了一个pooling操作，从而生成一个固定大小的句子embedding向量。实验中采取了三种pooling策略做对比：
直接采用cls位置的输出向量代表整个句子的向量表示
mean策略，计算各个token输出向量的平均值代表句子向量
max策略，取所有输出向量各个维度的最大值代表句子向量
三个策略的实验对比效果如下：
可见三个策略中，mean策略是效果最好的，所以后面实验默认采用的是mean策略。
2）模型结构
为了能够fine-tune bert/roberta，文章采用了孪生网络和三胞胎网络来更新权重参数，以达到生成的句子向量具有语义意义。该网络结构依赖于具体的训练数据，文中实验了下面几种结构和目标函数：
classification objective function:
这里将embedding向量u和v以及它们之间的差向量拼接在一起，组成一个新的向量，乘以权重参数wt∈r3n*k，n表示向量的维度，k是分类标签数量。
优化的时候采用交叉熵损失函数。
regression objective function:
两个句子嵌入向量u和v的相似度计算结构如下：
采取mae(mean squared error)损失作为优化的目标函数。
triplet objective function：
给定一个主句a、一个正面句子p和一个负面句子n，三元组损失调整网络，使得a和p之间的距离小于a和n之间的距离。数学上，我们最小化以下损失函数:
s表示a、p、n的句子嵌入向量，||·||表示距离，边缘参数ε表示sp与sa的距离至少比sn近ε。
3）模型训练
文中训练结合了snli(stanford natural language inference)和multi-genre nli两种数据集。snli有570,000个人工标注的句子对，标签分为矛盾、蕴含、中立三种；multinli是snli的升级版，格式和标签都一样，有430,000个句子对，主要是一系列口语和书面语文本。文本蕴含关系描述的是两个文本之间的推理关系，其中一个文本作为前提（premise），另一个文本作为假设（hypothesis），如果根据前提p能够推理得出假设h，那么就说p蕴含h，记做p->h。参考样例如下：
实验时，每个epoch作者用3-way softmax分类目标函数对sbert进行fine-tune，batch_size=16,采用adam优化器，learning rate=2e-5，pooling策略是mean。
三、评测-语义文本相似度(semantic textual similarity-sts)
在评测的时候，这里采用余弦相似度来比较两个句子向量的相似度。
1）无监督sts
本次评测采用的是sts 2012-2016 五年的任务数据、sts benchmark数据(2017年构建)、sick-relatedness数据，这些数据集都是标好label的句子对，label表示句子之间的相互关系，范围为0~5，样例如下：
无监督评测不采用这些数据集的任何训练数据，直接用上述训练好的模型来计算句子间的相似度，然后通过斯皮尔曼等级相关系数来衡量模型的优劣。结果如下：
结果显示直接采用bert的输出结果，效果挺差的,甚至不如直接计算glove嵌入向量的平均值效果好；采用本文的孪生网络在nli数据集上fine-tuning后的模型效果明显要好很多，sbert和sroberta差异不大。
2）有监督sts
有监督sts数据集采用的是sts benchmark(简称stsb)数据集，就是上面提到的2017年抽取构建的，是当前比较流行的有监督sts数据集。它主要来自三个方面：字幕、新闻、论坛，包含8,628个句子对，训练集5,749，验证集1,500，测试集1,379。bert将句子对同时输入网络，最后再接一个简单的回归模型作为输出，目前在此数据集上取得了sota的效果。
上述实验结果分为三块：
not trained for sts:表示直接采用的是跟上面无监督评测一样的模型，结果也一样；
trained on sts benchmark:表示没有使用nli数据集，直接在stsb训练数据集上利用孪生网络结构构建回归模型fine-tuning；
trained on nli data+sts benchmark:表示利用孪生网络先在nli数据集上训练分类模型学习句子向量表示，然后在stsb训练集上再利用回归模型再次学习句子embedding，相当于利用两种数据集进行了两次fine-tuning。
评测的时候都是采用的stsb的测试集进行评测。可以看到，最后一种训练方式表现最好，尤其单纯的bert架构有较大的提升幅度。
四、评测-senteval
senteval是一个当前流行的用来评测句子embedding质量的工具，这里句子embedding可以作为逻辑回归模型的特征，从而构建一个分类器，并在test集上计算其精度。这里利用senteval工具在下面几个迁移任务上对比sbert与其它生成句子embedding的方法：
mr(movie review):电影评论片段的情感预测,二分类
cr(product review):顾客产品评论的情感预测，二分类
subj(subjectivity status):电影评论和情节摘要中句子的主观性预测，二分类
mpqa(opinion-polarity):来自新闻网的短语级意见极性分类，二分类
sst(stanford sentiment analysis):斯坦福情感树库，二分类
trec(question-type classification)：来自trec的细粒度问题类型分类，多分类
mrpc:microsoft research paraphrase corpus from parallel news sources，释义检测。
实验结果显示，sbert生成的句子向量似乎能够很好捕获情感信息，在mr、cr、sst上都有较大的提升；bert在之前的sts数据集上表现比较差，但是在senteval上却有了不错的效果表现，这是因为sts数据集上利用余弦相似度衡量句子向量，余弦相似度对于向量的每一个维度都是同等的，然而senteval是利用逻辑回归分类器来评测，这样某些维度会对最终的分类结果产生影响。
所以，bert的直接输出结果无论是cls位置的还是平均embedding都不适合用来计算余弦相似度、曼哈顿距离和欧式距离。虽然bert在senteval上面表现稍微好一些，但是基于nli数据集的sbert还是达到了sota的效果。
五、消融研究
为了对sbert的不同方面进行消融研究，以便更好地了解它们的相对重要性，我们在snli和multi-nli数据集上构建了分类模型，在stsb数据集上构建了回归模型。在pooling策略上，对比了mean、max、cls三种策略；在分类目标函数中，对比了不同的向量组合方式。结果如下:
在pooling策略上，mean效果最好；在向量组合模式上，只有在分类训练的时候才使用，结果显示element-wise的|u-v|影响最大。
原文标题：sentence-bert: 一种能快速计算句子相似度的孪生网络
文章出处：【微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。
丝网印刷在PCB制造中扮演什么角色
详谈C++特性：多态的概念分类和实现原理
基于SiGe HBT的射频有源电感的设计
大数据产业面临转型 安防企业主体产业链条将日趋完善
爱晒太阳的金色雪花 便宜好用新电池
三种pooling策略的对比
交流硅二极管的工作原理
印度Vodafone Idea与诺基亚进行DSR技术部署，提高网络容量和用户体验
JavaScript的基础知识和代码写法说明
鸿蒙2.0或在明年搭载于智慧穿戴中首次亮相
华人运通发布智城项目 为未来出行提供实践与方案
Batch的大小、灾难性遗忘将如何影响学习速率
四国联合体签署PPA协议，将打破世界最低光伏电价和最大规模发电站
中国联通正式宣布与中国电信合建5G网络
无人驾驶飞机基本常识
单身狗福利来了！性爱机器人或将面世，全仿真模拟 饱受争议
互联网电视发明者重归战场 LeTV胜算尚未可知
EMC问题的三个基本要素
利用PLC控制变频器的接线安装调试知识
百望云携手华为发布金融信创与数电乐企联合方案 创新金融合规变革