MAE再发力，跨模态交互式自编码器PiMAE席卷3D目标检测领域
本文提出了一种基于mae的跨模态交互式自编码器pimae，pimae同时具有强大的3d点云和rgb图像特征提取能力。作者通过三个方面的独特设计来促进多模态学习过程中的交互效果。并对提出的pimae进行了广泛的实验，该框架在多个下游任务上都展示出了非常出色的性能提升效果，这也侧面表明mae模式在基础视觉感知任务上仍然不过时，具有进一步研究的价值。
论文链接： https://arxiv.org/abs/2303.08129 代码链接： https://github.com/blvlab/pimae
从2021年kaiming大佬首次提出mae（masked autoencoders） 以来，计算机视觉社区已经出现了很多基于mae的工作，例如将mae建模拓展到视频序列中，或者直接对mae原始结构进行改进，将mae嵌入到层次的transformer结构中等等。截止到现在，mae原文在谷歌学术的引用量已经达到1613。
mae以其简单的实现方式、强大的视觉表示能力，可以在很多基础视觉任务中展现出良好的性能。但是目前的工作大多是在单一视觉模态中进行，那mae在多模态数据融合方面表现如何呢？本文为大家介绍一项刚刚被视觉顶会cvpr2023接收的工作，在这项工作中，作者重点探索了点云数据和rgb图像数据，并且提出了一种基于mae的自监督扩模态协同感知框架pimae。具体来说，pimae可以从三个方面来提升模型对3d点云和2d图像数据的交互性能：
1. pimae设计了一个多模态映射模块来对两个不同模态的masked和可见的tokens进行对齐，这一设计强调了mask策略在两个不同模态中的重要性。
2. 随后，作者为pimae设计了两个mae支路和一个共享的解码器来实现masked tokens之间的跨模态交互。
3. 最后pimae通过一个新型的跨模态重建模块来进一步提升两个模态的表征学习效果。
作者在两个大规模多模态rgb-d场景理解基准（sun rgb-d和scannetv2）上对pimae进行了大量评估，pimae在3d目标检测、2d目标检测以及小样本图像分类任务上都展现出了优越的性能。
一、介绍
深度学习技术目前已经成为很多自动化装备的基础感知手段，例如工业机器人和自动驾驶。在这些实际场景中，机器可以通过摄像头和众多传感器获得大量的3d或2d点云数据以及rgb图像数据。由于成对的2d像素和3d点云可以更全面的呈现同一场景的不同视角，将这些多模态信息高效的结合起来可以提高模型决策的准确性。在本文中，作者旨在探索这样一个问题：如何设计一个高效的多模态（3d点云和rgb模态）无监督交互学习框架，来实现更好的表征学习？为此，作者选用kaiming提出的mae作为基础架构，mae可以通过一种简单的自监督任务实现一个强大的vit预训练框架。但是mae在多种模态交互的情况下表现如何，仍然是未知的。
为了探索多模态3d点云和rgb图像数据交互融合性能，本文提出了pimae，这是一种简单而有效的多模态mae框架，pimae可以通过交互机制来学习更鲁棒的3d和2d特征。pimae的整体框架如上图所示，具体来说，pimae将成对的3d点云和图像数据作为输入，并对两种输入做一种互补的mask操作。然后对其进行编码得到tokens，将3d点云token投影到rgb图像块中，明确对齐两种模态之间的mask关系。作者认为通过这种mask策略可以帮助点云token从图像嵌入中获得互补信息，反之亦然。随后作者设计了一种对称的自动编码器结构来进行模态特征融合，自编码器由模态特定编码器（specific encoders）的独立分支和共享编解码器构成，pimae通过多模态重构任务（即点云重构和图像重构）来完成两种模态的交互和表征学习。
二、方法介绍
给定3d点云和rgb多模态数据后，pimae通过一种联合嵌入的方式来学习跨模态特征。在具体操作中，作者首先对点云数据进行采样并执行聚类算法将点云数据嵌入到token中，然后对点云token进行随机mask。mask后的token随后被转换到2d平面中，同时rgb图像块以互补mask的形式也嵌入到rgb token中。随后两个模态的token数据通过pimae的联合编解码器进行特征建模和融合。
pimae中的编码器-解码器架构同时整合了模态独立分支和模态共享分支，其中前者用来保持模型对特定模态的学习，后者鼓励模型通过跨模态的特征交互来实现模态之间的高效对齐。
2.1 token投影和对齐
在对点云和rgb图像进行处理时，作者遵循mae和point-m2ae[1]中的做法，对于rgb图像，作者将图像先分成不重叠的图像块，并且为每个块添加位置编码嵌入和模态嵌入，随后将他们送入到投影层。对于点云数据，先通过最远点采样（farthest point sampling，fps）和knn算法提取聚类中心token，然后同样为每个中心token添加编码嵌入和模态嵌入，并送入到线性投影层。
2.1.1 投影
为了实现多模态token之间的对齐，作者通过将点云token投影到相机的2d图像平面上来建立 3d点云和rgb图像像素之间的嵌入联系。对于3d点云，可以使用下面定义的投影函数 proj 计算出相应的2d坐标:
其中 k∈3×4，rt∈4×4是相机的内在和外置参数矩阵。(x,y,z),(u,v) 是点 p 的原始3d坐标和投影得到的2d坐标。
2.1.2 mask对齐方式
由于点云token是由一系列聚类中心构成，作者随机从中选择一部分中心点作为采样区域。对于可见点云标记 tp ，将它们的中心点投影到相应的2d相机平面并获得其2d坐标 它可以自然地落入形状为 h×w（即图像形状）的区域内，可以通过以下方式来获得其相对应图像块的索引
其中 u 和 v表示二维坐标 p 的 x 轴值和 y 轴值，s 是图像块大小。
在对每个可见点云token进行投影和索引后，就可以获得它们对应的图像块，如上图所示。随后作者使用了一种显示的mask策略来实现token对齐，具体来说，一个随机采样的点云区域（上图黑色圆圈处）被投影到图像块（蓝色方块）上，其他点云区域以类似的方式进行采样和投影（黄色方块），来构成正向mask模式（uniform）。相反，上图右下区域是相应的互补mask模式（complement）。
2.2 编码器和解码器
2.2.1 编码器
pimae的编码器遵循aist++[2]的设计，由两个模块构成：模态特定编码器和跨模态编码器。前者用于更好地提取特定于当前模态的特征，后者用于进行跨模态特征之间的交互。在这一过程中，编码器侧重于保持不同模态特征的完整性，可以形式化表示为：
其中 和 是特定于图像和特定于点云的编码器， 和 是可见图像和点云token， 和 是图像和点云相应的嵌入空间。
2.2.2 解码器
原始mae框架中的解码器是建立在一个具有统一表征能力的编码基础之上，但是本文的设定是编码器同时捕获图像和点云数据的特征表示。由于两种模态之间的差异，需要使用专门的解码器将这些特征解码为各自的模态。形式上，作者将pimae的共享解码器的输入表示为，其中包括编码的可见特征和两种模态的mask tokens。随后共享解码器会对这些特征执行跨模态交互：。然后，在单独模态的解码器阶段，解码器将特征重构回原始图像和点云空间
。其中 和 是图像特定和点云特定解码器， 和
是可见图像和点云区域， 和 是图像和点云嵌入空间，重构过程的损失函数如下：
其中 是chamfer distance函数（倒角距离），表示解码器重构函数， 是点云嵌入表示， 是点云ground-truth（即点云输入）。
2.3 跨模态重构
本文使用三种不同的损失联合训练pimae：点云重建损失、图像重建损失和跨模式重建损失。在最后的重建阶段，作者利用先前对齐的关系来获得mask点云区域相应的二维坐标。然后，对重建的图像特征进行上采样，这样每个具有2d坐标的mask点云都可以与重建的图像特征相关联。最后，mask点云token通过一个跨模态预测头来恢复相应的可见图像特征。形式上，跨模式重建损失定义为:
其中 表示均方误差损失函数， 是解码器的跨模态重建函数，是点云表示， 是图像表示。pimae通过联合以上损失来进行训练，通过这样的设计，pimae可以分别学习3d和2d特征，同时保持两种模态之间的强交互性。
三、实验效果
本文的实验在两个大规模多模态rgb-d场景理解基准（sun rgb-d和scannetv2）上进行，作者先在sun rgb-d训练集对pimae进行预训练，并在多个下游任务上对pimae进行评估，包括3d目标检测、3d单目目标检测、2d目标检测和小样本图像分类。
3.1 室内3d目标检测
对于室内的3d目标检测任务，作者将pimae的3d特征编码器加入到不同的backbone网络中来提高特征提取的能力，从而实现3d目标检测的能力。作者以两个sota模型3detr和groupfree3d来作为baseline模型，如下表所示，本文的pimae为两个模型都带来了显着的性能提升，在所有数据集上都超过了之前的基线方法。
3.2 室外单目3d目标检测
除了室内环境，作者也展示了更具挑战性的室外场景效果。与室内预训练数据相比，室外场景的数据具有很大的数据分布差距。如下图所示，本文方法对monodetr方法实现了实质性的改进，这证明，pimae预训练对室内和室外场景都具有很强的泛化能力。
3.3 2d目标检测
对于2d目标检测任务，作者直接将pimae中的2d分支特征提取器部署在detr上，并在scannetv2 2d检测数据集上进行评估。效果如下表所示，pimae预训练可以显著提高detr的检测性能。
3.4 小样本图像分类
对于few-shot图像分类任务，作者选取了三个不同的基准来探索pimae图像编码器的特征提取能力。为了验证pimae的有效性，作者没有改动原有模型的分类器，仅在特征编码器中添加一个线性层，并基于[cls] token作为输入来预测类别。下表展示了pimae在小样本图像分类任务上的结果。与从头开始训练的模型相比，经过pimae预训练的模型具有显著的性能提升。
此外，为了验证pimae跨模态交互设计的有效性，作者在下图中可视化了共享编码器中的注意力图。可以看到，pimae更专注于具有更高注意力值的更多前景目标，显示出较强的跨模态理解能力。
四、总结
本文提出了一种基于mae的跨模态交互式自编码器pimae，pimae同时具有强大的3d点云和rgb图像特征提取能力。作者通过三个方面的独特设计来促进多模态学习过程中的交互效果。首先，通过一种显示的点云图像对齐mask策略可以实现更好的特征融合。接下来，设计了一个共享解码器来同时对两种模态中的token进行处理。最后，跨模态重建机制可以高效的对整体框架进行优化。作者对提出的pimae进行了广泛的实验，pimae在多个下游任务上都展示出了非常出色的性能提升效果，这也侧面表明mae模式在基础视觉感知任务上仍然不过时，具有进一步研究的价值。
寄存器通电后CPU是怎样开始工作的
曝苹果正在研发独立的AR设备 代号为Garta
nand flash是固态硬盘吗 nor flash与nand flash区别
制动器是什么_制动器的组成
怎样用Windows命令提示符测试Internet连接
MAE再发力，跨模态交互式自编码器PiMAE席卷3D目标检测领域
易控智驾再发“科技出行产业双碳战略创新”强音
熔喷无纺布污点检测系统的检测方法介绍
半导体刻蚀工艺简述(3)
福井村田制作所实施的IoT化
关于混合云场景下的高性能存储
亚威股份折弯机产品获国家级冠军 FEELM引入清华美院“创新大脑”
设计一个真空管振荡器
筋膜枪保护器件和方案 雷卯推荐
算力战场-矿机的野蛮进化史
夜狼安防校园视频监控系统的功能特点及应用方案分析
基于RFID技术的危险品仓库管理系统
传联想拟全资鲸吞芯片商Marvell，超97亿美元
创客智慧点亮智能家居创新
BCT4222C 高速DPDT模拟开关双极双掷(DPDT)模拟装置
论文链接： https://arxiv.org/abs/2303.08129 代码链接： https://github.com/blvlab/pimae
从2021年kaiming大佬首次提出mae（masked autoencoders） 以来，计算机视觉社区已经出现了很多基于mae的工作，例如将mae建模拓展到视频序列中，或者直接对mae原始结构进行改进，将mae嵌入到层次的transformer结构中等等。截止到现在，mae原文在谷歌学术的引用量已经达到1613。
mae以其简单的实现方式、强大的视觉表示能力，可以在很多基础视觉任务中展现出良好的性能。但是目前的工作大多是在单一视觉模态中进行，那mae在多模态数据融合方面表现如何呢？本文为大家介绍一项刚刚被视觉顶会cvpr2023接收的工作，在这项工作中，作者重点探索了点云数据和rgb图像数据，并且提出了一种基于mae的自监督扩模态协同感知框架pimae。具体来说，pimae可以从三个方面来提升模型对3d点云和2d图像数据的交互性能：
1. pimae设计了一个多模态映射模块来对两个不同模态的masked和可见的tokens进行对齐，这一设计强调了mask策略在两个不同模态中的重要性。
2. 随后，作者为pimae设计了两个mae支路和一个共享的解码器来实现masked tokens之间的跨模态交互。
3. 最后pimae通过一个新型的跨模态重建模块来进一步提升两个模态的表征学习效果。
作者在两个大规模多模态rgb-d场景理解基准（sun rgb-d和scannetv2）上对pimae进行了大量评估，pimae在3d目标检测、2d目标检测以及小样本图像分类任务上都展现出了优越的性能。
一、介绍
深度学习技术目前已经成为很多自动化装备的基础感知手段，例如工业机器人和自动驾驶。在这些实际场景中，机器可以通过摄像头和众多传感器获得大量的3d或2d点云数据以及rgb图像数据。由于成对的2d像素和3d点云可以更全面的呈现同一场景的不同视角，将这些多模态信息高效的结合起来可以提高模型决策的准确性。在本文中，作者旨在探索这样一个问题：如何设计一个高效的多模态（3d点云和rgb模态）无监督交互学习框架，来实现更好的表征学习？为此，作者选用kaiming提出的mae作为基础架构，mae可以通过一种简单的自监督任务实现一个强大的vit预训练框架。但是mae在多种模态交互的情况下表现如何，仍然是未知的。
为了探索多模态3d点云和rgb图像数据交互融合性能，本文提出了pimae，这是一种简单而有效的多模态mae框架，pimae可以通过交互机制来学习更鲁棒的3d和2d特征。pimae的整体框架如上图所示，具体来说，pimae将成对的3d点云和图像数据作为输入，并对两种输入做一种互补的mask操作。然后对其进行编码得到tokens，将3d点云token投影到rgb图像块中，明确对齐两种模态之间的mask关系。作者认为通过这种mask策略可以帮助点云token从图像嵌入中获得互补信息，反之亦然。随后作者设计了一种对称的自动编码器结构来进行模态特征融合，自编码器由模态特定编码器（specific encoders）的独立分支和共享编解码器构成，pimae通过多模态重构任务（即点云重构和图像重构）来完成两种模态的交互和表征学习。
二、方法介绍
给定3d点云和rgb多模态数据后，pimae通过一种联合嵌入的方式来学习跨模态特征。在具体操作中，作者首先对点云数据进行采样并执行聚类算法将点云数据嵌入到token中，然后对点云token进行随机mask。mask后的token随后被转换到2d平面中，同时rgb图像块以互补mask的形式也嵌入到rgb token中。随后两个模态的token数据通过pimae的联合编解码器进行特征建模和融合。
pimae中的编码器-解码器架构同时整合了模态独立分支和模态共享分支，其中前者用来保持模型对特定模态的学习，后者鼓励模型通过跨模态的特征交互来实现模态之间的高效对齐。
2.1 token投影和对齐
在对点云和rgb图像进行处理时，作者遵循mae和point-m2ae[1]中的做法，对于rgb图像，作者将图像先分成不重叠的图像块，并且为每个块添加位置编码嵌入和模态嵌入，随后将他们送入到投影层。对于点云数据，先通过最远点采样（farthest point sampling，fps）和knn算法提取聚类中心token，然后同样为每个中心token添加编码嵌入和模态嵌入，并送入到线性投影层。
2.1.1 投影
为了实现多模态token之间的对齐，作者通过将点云token投影到相机的2d图像平面上来建立 3d点云和rgb图像像素之间的嵌入联系。对于3d点云，可以使用下面定义的投影函数 proj 计算出相应的2d坐标:
其中 k∈3×4，rt∈4×4是相机的内在和外置参数矩阵。(x,y,z),(u,v) 是点 p 的原始3d坐标和投影得到的2d坐标。
2.1.2 mask对齐方式
由于点云token是由一系列聚类中心构成，作者随机从中选择一部分中心点作为采样区域。对于可见点云标记 tp ，将它们的中心点投影到相应的2d相机平面并获得其2d坐标 它可以自然地落入形状为 h×w（即图像形状）的区域内，可以通过以下方式来获得其相对应图像块的索引
其中 u 和 v表示二维坐标 p 的 x 轴值和 y 轴值，s 是图像块大小。
在对每个可见点云token进行投影和索引后，就可以获得它们对应的图像块，如上图所示。随后作者使用了一种显示的mask策略来实现token对齐，具体来说，一个随机采样的点云区域（上图黑色圆圈处）被投影到图像块（蓝色方块）上，其他点云区域以类似的方式进行采样和投影（黄色方块），来构成正向mask模式（uniform）。相反，上图右下区域是相应的互补mask模式（complement）。
2.2 编码器和解码器
2.2.1 编码器
pimae的编码器遵循aist++[2]的设计，由两个模块构成：模态特定编码器和跨模态编码器。前者用于更好地提取特定于当前模态的特征，后者用于进行跨模态特征之间的交互。在这一过程中，编码器侧重于保持不同模态特征的完整性，可以形式化表示为：
其中 和 是特定于图像和特定于点云的编码器， 和 是可见图像和点云token， 和 是图像和点云相应的嵌入空间。
2.2.2 解码器
原始mae框架中的解码器是建立在一个具有统一表征能力的编码基础之上，但是本文的设定是编码器同时捕获图像和点云数据的特征表示。由于两种模态之间的差异，需要使用专门的解码器将这些特征解码为各自的模态。形式上，作者将pimae的共享解码器的输入表示为，其中包括编码的可见特征和两种模态的mask tokens。随后共享解码器会对这些特征执行跨模态交互：。然后，在单独模态的解码器阶段，解码器将特征重构回原始图像和点云空间
。其中 和 是图像特定和点云特定解码器， 和
是可见图像和点云区域， 和 是图像和点云嵌入空间，重构过程的损失函数如下：
其中 是chamfer distance函数（倒角距离），表示解码器重构函数， 是点云嵌入表示， 是点云ground-truth（即点云输入）。
2.3 跨模态重构
本文使用三种不同的损失联合训练pimae：点云重建损失、图像重建损失和跨模式重建损失。在最后的重建阶段，作者利用先前对齐的关系来获得mask点云区域相应的二维坐标。然后，对重建的图像特征进行上采样，这样每个具有2d坐标的mask点云都可以与重建的图像特征相关联。最后，mask点云token通过一个跨模态预测头来恢复相应的可见图像特征。形式上，跨模式重建损失定义为:
其中 表示均方误差损失函数， 是解码器的跨模态重建函数，是点云表示， 是图像表示。pimae通过联合以上损失来进行训练，通过这样的设计，pimae可以分别学习3d和2d特征，同时保持两种模态之间的强交互性。
三、实验效果
本文的实验在两个大规模多模态rgb-d场景理解基准（sun rgb-d和scannetv2）上进行，作者先在sun rgb-d训练集对pimae进行预训练，并在多个下游任务上对pimae进行评估，包括3d目标检测、3d单目目标检测、2d目标检测和小样本图像分类。
3.1 室内3d目标检测
对于室内的3d目标检测任务，作者将pimae的3d特征编码器加入到不同的backbone网络中来提高特征提取的能力，从而实现3d目标检测的能力。作者以两个sota模型3detr和groupfree3d来作为baseline模型，如下表所示，本文的pimae为两个模型都带来了显着的性能提升，在所有数据集上都超过了之前的基线方法。
3.2 室外单目3d目标检测
除了室内环境，作者也展示了更具挑战性的室外场景效果。与室内预训练数据相比，室外场景的数据具有很大的数据分布差距。如下图所示，本文方法对monodetr方法实现了实质性的改进，这证明，pimae预训练对室内和室外场景都具有很强的泛化能力。
3.3 2d目标检测
对于2d目标检测任务，作者直接将pimae中的2d分支特征提取器部署在detr上，并在scannetv2 2d检测数据集上进行评估。效果如下表所示，pimae预训练可以显著提高detr的检测性能。
3.4 小样本图像分类
对于few-shot图像分类任务，作者选取了三个不同的基准来探索pimae图像编码器的特征提取能力。为了验证pimae的有效性，作者没有改动原有模型的分类器，仅在特征编码器中添加一个线性层，并基于[cls] token作为输入来预测类别。下表展示了pimae在小样本图像分类任务上的结果。与从头开始训练的模型相比，经过pimae预训练的模型具有显著的性能提升。
此外，为了验证pimae跨模态交互设计的有效性，作者在下图中可视化了共享编码器中的注意力图。可以看到，pimae更专注于具有更高注意力值的更多前景目标，显示出较强的跨模态理解能力。
四、总结
本文提出了一种基于mae的跨模态交互式自编码器pimae，pimae同时具有强大的3d点云和rgb图像特征提取能力。作者通过三个方面的独特设计来促进多模态学习过程中的交互效果。首先，通过一种显示的点云图像对齐mask策略可以实现更好的特征融合。接下来，设计了一个共享解码器来同时对两种模态中的token进行处理。最后，跨模态重建机制可以高效的对整体框架进行优化。作者对提出的pimae进行了广泛的实验，pimae在多个下游任务上都展示出了非常出色的性能提升效果，这也侧面表明mae模式在基础视觉感知任务上仍然不过时，具有进一步研究的价值。
寄存器通电后CPU是怎样开始工作的
曝苹果正在研发独立的AR设备 代号为Garta
nand flash是固态硬盘吗 nor flash与nand flash区别
制动器是什么_制动器的组成
怎样用Windows命令提示符测试Internet连接
MAE再发力，跨模态交互式自编码器PiMAE席卷3D目标检测领域
易控智驾再发“科技出行产业双碳战略创新”强音
熔喷无纺布污点检测系统的检测方法介绍
半导体刻蚀工艺简述(3)
福井村田制作所实施的IoT化
关于混合云场景下的高性能存储
亚威股份折弯机产品获国家级冠军 FEELM引入清华美院“创新大脑”
设计一个真空管振荡器
筋膜枪保护器件和方案 雷卯推荐
算力战场-矿机的野蛮进化史
夜狼安防校园视频监控系统的功能特点及应用方案分析
基于RFID技术的危险品仓库管理系统
传联想拟全资鲸吞芯片商Marvell，超97亿美元
创客智慧点亮智能家居创新
BCT4222C 高速DPDT模拟开关双极双掷(DPDT)模拟装置