一种端到端的单阶段多视图融合3D检测方法MVAF-Net
该方法将激光雷达投影的bev和前向视角、与摄像头视角图像作为检测输入，在特征融合中，提出attentive pointwise fusion (apf) 模块。设计attentive pointwise weighting (apw) 模块学习，附加另外两个任务foreground分类和中心回归。
如图是架构图：整个mvaf-net包括三个部分
1）单视图特征提取（svfe），
2）多视图特征融合（mvff）
3）融合特征检测（ffd）。
在svfe部分，原始的rgb图像和点云由3-stream cnn主干（cv，bev和rv）处理，生成多视图特征图，在bev和rv做点云体素化。在mvff部分，多视图特征与attentive pointwise fusion模块逐点自适应融合。融合的点特征通过attentive pointwise weighting模块进一步处理，对点特征进行加权并学习结构信息。在ffd部分，对融合和重加权的点特征再次体素化，并作融合主干输入给最终的3d检测。
rv投影表示为柱面坐标系统：
attentive pointwise fusion模块架构如下：
而attentive pointwise weighting模块架构如下：
mvaf-net的主干网络细节如下图：
检测头包括：分类（focal loss）、框回归（smoothl1 loss）和方向分类（softmax loss）。其总loss函数为
最后两个是前景分类项（focal loss）和中心回归项（smoothl1 loss）。
结果如下：
结论
我们提出了一种端到端的单阶段多视图融合3d检测方法mvaf-net，它由三部分组成：单视图特征提取（svfe），多视图特征融合（mvff）和融合特征检测（ffd）。在svfe部分，三流cnn主干（cv，bev和rv主干）使用lidar点云和rgb图像来生成多视图特征图。在mvff部分，使用我们提出的注意点向融合（apf）模块实现了多视图特征的自适应融合，该模块可以使用注意力机制自适应地确定从多视图输入中引入了多少信息。此外，我们通过提出的注意点加权（apw）模块进一步改善了网络的性能，该模块可以对点特征进行加权并通过两个额外的任务来学习结构信息：前景分类和中心回归。大量实验验证了所提出的apf和apw模块的有效性。此外，所提出的mvaf-net产生了竞争性结果，并且在所有单阶段融合方法中均达到了最佳性能。此外，我们的mvaf-net胜过大多数两阶段融合方法，在kitti基准上实现了速度和精度之间的最佳平衡。
腾玛智兔AI早教机器人评测
“人机协作” 促进自动化生产浪潮
骁龙835后宫来袭：小米6、HTC Ocean、一加5、索尼Xperia XZ Premium、OPPOFind9、诺基亚C9，你会买谁？
产业互联网你有所了解吗
LED软模组让碍事的柱子也能成为商场的“网红打卡点”！
一种端到端的单阶段多视图融合3D检测方法MVAF-Net
超级力量现世 北通蝙蝠4游戏手柄让游戏尽在掌控！
RFID在鞋服行业的应用
LT3519 具集成肖特基二极管的LED驱动器
苹果速度：iPhone 5预订时间曝光！
3G、WLAN、蓝牙的技术分析
GPRS技术在配电自动化中的应用设计
这些必须要说的C语言技巧你都知道多少？
安波福完成10万次打车服务 在自动驾驶领域小有成就
主板上各种总线注释
亚马逊云科技Amazon OpenSearch Serverless上线！
数据挖掘常用的十大算法
CES 2013操作系统之战更精彩：Windows，Android回击iOS
2017年，人工智能会如何改变教育行业？
深度学习完整解决方案 可节省80%开发时间
如图是架构图：整个mvaf-net包括三个部分
1）单视图特征提取（svfe），
2）多视图特征融合（mvff）
3）融合特征检测（ffd）。
在svfe部分，原始的rgb图像和点云由3-stream cnn主干（cv，bev和rv）处理，生成多视图特征图，在bev和rv做点云体素化。在mvff部分，多视图特征与attentive pointwise fusion模块逐点自适应融合。融合的点特征通过attentive pointwise weighting模块进一步处理，对点特征进行加权并学习结构信息。在ffd部分，对融合和重加权的点特征再次体素化，并作融合主干输入给最终的3d检测。
rv投影表示为柱面坐标系统：
attentive pointwise fusion模块架构如下：
而attentive pointwise weighting模块架构如下：
mvaf-net的主干网络细节如下图：
检测头包括：分类（focal loss）、框回归（smoothl1 loss）和方向分类（softmax loss）。其总loss函数为
最后两个是前景分类项（focal loss）和中心回归项（smoothl1 loss）。
结果如下：
结论
我们提出了一种端到端的单阶段多视图融合3d检测方法mvaf-net，它由三部分组成：单视图特征提取（svfe），多视图特征融合（mvff）和融合特征检测（ffd）。在svfe部分，三流cnn主干（cv，bev和rv主干）使用lidar点云和rgb图像来生成多视图特征图。在mvff部分，使用我们提出的注意点向融合（apf）模块实现了多视图特征的自适应融合，该模块可以使用注意力机制自适应地确定从多视图输入中引入了多少信息。此外，我们通过提出的注意点加权（apw）模块进一步改善了网络的性能，该模块可以对点特征进行加权并通过两个额外的任务来学习结构信息：前景分类和中心回归。大量实验验证了所提出的apf和apw模块的有效性。此外，所提出的mvaf-net产生了竞争性结果，并且在所有单阶段融合方法中均达到了最佳性能。此外，我们的mvaf-net胜过大多数两阶段融合方法，在kitti基准上实现了速度和精度之间的最佳平衡。
腾玛智兔AI早教机器人评测
“人机协作” 促进自动化生产浪潮
骁龙835后宫来袭：小米6、HTC Ocean、一加5、索尼Xperia XZ Premium、OPPOFind9、诺基亚C9，你会买谁？
产业互联网你有所了解吗
LED软模组让碍事的柱子也能成为商场的“网红打卡点”！
一种端到端的单阶段多视图融合3D检测方法MVAF-Net
超级力量现世 北通蝙蝠4游戏手柄让游戏尽在掌控！
RFID在鞋服行业的应用
LT3519 具集成肖特基二极管的LED驱动器
苹果速度：iPhone 5预订时间曝光！
3G、WLAN、蓝牙的技术分析
GPRS技术在配电自动化中的应用设计
这些必须要说的C语言技巧你都知道多少？
安波福完成10万次打车服务 在自动驾驶领域小有成就
主板上各种总线注释
亚马逊云科技Amazon OpenSearch Serverless上线！
数据挖掘常用的十大算法
CES 2013操作系统之战更精彩：Windows，Android回击iOS
2017年，人工智能会如何改变教育行业？
深度学习完整解决方案 可节省80%开发时间