LaserNet:基于激光雷达数据的激光网络自动驾驶三维目标检测
本文介绍了一种基于激光雷达数据的激光网络自动驾驶三维目标检测方法——lasernet。高效的处理结果来自于在传感器的自然距离视图中处理激光雷达数据。在激光雷达视场范围内的操作有许多挑战，不仅包括遮挡和尺度变化，还有基于传感器如何捕获数据来提供全流程信息。
本文介绍的方法是使用一个全卷积网络来预测每个点在三维物体上的多模态分布，然后有效地融合这些多模态分布来生成对每个对象的预测。实验表明，把每个检测建模看作一个分布，能获得更好的整体检测性能。基准测试结果表明，相比其他的检测方法，本方法的运行时间更少；在训练大量数据来克服视场范围目标检测问题上，本方法获得最佳性能。
lasernet通过以下几个步骤实现三维检测：
使用传感器的固有范围视场来构建一个密集的输入图像；
图像通过全卷积网络生成一组预测；
对于图像中的每个激光雷达点，预测一个类概率，并在俯视图中对边界框架进行概率分布回归；
每个激光雷达点分布通过均值漂移聚类进行组合，以降低单个预测中的噪声；
检测器进行端到端训练，在边界框架上定义损失；
用一种新的自适应非最大抑制（nms）算法来消除重叠的边框分布。
上图为深层聚合网络架构。列表示不同的分辨率级别，行表示聚合阶段。
上图为特征提取模块（左）和特征聚合模块（右）。虚线表示对特征图进行了卷积。
上图为自适应nms。在两辆车并排放置的情况下，左边的虚线描述了产生的一组可能的预测。为了确定边界框是否封装了唯一的对象，使用预测的方差（如中间所示）来估计最坏情况下的重叠（如右图所示）。在本例中，由于实际重叠小于估计的最坏情况重叠，因此将保留这两个边界框。
上图为在训练集和验证集上的边界框上的预测分布的校准的图。结果表明，该模型不能学习kitti上的概率分布，而能够学习较大的atg4d上的分布。
【实验结果】
上表显示了与其他最先进的方法相比，lasernet在验证集上的结果。像kitti基准一样，我们计算了汽车0．7 iou和自行车及行人0：5 iou的平均精度（ap）。在这个数据集上，lasernet在0－70米范围内表现优于现有的最先进的方法。此外，lasernet在所有距离上都优于lidar－only方法，只有在附加图像数据提供最大价值的长距离上，车辆和自行车上的lidar－rgb方法优于lasernet。
对atg4d数据集进行消融研究，结果如上表所示。
预测概率分布。预测概率分布最大的改进是预测边界框架的分布。当仅预测平均边界框时，公式（6）为简单平均，公式（9）为框角损失。此外，边界框的得分在本例中是类概率。实验结果表明，性能上的损失是由于概率与边界框架的准确性没有很好地相关性导致的。
图像形成：velodyne 64e激光雷达中的激光器并不是均匀间隔的。通过使用激光id将点映射到行，并在传感器捕获数据时直接处理数据，可以获得性能上的提高。
均值漂移聚类：每个点独立地预测边界框的分布，通过均值漂移聚类将独立的预测组合起来实现降噪。
非极大值抑制：当激光雷达的点稀疏时，有多个边界框的配置可以解释观测到的数据。通过预测各点的多模态分布，进一步提高了该方法的查全率。在生成多模态分布时，使用具有严格阈值的nms是不合适的。或者，我们可以使用软nms来重新评估置信度，但是这打破了对置信度的概率解释。通过自适应nms算法，保持了概率解释，并获得了更好的性能。
对于自动驾驶而言，运行时性能同样重要。上表比较了lasernet（在nvidia 1080ti gpu上测量）和kitti上现有方法的运行时的性能。forward pass是指运行网络所花费的时间，除forward pass外，总时间还包括预处理和后处理。由于在一个小的密集的范围视场内处理，lasernet比目前最先进的方法快两倍。
使用训练集中的5，985个扫描点训练网络，并保留其余的扫描以进行验证。使用与之前相同的学习时间表对网络进行5万次迭代训练，并在单个gpu上使用12个批处理。为了避免在这个小的训练集上过度拟合，采用数据增强手段随机翻转范围图像，并在水平维度上随机像素移动。在这样一个小的数据集中，学习边界框上的概率分布，特别是多模态分布是非常困难的。因此，训练网络只检测车辆并预测边界框上的单峰概率分布。如上表所示，我们的方法在这个小数据集上的性能比当前最先进的鸟瞰图检测器差。
索尼移动业务不符合预期，已找到症结所在
嵌入式运动控制器发展中的优缺点分析
特高压气体绝缘金属封闭开关设备发展
高通第二财季营收获利再度刷新纪录
苹果Apple Car传感器研发团队突发人事大调整
LaserNet:基于激光雷达数据的激光网络自动驾驶三维目标检测
过热保护电路
机器学习集成与机器视觉 成为工业4.0关键基础
Microchip微芯串行SPI SRAM芯片简述
基于电化学阻抗的动态工况下车用燃料电池堆不一致性分析
Frequently Asked Questions abo
Q2季度中国平板电脑市场同比增长17.7%，华为出货同比增幅最高
CRT-通用3-6轴MF系列多功能运动控制系统示教编辑案例
共享单车这两年：从野蛮扩张到平稳增长….
大功率mos管价格是怎样的
突破物理束缚，协作机器人助力实现真正的柔性生产
液晶拼接屏主要用途有哪些
霍尔传感器 多种孔径可选择 应用于逆变电源 电流监控及电池应用等系统电流信号采集和反馈控制
联发科发布两款6nm芯片，杀入笔记本领域
别急入手，小米5s、华为荣耀8等五部手机马上就要降价了！
本文介绍的方法是使用一个全卷积网络来预测每个点在三维物体上的多模态分布，然后有效地融合这些多模态分布来生成对每个对象的预测。实验表明，把每个检测建模看作一个分布，能获得更好的整体检测性能。基准测试结果表明，相比其他的检测方法，本方法的运行时间更少；在训练大量数据来克服视场范围目标检测问题上，本方法获得最佳性能。
lasernet通过以下几个步骤实现三维检测：
使用传感器的固有范围视场来构建一个密集的输入图像；
图像通过全卷积网络生成一组预测；
对于图像中的每个激光雷达点，预测一个类概率，并在俯视图中对边界框架进行概率分布回归；
每个激光雷达点分布通过均值漂移聚类进行组合，以降低单个预测中的噪声；
检测器进行端到端训练，在边界框架上定义损失；
用一种新的自适应非最大抑制（nms）算法来消除重叠的边框分布。
上图为深层聚合网络架构。列表示不同的分辨率级别，行表示聚合阶段。
上图为特征提取模块（左）和特征聚合模块（右）。虚线表示对特征图进行了卷积。
上图为自适应nms。在两辆车并排放置的情况下，左边的虚线描述了产生的一组可能的预测。为了确定边界框是否封装了唯一的对象，使用预测的方差（如中间所示）来估计最坏情况下的重叠（如右图所示）。在本例中，由于实际重叠小于估计的最坏情况重叠，因此将保留这两个边界框。
上图为在训练集和验证集上的边界框上的预测分布的校准的图。结果表明，该模型不能学习kitti上的概率分布，而能够学习较大的atg4d上的分布。
【实验结果】
上表显示了与其他最先进的方法相比，lasernet在验证集上的结果。像kitti基准一样，我们计算了汽车0．7 iou和自行车及行人0：5 iou的平均精度（ap）。在这个数据集上，lasernet在0－70米范围内表现优于现有的最先进的方法。此外，lasernet在所有距离上都优于lidar－only方法，只有在附加图像数据提供最大价值的长距离上，车辆和自行车上的lidar－rgb方法优于lasernet。
对atg4d数据集进行消融研究，结果如上表所示。
预测概率分布。预测概率分布最大的改进是预测边界框架的分布。当仅预测平均边界框时，公式（6）为简单平均，公式（9）为框角损失。此外，边界框的得分在本例中是类概率。实验结果表明，性能上的损失是由于概率与边界框架的准确性没有很好地相关性导致的。
图像形成：velodyne 64e激光雷达中的激光器并不是均匀间隔的。通过使用激光id将点映射到行，并在传感器捕获数据时直接处理数据，可以获得性能上的提高。
均值漂移聚类：每个点独立地预测边界框的分布，通过均值漂移聚类将独立的预测组合起来实现降噪。
非极大值抑制：当激光雷达的点稀疏时，有多个边界框的配置可以解释观测到的数据。通过预测各点的多模态分布，进一步提高了该方法的查全率。在生成多模态分布时，使用具有严格阈值的nms是不合适的。或者，我们可以使用软nms来重新评估置信度，但是这打破了对置信度的概率解释。通过自适应nms算法，保持了概率解释，并获得了更好的性能。
对于自动驾驶而言，运行时性能同样重要。上表比较了lasernet（在nvidia 1080ti gpu上测量）和kitti上现有方法的运行时的性能。forward pass是指运行网络所花费的时间，除forward pass外，总时间还包括预处理和后处理。由于在一个小的密集的范围视场内处理，lasernet比目前最先进的方法快两倍。
使用训练集中的5，985个扫描点训练网络，并保留其余的扫描以进行验证。使用与之前相同的学习时间表对网络进行5万次迭代训练，并在单个gpu上使用12个批处理。为了避免在这个小的训练集上过度拟合，采用数据增强手段随机翻转范围图像，并在水平维度上随机像素移动。在这样一个小的数据集中，学习边界框上的概率分布，特别是多模态分布是非常困难的。因此，训练网络只检测车辆并预测边界框上的单峰概率分布。如上表所示，我们的方法在这个小数据集上的性能比当前最先进的鸟瞰图检测器差。
索尼移动业务不符合预期，已找到症结所在
嵌入式运动控制器发展中的优缺点分析
特高压气体绝缘金属封闭开关设备发展
高通第二财季营收获利再度刷新纪录
苹果Apple Car传感器研发团队突发人事大调整
LaserNet:基于激光雷达数据的激光网络自动驾驶三维目标检测
过热保护电路
机器学习集成与机器视觉 成为工业4.0关键基础
Microchip微芯串行SPI SRAM芯片简述
基于电化学阻抗的动态工况下车用燃料电池堆不一致性分析
Frequently Asked Questions abo
Q2季度中国平板电脑市场同比增长17.7%，华为出货同比增幅最高
CRT-通用3-6轴MF系列多功能运动控制系统示教编辑案例
共享单车这两年：从野蛮扩张到平稳增长….
大功率mos管价格是怎样的
突破物理束缚，协作机器人助力实现真正的柔性生产
液晶拼接屏主要用途有哪些
霍尔传感器 多种孔径可选择 应用于逆变电源 电流监控及电池应用等系统电流信号采集和反馈控制
联发科发布两款6nm芯片，杀入笔记本领域
别急入手，小米5s、华为荣耀8等五部手机马上就要降价了！