一种低成本、高精度的激光雷达辅助视觉SLAM系统
低成本激光雷达(如livox激光雷达)的出现与应用，使我们能够以更低的预算和更高的性能去尝试和开发这种slam系统。
2020年11月23日，一篇名为《camvox: 一种低成本、高精度的激光雷达辅助视觉slam系统》论文发表在康奈尔大学的arxri平台，该论文由南方科技大学isee团队基于scout mini移动机器人平台进行快速二次开发，并在平台上搭载了gps、camera、livoxhorizon、imu等设备。
图一示出了从camvox构建的示例轨迹和地图 camvox是什么？近年来，自主移动机器人得到飞速发展，在基于相机的同步定位和建图(slam)基础上结合激光雷达是提高整体定位精度的有效方法之一，尤其是在大规模室外场景下。低成本激光雷达(如livox激光雷达)的出现与应用，使我们能够以更低的预算和更高的性能去尝试和开发这种slam系统。 南方科技大学isee团队通过探索livox激光雷达的独特特征,将livox激光雷达应用到视觉slam(orbslam2)中,提出了camvox。
同时，基于livox激光雷达的非重复特性, 提出了一种适用于非受控场景的激光雷达-相机自动标定方法，更长的深度探测范围也有利于更有效的建图。 为什么要实现camvox？由于丰富的角度分辨率和信息丰富的颜色信息，相机可以通过简单的投影模型和光束调整提供良好定位和建图性能。从最初的单目相机到双目相机，再到rgb-d相机，它们都有着不同类型的问题，这些问题对精度、尺寸会产生较大影响。
即便后来采用融合像机和imu的组合方式，却因为消费级imu只能在相对较低的精度下工作,并且imu本身容易受到偏置、噪声和漂移等的影响，但是高端imu的成本非常高，这些都不利于imu进行普及。 另一方面，激光雷达提供了直接的空间测量。激光雷达slam框架已经开发出来且相对成熟，但是多线激光雷达通常成本太高，无法用于实际应用。幸运的是,livox推出了一种基于棱镜扫描的新型激光雷达，由于采用了新的扫描方法，成本可以大大降低,被大规模采用。
此外这种新的扫描方法允许不重复的扫描模式，非常适合于在累积时获取相对高清晰度的点云。此功能在校准激光雷达和相机时非常有用，因为传统的多线激光雷达缺乏线间空间的精度，棱镜设计还具有用于信号接收的最大光学孔径,并允许远程检测。
图二表示与传统激光雷达相比，三种livox激光雷达模型的点云密度随积分时间的变化由于激光雷达的远距离探测和高精度特征,相机和激光雷达之间的外部参数标定成为更重要的考虑因素。激光雷达相机的建议解决方案可以分为两种方式。第一个是标定过程是否需要一个比标定目标，第二个是标定是否可以在没有人为干预的情况下工作。这些年来,许多标定技术都是基于固定的校准目标或人工努力，但到目前为止,标定仍然是一项具有挑战性的任务，在不受控制的场景中，没有用于标定激光雷达和摄像机的开源算法。
livox激光雷达的非重复扫描模式可以提供一个更容易的解决方案。如何实现camvox？由于从livox lidars获得的稠密、长距离和精确的点与相机图像相融合，因此可以分配比传统rgb-d相机(由于检测距离)或双目视觉相机更多的近点。因此相机和激光雷达的优势可以通过紧耦合的方式加以利用。a.硬件和软件camvox硬件包括一个mv-ce060-10uc滚动快门相机，一个livox激光雷达和一个惯性测量单元(惯性传感ins)。附加的gps-rtk(惯性导航系统)用于地面真实度估计。
系统在几个并行线程上运行，如上图所示。除了orb-slam2的主要线程之外，还添加了一个额外的rgb-d输入预处理线程，以捕获来自同步相机和激光雷达(imu校正)的数据，并将其处理成统一的rgb-d帧。可以触发自动校准线程来校准相机和激光雷达，当检测到机器人不移动或通过人类交互时，自动进行校准。然后对校准结果进行评估并输出，用于潜在的参数更新。b.预处理预处理线程从激光雷达获取原始点，由imu进行校正，并根据相机的外部校准投影到深度图像中，然后将rgb图像与深度图像组合作为rgb-d帧的输出。由于激光雷达持续扫描环境，每个数据点都是在略有不同的时间戳获得的，需要imu进行校正。
图三为机器人平台、camvox硬件组成、图片案例为了纠正当机器人处于连续运动时点云变形的这种失真，机器人的运动是在每个激光雷达点输出时间从惯性测量单元姿态插值，并转换当触发信号开始时，激光雷达指向激光雷达坐标，这也是捕捉相机图像的时间。
图5示出了当机器人处于连续运动点云变形的例子
c.校准
由于激光雷达的远程能力，校准精度在camvox中至关重要。由于livox激光雷达不重复的特性，只要我们能够积累几秒钟的扫描点，深度图像就可以变得像相机图像一样高分辨率，并且与相机图像的对应关系变得容易找到。
图七为整个校正算法的结构因此我们能够基于场景信息在几乎所有的现场场景中自动进行这种校准。当检测到机器人静止时，设置自动校准的触发，以消除运动模糊。我们在静止状态下积累激光雷达点几秒钟，相机图像也被捕获.结 果具体来说,我们将首先显示自动校准的结果，还评估了为关键点选择深度阈值的效果。最后，我们评估了camvox与主流slam框架的比较轨迹，并给出了时间分析。a.自动校准结果
图八为自动校准结果
b.关键点深度阈值的评估
c.轨迹比较
d.计时结果camvox框架的时序分析如表二所示。自动校准大约需要58s完成。因为校准线程仅在机器人处于静止状态时偶尔运行，并且参数的更新可能发生在稍后的时间，所以这样的计算时间对于实时性能来说不是问题， 结论和展望综上所述，提出camvox作为一种新的低成本激光雷达辅助的视觉slam框架，旨在结合两者的优点，即来自摄像机的最佳角度分辨率和来自激光雷达的最佳深度和距离。由于livox激光雷达的独特工作原理，开发了一种可以在不受控制的场景中执行的自动校准算法。
在自动校准精度、关键点分类深度阈值和轨迹比较方面对新框架进行了评估。它也可以在机载计算机上实时运行。南方科技大学isee团队希望这个新的框架可以用于机器人和传感器研究,并为社区提供现成的低成本解决方案。选对一个机器人平台，项目已成功了一半机器人底盘承载着机器人定位、导航、移动、避障等多种功能，是机器人必不可少的重要硬件。
同时，机器人作为一个多种技术与功能的集合体，除了部分软件功能之外，其他重要部分都在机器人底盘这一硬件模块之上，机器人底盘不仅是各种传感器、机器视觉、激光雷达、电机轮子等设备的集成点，更承载了机器人本身的定位、导航、移动、避障等基础功能。 据了解，市面上机器人底盘的价格通常在2-10万之间，对于功能要求越高的机器人，底盘的价格也相对越高，在成本和功能之间始终无法找到一个平衡点，高昂的成本让不少企业和消费者难以负担。
同时，现在的服务机器人底盘普遍采用的是通用底盘，但其实不少下游企业对底盘的制作要求各不相同，根据场景的差异，对形状大小的要求也不尽相同。 针对这一现状，松灵机器人自主研发了包括scout 2.0, scout mini, hunter 2.0, bunker, trace等通用底盘。上文所采用的机器人底盘-scout mini是松灵机器人专为前沿科学实验设计的全能型移动研究平台。
scout mini小巧紧凑的设计使其能够轻松进入室内，独立的悬挂可以适应各种崎岖路面。其路径结构设计核心是紧凑，在保证功能的前提下，scout mini 使用轮毂电机驱动+摇摆臂独立悬架，可轻松翻越 70mm 障碍物、斜坡，进入单开门、电梯间，在室内外场景自由切换。scout mini使用多种动力轮胎（公路轮/麦克纳姆轮），车辆四周也可安装安全护栏或外设支架，方便在野外和特殊环境中使用。并且能够放入汽车后备箱中，快速投放到现场。
此外，scout mini的标准化协议和接口，方便快速进行二次开发；多方位的安装支架提供丰富的外部设备支持。自带独立主控可以完成自身的运动控制，并可以定制复杂的操作模式，主控提供串口/标准 can 总线作为通讯接口，可以接入差分 gps、惯导系统、双目摄像头、激光雷达、红外/超声波避障传感器等一系列外部设备。同时支持更高级的自动驾驶系统的接入，例如 ros、百度 apollo 等都可以以此作为移动平台，做应用开发。
通过加装不同的上部组件和导航系统,松灵机器人底盘目前已落地多个场景，包括自动驾驶教学、室内外巡检、环境探测、物流运输配送以及各种新的需要移动底盘的应用探索中等。巡检巡检领域是当前应用最广的一个领域，客户在底盘上面添加激光雷达、imu、超声波雷达、人脸识别、警报等传感器后，使机器人能够应用在化工厂巡检、街道巡检、仓库巡检等地。
巡检机器人 例如广智微芯就通过松灵scout开发了完全自主智能路径规划和导航的智能巡检车，通过本地智能视频分析技术，实现异常侵入、打架斗殴等危险情况告警功能。
广智微芯——智能巡检车 基于松灵智行导航套件，开发了能够在工地上自主导航、实现路径规划的工地巡检车，通过激光雷达、超声波雷达、摄像头等传感器，可实现视频拍摄录制、人脸识别、自动避障、自动轨迹巡检等功能，能够在工地上日夜巡视，全天候作业，降低人力成本。
工地巡检车沙漠绿化华东师范大学软件工程学院智能机器人运动与视觉实验室的张新宇老师团队通过在scout上面搭载机械臂以及其他传感器，设计研发“种树机器人集群”，用于治理土地沙漠化，助力生态恢复。该机器人集群已经在内蒙古阿拉善进行种树测试，并获得了央视报道关注。
种树机器人5g应用随着5g应用的部署，松灵机器人联手华为荣耀推出5g手机远程操控消毒机器人。使用荣耀v30作为控制端，通过5g信号的加持，轻松实现千里遥控，无须人员到场，有效改善一线作业人员的作业环境，实现零距离接触。
远程操控消毒机器人 松灵freewalker是一套基于4-5g移动网络的远程超视距驾驶方案，基于4-5g网络大带宽、低时延的特性，用户可超视距控制移动机器人完成复杂现场任务，不受距离、环境等因素干扰。该套装拥有两个版本：驾驶舱版本适用于专用固定位置远程驾驶，便携版本适用于移动或现场远程驾驶。目前freewalker套件已在运营商5g展厅部署，使消费者能够更直观的看到5g带来的革命性应用场景。 基于松灵机器人移动底盘及4-5g远程驾驶套装，weston robot成功研发适用于室内外无人消毒机器人，该机器人可完成远程无人化消毒工作，该成果作为先进抗疫情措施被媒体广泛报道，并被mathwork作为案例引用。
weston robot——消毒机器人教育截至目前，松灵机器人已经与清华大学、北理工、哈工大、南洋理工大学等国内外100多所高校达成合作，并与南科大、东莞理工等院校建立校企合作，在移动机器人底盘领域，开展运动控制、机器感知、ros开源等方向的课题研究。松灵机器人现已开启全球性ros开源生态圈建设，致力于为学校和科研用户打造一流的ros学习和交流平台。
原文标题：camvox: 一种低成本、高精度的激光雷达辅助视觉slam系统
文章出处：【微信公众号：mems】欢迎添加关注！文章转载请注明出处。
储能变流器应用场景与格局
关于逆变器在智能电网接口中的应用详细讲解教程
世界氢能及燃料电池产业发展现状（下）
智能袜子？！CES上的那些贴心设备
XR虚拟拍摄的“幕”后，LED器件这样助力
一种低成本、高精度的激光雷达辅助视觉SLAM系统
如何在电池应用中使用ADC中的省电模式节省功耗
联通有意推联通版小米手机:双方已会面讨论
USB通信原理以及ROS2相机驱动安装
简单的状态机入门知识详解
小米6: 最终还是没有迈过3000元这个坎!
豪威科技推出汽车图像信号处理器OAX4010
Wishbone总线的主要特征概括
美商柏恩与德国Kaschke KG正式向德国联邦政府申请合并审查
阿里为何抛售小鹏28亿股份 只是基于阿里的资本管理目标
禾赛XT32激光雷达为矿山“量身定制”智能化方案
江铃代工爱驰不是问题 爱驰能否迈向未来才是
USB控制器与phy有何关系
使用钽电解注意事项
Silicon Labs为轮调收音机设计推出最高集成度的多波段接收器解决方案
2020年11月23日，一篇名为《camvox: 一种低成本、高精度的激光雷达辅助视觉slam系统》论文发表在康奈尔大学的arxri平台，该论文由南方科技大学isee团队基于scout mini移动机器人平台进行快速二次开发，并在平台上搭载了gps、camera、livoxhorizon、imu等设备。
图一示出了从camvox构建的示例轨迹和地图 camvox是什么？近年来，自主移动机器人得到飞速发展，在基于相机的同步定位和建图(slam)基础上结合激光雷达是提高整体定位精度的有效方法之一，尤其是在大规模室外场景下。低成本激光雷达(如livox激光雷达)的出现与应用，使我们能够以更低的预算和更高的性能去尝试和开发这种slam系统。 南方科技大学isee团队通过探索livox激光雷达的独特特征,将livox激光雷达应用到视觉slam(orbslam2)中,提出了camvox。
同时，基于livox激光雷达的非重复特性, 提出了一种适用于非受控场景的激光雷达-相机自动标定方法，更长的深度探测范围也有利于更有效的建图。 为什么要实现camvox？由于丰富的角度分辨率和信息丰富的颜色信息，相机可以通过简单的投影模型和光束调整提供良好定位和建图性能。从最初的单目相机到双目相机，再到rgb-d相机，它们都有着不同类型的问题，这些问题对精度、尺寸会产生较大影响。
即便后来采用融合像机和imu的组合方式，却因为消费级imu只能在相对较低的精度下工作,并且imu本身容易受到偏置、噪声和漂移等的影响，但是高端imu的成本非常高，这些都不利于imu进行普及。 另一方面，激光雷达提供了直接的空间测量。激光雷达slam框架已经开发出来且相对成熟，但是多线激光雷达通常成本太高，无法用于实际应用。幸运的是,livox推出了一种基于棱镜扫描的新型激光雷达，由于采用了新的扫描方法，成本可以大大降低,被大规模采用。
此外这种新的扫描方法允许不重复的扫描模式，非常适合于在累积时获取相对高清晰度的点云。此功能在校准激光雷达和相机时非常有用，因为传统的多线激光雷达缺乏线间空间的精度，棱镜设计还具有用于信号接收的最大光学孔径,并允许远程检测。
图二表示与传统激光雷达相比，三种livox激光雷达模型的点云密度随积分时间的变化由于激光雷达的远距离探测和高精度特征,相机和激光雷达之间的外部参数标定成为更重要的考虑因素。激光雷达相机的建议解决方案可以分为两种方式。第一个是标定过程是否需要一个比标定目标，第二个是标定是否可以在没有人为干预的情况下工作。这些年来,许多标定技术都是基于固定的校准目标或人工努力，但到目前为止,标定仍然是一项具有挑战性的任务，在不受控制的场景中，没有用于标定激光雷达和摄像机的开源算法。
livox激光雷达的非重复扫描模式可以提供一个更容易的解决方案。如何实现camvox？由于从livox lidars获得的稠密、长距离和精确的点与相机图像相融合，因此可以分配比传统rgb-d相机(由于检测距离)或双目视觉相机更多的近点。因此相机和激光雷达的优势可以通过紧耦合的方式加以利用。a.硬件和软件camvox硬件包括一个mv-ce060-10uc滚动快门相机，一个livox激光雷达和一个惯性测量单元(惯性传感ins)。附加的gps-rtk(惯性导航系统)用于地面真实度估计。
系统在几个并行线程上运行，如上图所示。除了orb-slam2的主要线程之外，还添加了一个额外的rgb-d输入预处理线程，以捕获来自同步相机和激光雷达(imu校正)的数据，并将其处理成统一的rgb-d帧。可以触发自动校准线程来校准相机和激光雷达，当检测到机器人不移动或通过人类交互时，自动进行校准。然后对校准结果进行评估并输出，用于潜在的参数更新。b.预处理预处理线程从激光雷达获取原始点，由imu进行校正，并根据相机的外部校准投影到深度图像中，然后将rgb图像与深度图像组合作为rgb-d帧的输出。由于激光雷达持续扫描环境，每个数据点都是在略有不同的时间戳获得的，需要imu进行校正。
图三为机器人平台、camvox硬件组成、图片案例为了纠正当机器人处于连续运动时点云变形的这种失真，机器人的运动是在每个激光雷达点输出时间从惯性测量单元姿态插值，并转换当触发信号开始时，激光雷达指向激光雷达坐标，这也是捕捉相机图像的时间。
图5示出了当机器人处于连续运动点云变形的例子
c.校准
由于激光雷达的远程能力，校准精度在camvox中至关重要。由于livox激光雷达不重复的特性，只要我们能够积累几秒钟的扫描点，深度图像就可以变得像相机图像一样高分辨率，并且与相机图像的对应关系变得容易找到。
图七为整个校正算法的结构因此我们能够基于场景信息在几乎所有的现场场景中自动进行这种校准。当检测到机器人静止时，设置自动校准的触发，以消除运动模糊。我们在静止状态下积累激光雷达点几秒钟，相机图像也被捕获.结 果具体来说,我们将首先显示自动校准的结果，还评估了为关键点选择深度阈值的效果。最后，我们评估了camvox与主流slam框架的比较轨迹，并给出了时间分析。a.自动校准结果
图八为自动校准结果
b.关键点深度阈值的评估
c.轨迹比较
d.计时结果camvox框架的时序分析如表二所示。自动校准大约需要58s完成。因为校准线程仅在机器人处于静止状态时偶尔运行，并且参数的更新可能发生在稍后的时间，所以这样的计算时间对于实时性能来说不是问题， 结论和展望综上所述，提出camvox作为一种新的低成本激光雷达辅助的视觉slam框架，旨在结合两者的优点，即来自摄像机的最佳角度分辨率和来自激光雷达的最佳深度和距离。由于livox激光雷达的独特工作原理，开发了一种可以在不受控制的场景中执行的自动校准算法。
在自动校准精度、关键点分类深度阈值和轨迹比较方面对新框架进行了评估。它也可以在机载计算机上实时运行。南方科技大学isee团队希望这个新的框架可以用于机器人和传感器研究,并为社区提供现成的低成本解决方案。选对一个机器人平台，项目已成功了一半机器人底盘承载着机器人定位、导航、移动、避障等多种功能，是机器人必不可少的重要硬件。
同时，机器人作为一个多种技术与功能的集合体，除了部分软件功能之外，其他重要部分都在机器人底盘这一硬件模块之上，机器人底盘不仅是各种传感器、机器视觉、激光雷达、电机轮子等设备的集成点，更承载了机器人本身的定位、导航、移动、避障等基础功能。 据了解，市面上机器人底盘的价格通常在2-10万之间，对于功能要求越高的机器人，底盘的价格也相对越高，在成本和功能之间始终无法找到一个平衡点，高昂的成本让不少企业和消费者难以负担。
同时，现在的服务机器人底盘普遍采用的是通用底盘，但其实不少下游企业对底盘的制作要求各不相同，根据场景的差异，对形状大小的要求也不尽相同。 针对这一现状，松灵机器人自主研发了包括scout 2.0, scout mini, hunter 2.0, bunker, trace等通用底盘。上文所采用的机器人底盘-scout mini是松灵机器人专为前沿科学实验设计的全能型移动研究平台。
scout mini小巧紧凑的设计使其能够轻松进入室内，独立的悬挂可以适应各种崎岖路面。其路径结构设计核心是紧凑，在保证功能的前提下，scout mini 使用轮毂电机驱动+摇摆臂独立悬架，可轻松翻越 70mm 障碍物、斜坡，进入单开门、电梯间，在室内外场景自由切换。scout mini使用多种动力轮胎（公路轮/麦克纳姆轮），车辆四周也可安装安全护栏或外设支架，方便在野外和特殊环境中使用。并且能够放入汽车后备箱中，快速投放到现场。
此外，scout mini的标准化协议和接口，方便快速进行二次开发；多方位的安装支架提供丰富的外部设备支持。自带独立主控可以完成自身的运动控制，并可以定制复杂的操作模式，主控提供串口/标准 can 总线作为通讯接口，可以接入差分 gps、惯导系统、双目摄像头、激光雷达、红外/超声波避障传感器等一系列外部设备。同时支持更高级的自动驾驶系统的接入，例如 ros、百度 apollo 等都可以以此作为移动平台，做应用开发。
通过加装不同的上部组件和导航系统,松灵机器人底盘目前已落地多个场景，包括自动驾驶教学、室内外巡检、环境探测、物流运输配送以及各种新的需要移动底盘的应用探索中等。巡检巡检领域是当前应用最广的一个领域，客户在底盘上面添加激光雷达、imu、超声波雷达、人脸识别、警报等传感器后，使机器人能够应用在化工厂巡检、街道巡检、仓库巡检等地。
巡检机器人 例如广智微芯就通过松灵scout开发了完全自主智能路径规划和导航的智能巡检车，通过本地智能视频分析技术，实现异常侵入、打架斗殴等危险情况告警功能。
广智微芯——智能巡检车 基于松灵智行导航套件，开发了能够在工地上自主导航、实现路径规划的工地巡检车，通过激光雷达、超声波雷达、摄像头等传感器，可实现视频拍摄录制、人脸识别、自动避障、自动轨迹巡检等功能，能够在工地上日夜巡视，全天候作业，降低人力成本。
工地巡检车沙漠绿化华东师范大学软件工程学院智能机器人运动与视觉实验室的张新宇老师团队通过在scout上面搭载机械臂以及其他传感器，设计研发“种树机器人集群”，用于治理土地沙漠化，助力生态恢复。该机器人集群已经在内蒙古阿拉善进行种树测试，并获得了央视报道关注。
种树机器人5g应用随着5g应用的部署，松灵机器人联手华为荣耀推出5g手机远程操控消毒机器人。使用荣耀v30作为控制端，通过5g信号的加持，轻松实现千里遥控，无须人员到场，有效改善一线作业人员的作业环境，实现零距离接触。
远程操控消毒机器人 松灵freewalker是一套基于4-5g移动网络的远程超视距驾驶方案，基于4-5g网络大带宽、低时延的特性，用户可超视距控制移动机器人完成复杂现场任务，不受距离、环境等因素干扰。该套装拥有两个版本：驾驶舱版本适用于专用固定位置远程驾驶，便携版本适用于移动或现场远程驾驶。目前freewalker套件已在运营商5g展厅部署，使消费者能够更直观的看到5g带来的革命性应用场景。 基于松灵机器人移动底盘及4-5g远程驾驶套装，weston robot成功研发适用于室内外无人消毒机器人，该机器人可完成远程无人化消毒工作，该成果作为先进抗疫情措施被媒体广泛报道，并被mathwork作为案例引用。
weston robot——消毒机器人教育截至目前，松灵机器人已经与清华大学、北理工、哈工大、南洋理工大学等国内外100多所高校达成合作，并与南科大、东莞理工等院校建立校企合作，在移动机器人底盘领域，开展运动控制、机器感知、ros开源等方向的课题研究。松灵机器人现已开启全球性ros开源生态圈建设，致力于为学校和科研用户打造一流的ros学习和交流平台。
原文标题：camvox: 一种低成本、高精度的激光雷达辅助视觉slam系统
文章出处：【微信公众号：mems】欢迎添加关注！文章转载请注明出处。
储能变流器应用场景与格局
关于逆变器在智能电网接口中的应用详细讲解教程
世界氢能及燃料电池产业发展现状（下）
智能袜子？！CES上的那些贴心设备
XR虚拟拍摄的“幕”后，LED器件这样助力
一种低成本、高精度的激光雷达辅助视觉SLAM系统
如何在电池应用中使用ADC中的省电模式节省功耗
联通有意推联通版小米手机:双方已会面讨论
USB通信原理以及ROS2相机驱动安装
简单的状态机入门知识详解
小米6: 最终还是没有迈过3000元这个坎!
豪威科技推出汽车图像信号处理器OAX4010
Wishbone总线的主要特征概括
美商柏恩与德国Kaschke KG正式向德国联邦政府申请合并审查
阿里为何抛售小鹏28亿股份 只是基于阿里的资本管理目标
禾赛XT32激光雷达为矿山“量身定制”智能化方案
江铃代工爱驰不是问题 爱驰能否迈向未来才是
USB控制器与phy有何关系
使用钽电解注意事项
Silicon Labs为轮调收音机设计推出最高集成度的多波段接收器解决方案