IROS'23开源,nuScenes跟踪第一!无需学习的超强多目标跟踪！
多目标跟踪的作用是获取目标在整个图像/lidar序列上的完整轨迹和状态，这两年在slam、导航、规划任务上应用很多。多目标跟踪的基本框架就是预测+关联，很多mot使用学习方法进行预测，但是计算量很大。实时方法一般使用卡尔曼滤波进行状态更新，但会受限于选择的是匀速模型还是匀加速模型。
笔者最近阅读了iros 2023的开源方案poly-mot，来源于哈工大机器人国重实验室。这个方案也是基于ekf进行更新，但是为不同目标建立了不同的物理模型，实现了nuscenues上的跟踪sota效果。因为没有使用学习方案，也就不需要gpu，降低了硬件要求。
今天笔者将为大家分享这项工作，当然笔者水平有限，如果有理解不当的地方欢迎大家一起讨论~
1、效果展示
poly-mot跟踪效果的直接对比，也体现了文章的核心思想，就是为不同类别建立不同的运动模型。汽车使用他们设计的ctra模型，摩托车使用他们设计的bicycle模型，ca表示匀速模型。可以发现引入专用模型后的跟踪轨迹明显变好了。
poly-mot和cbmot的跟踪性能对比，poly-mot对于小目标和密集目标的跟踪鲁棒性更高。cbmot是2021 iros提出的相机-雷达融合方案，同时使用了centerpoint和centertrack两个检测器。
代码已经开源了，感兴趣的小伙伴可以实际运行一下。
2、导读
三维多目标跟踪(mot)通过提供周围物体的运动轨迹，使移动机器人能够完成明智的运动规划和导航任务。然而，现有的3d mot方法通常采用单个相似性度量和物理模型来对所有对象执行数据关联和状态估计。在大规模现代数据集和真实场景中，有各种各样的对象类别，它们通常表现出独特的几何属性和运动模式。这样，这种区分将使各种物体类别在同一标准下表现不同，导致轨迹和探测之间的错误匹配，并危及下游任务(导航等)的可靠性。为此，我们提出了poly-mot，一种基于检测跟踪框架的高效3d mot方法，使跟踪器能够为每个对象类别选择最合适的跟踪标准。具体来说，poly-mot利用各种对象类别的不同运动模型来准确描述不同类型的运动。我们还将物体刚性结构的约束引入到具体的运动模型中，以准确描述物体的高度非线性运动。此外，我们引入了一个两阶段的数据关联策略，以确保对象可以从三个自定义度量中找到其类别的最佳相似性度量，并减少丢失的匹配。在nuscenes数据集上，我们提出的方法达到了75.4% amota的最高性能。
3、算法解析
重新梳理一下问题：
给定每帧lidar的3d目标检测结果，跟踪多个目标在整个序列上的轨迹和状态。
现有方法是怎么做的？
现有框架基本就是预测+关联，基于匀速或者匀加速模型，使用卡尔曼滤波预测当前帧目标在下一帧的位置和状态，然后和下一帧目标检测结果计算iou，如果超过阈值则认为匹配成功，重复这个过程实现整个序列的关联。
这么做有什么问题？
现有方法是对所有目标类别都建立相同的预测和关联模型，但显然不同目标的运动规律是不一样的，通用模型肯定会降低精度。
如何解决？
poly-mot将不同目标分为ctra和bicycle两类，依据物理规律建立两个不同的预测模型，并建立多个度量函数来进行重复性数据关联。
具体原理是啥？
poly-mot的pipeline包括四个部分：预处理模块、多类别轨迹运动模块、多类别数据关联模块和轨迹管理模块。
（1）、预处理
这部分主要是做目标检测的nms，为了降低计算量在nms之前还加了一步分数阈值处理（sf），直接过滤掉低置信度的检测结果。后面也证明了sf不仅可以提高速度，也可以提高精度。感觉如果能用gpu来算nms会再快一些。
poly-mot主要在nuscenes上跑，因此得到的3d目标检测结果是[x, y, z, w, l, h, θ, vx, vy]，xyz表示box中心坐标，wlh表示box的宽长高，θ是航向角，vx和vy是物体速度，注意有些数据集是没有速度真值的。
（2）、多类别轨迹运动建模
这部分是文章的主要创新点，放弃了恒速或恒加速模型，将目标分为ctra和bicycle 两类模型，并引入刚体结构约束来建模目标的非线性。
ctra（汽车和人）：角速度ω和加速度a视为常量，航向角θ、速度v和加速度a的方向共线。ctra类的目标状态为10维向量[x, y, z, v, a, θ, ω, w, l, h]。
bicycle（摩托车、自行车等类似物体）：速度方向和航向角可变，转向角和速度不变。bicycle类的目标状态也是10维向量[x′, y′, z, v, a, θ, δ, w, l, h]，x′和y′表示重心坐标，δ为转向角。注意两类模型都假设加速度a、坐标z和box尺寸wlh不变。
目标状态更新使用的是扩展卡尔曼滤波：
其中t表示目标状态，p表示协方差矩阵，f表示雅可比矩阵，q表示噪声，f表示状态转移方程。x和y的转移方程为：
其中η表示速度和x轴的夹角，其转移方程为：
β表示速度和航向夹角，其转移方程为：
其中γ表示物体轴距和车体长度的比值，lr表示物体重心到后轮的距离，β也是ctra和bicycle的最主要区别，物理意义是自行车模型的瞬心不在物体主体上。
速度、航向角、角速度的转移方程依次为：
这也就是完整的状态更新模型。
（3）、多类别数据关联
poly-mot数据关联部分的核心思想是，为不同类别设计不同的度量来降低假阳性匹配，并设计两阶段关联减少假阴性匹配。两阶段关联维护了两个大的代价矩阵，主要是为了使用不同的度量来进行重复关联。
b表示预测或者检测的状态，第一级关联包括并集上的3d广义iou、并集上的bev广义iou以及欧氏距离：
第二级关联是给所有类别的目标再计算一次bev的giou。进行两阶段匹配之后，获得的是匹配对、当前检测中的未关联目标、当前预测中的未关联目标。
（4）、轨迹管理
这部分包括轨迹更新、轨迹初始化、轨迹删除和输出文件，轨迹更新就是对匹配对应用ekf更新状态，轨迹初始化就是连续跟踪帧数超过阈值就认为是活跃轨迹，同理轨迹删除。
4、实验结果
实验是在nuscenes数据集进行，主要使用amota来评估。poly-mot运行设备是intel 9940x，没有使用深度学习也就不需要gpu。运行速度是3 fps，看起来不快，如果能设计cuda加速在gpu上应该会跑的很快，而且已经超过了同类方案simpletrack（0.51 fps）、minkowski tracker（1.7 fps）。
在nuscenes测试集上的定量对比结果，截止今天，还是以75.4%的性能实现了nuscenes多目标跟踪的第一！注意poly-mot只使用了lidar数据，而第二的camo-mot是多模态的mot方案。
在nuscenes测试集上的定量对比结果，同样实现sota。
pipeline各部分的消融实验，os是原始状态，pre是预处理模块，mo是轨迹运动模块，ass是数据关联模块。特别注意os和os+pre之间的差距，说明预处理模块很重要。
预处理模块中阈值处理和nms的消融实验，验证预处理模块不仅可以提高精度，还可以提高运行速度，因为低置信度的box都被滤掉了。
最后一个消融实验，验证对于不同目标，建模合适的运动规律可以很大程度提高跟踪性能。不知道为啥两个测试对象都是bicycle类。
5、总结
今天笔者为大家分享了poly-mot跟踪方案，不需要gpu就可以实现sota精度，文章写得很好，各种实验做得也很全。更有意义的是提出了一种新的设计思想，而不是单纯的堆砌模块。感兴趣的小伙伴可以运行一下代码~
三星/台积电10nm产能紧张，小米6要遭殃
一文深度了解压力传感器的应用场景
三星推出了像素高达6400万的图像传感器
国产CPU获得新进展，有望达AMD第一代Zen水平
中国的5G路应该怎样走
IROS'23开源,nuScenes跟踪第一!无需学习的超强多目标跟踪！
浅谈物联网技术在地下综合管廊智能化平台建设中的应用
关于温湿度传感器在机房监控温湿度系统中的应用
阿童木磁栅尺读数头助力电气设备公司降本增效
又一国产MEMS传感器龙头企业科创板IPO注册通过！（证监会最新消息）
世界生物领域2018年发展态势,世界生物领域2019年趋势展望
微软Surface系列国行版发布 增添中国专属配色售价7188元起
物联网智能无线远传水表的原理及设计
区块链将促进全球货币金融贸易的发展
介绍一款农业智能环境监控系统方案,学到就是赚到
兆芯开先KX-U6780A x86处理器，兼容最新的SSE4.2/AVX x86指令集
波士顿动力将于明年出售有机械臂的Spot机器人
当自动驾驶遇上机器人三大定律时
基于PXI架构的智能型Switch Module的性能特点及应用分析
超级计算机上可模拟人脑整体神经电路的新算法
笔者最近阅读了iros 2023的开源方案poly-mot，来源于哈工大机器人国重实验室。这个方案也是基于ekf进行更新，但是为不同目标建立了不同的物理模型，实现了nuscenues上的跟踪sota效果。因为没有使用学习方案，也就不需要gpu，降低了硬件要求。
今天笔者将为大家分享这项工作，当然笔者水平有限，如果有理解不当的地方欢迎大家一起讨论~
1、效果展示
poly-mot跟踪效果的直接对比，也体现了文章的核心思想，就是为不同类别建立不同的运动模型。汽车使用他们设计的ctra模型，摩托车使用他们设计的bicycle模型，ca表示匀速模型。可以发现引入专用模型后的跟踪轨迹明显变好了。
poly-mot和cbmot的跟踪性能对比，poly-mot对于小目标和密集目标的跟踪鲁棒性更高。cbmot是2021 iros提出的相机-雷达融合方案，同时使用了centerpoint和centertrack两个检测器。
代码已经开源了，感兴趣的小伙伴可以实际运行一下。
2、导读
三维多目标跟踪(mot)通过提供周围物体的运动轨迹，使移动机器人能够完成明智的运动规划和导航任务。然而，现有的3d mot方法通常采用单个相似性度量和物理模型来对所有对象执行数据关联和状态估计。在大规模现代数据集和真实场景中，有各种各样的对象类别，它们通常表现出独特的几何属性和运动模式。这样，这种区分将使各种物体类别在同一标准下表现不同，导致轨迹和探测之间的错误匹配，并危及下游任务(导航等)的可靠性。为此，我们提出了poly-mot，一种基于检测跟踪框架的高效3d mot方法，使跟踪器能够为每个对象类别选择最合适的跟踪标准。具体来说，poly-mot利用各种对象类别的不同运动模型来准确描述不同类型的运动。我们还将物体刚性结构的约束引入到具体的运动模型中，以准确描述物体的高度非线性运动。此外，我们引入了一个两阶段的数据关联策略，以确保对象可以从三个自定义度量中找到其类别的最佳相似性度量，并减少丢失的匹配。在nuscenes数据集上，我们提出的方法达到了75.4% amota的最高性能。
3、算法解析
重新梳理一下问题：
给定每帧lidar的3d目标检测结果，跟踪多个目标在整个序列上的轨迹和状态。
现有方法是怎么做的？
现有框架基本就是预测+关联，基于匀速或者匀加速模型，使用卡尔曼滤波预测当前帧目标在下一帧的位置和状态，然后和下一帧目标检测结果计算iou，如果超过阈值则认为匹配成功，重复这个过程实现整个序列的关联。
这么做有什么问题？
现有方法是对所有目标类别都建立相同的预测和关联模型，但显然不同目标的运动规律是不一样的，通用模型肯定会降低精度。
如何解决？
poly-mot将不同目标分为ctra和bicycle两类，依据物理规律建立两个不同的预测模型，并建立多个度量函数来进行重复性数据关联。
具体原理是啥？
poly-mot的pipeline包括四个部分：预处理模块、多类别轨迹运动模块、多类别数据关联模块和轨迹管理模块。
（1）、预处理
这部分主要是做目标检测的nms，为了降低计算量在nms之前还加了一步分数阈值处理（sf），直接过滤掉低置信度的检测结果。后面也证明了sf不仅可以提高速度，也可以提高精度。感觉如果能用gpu来算nms会再快一些。
poly-mot主要在nuscenes上跑，因此得到的3d目标检测结果是[x, y, z, w, l, h, θ, vx, vy]，xyz表示box中心坐标，wlh表示box的宽长高，θ是航向角，vx和vy是物体速度，注意有些数据集是没有速度真值的。
（2）、多类别轨迹运动建模
这部分是文章的主要创新点，放弃了恒速或恒加速模型，将目标分为ctra和bicycle 两类模型，并引入刚体结构约束来建模目标的非线性。
ctra（汽车和人）：角速度ω和加速度a视为常量，航向角θ、速度v和加速度a的方向共线。ctra类的目标状态为10维向量[x, y, z, v, a, θ, ω, w, l, h]。
bicycle（摩托车、自行车等类似物体）：速度方向和航向角可变，转向角和速度不变。bicycle类的目标状态也是10维向量[x′, y′, z, v, a, θ, δ, w, l, h]，x′和y′表示重心坐标，δ为转向角。注意两类模型都假设加速度a、坐标z和box尺寸wlh不变。
目标状态更新使用的是扩展卡尔曼滤波：
其中t表示目标状态，p表示协方差矩阵，f表示雅可比矩阵，q表示噪声，f表示状态转移方程。x和y的转移方程为：
其中η表示速度和x轴的夹角，其转移方程为：
β表示速度和航向夹角，其转移方程为：
其中γ表示物体轴距和车体长度的比值，lr表示物体重心到后轮的距离，β也是ctra和bicycle的最主要区别，物理意义是自行车模型的瞬心不在物体主体上。
速度、航向角、角速度的转移方程依次为：
这也就是完整的状态更新模型。
（3）、多类别数据关联
poly-mot数据关联部分的核心思想是，为不同类别设计不同的度量来降低假阳性匹配，并设计两阶段关联减少假阴性匹配。两阶段关联维护了两个大的代价矩阵，主要是为了使用不同的度量来进行重复关联。
b表示预测或者检测的状态，第一级关联包括并集上的3d广义iou、并集上的bev广义iou以及欧氏距离：
第二级关联是给所有类别的目标再计算一次bev的giou。进行两阶段匹配之后，获得的是匹配对、当前检测中的未关联目标、当前预测中的未关联目标。
（4）、轨迹管理
这部分包括轨迹更新、轨迹初始化、轨迹删除和输出文件，轨迹更新就是对匹配对应用ekf更新状态，轨迹初始化就是连续跟踪帧数超过阈值就认为是活跃轨迹，同理轨迹删除。
4、实验结果
实验是在nuscenes数据集进行，主要使用amota来评估。poly-mot运行设备是intel 9940x，没有使用深度学习也就不需要gpu。运行速度是3 fps，看起来不快，如果能设计cuda加速在gpu上应该会跑的很快，而且已经超过了同类方案simpletrack（0.51 fps）、minkowski tracker（1.7 fps）。
在nuscenes测试集上的定量对比结果，截止今天，还是以75.4%的性能实现了nuscenes多目标跟踪的第一！注意poly-mot只使用了lidar数据，而第二的camo-mot是多模态的mot方案。
在nuscenes测试集上的定量对比结果，同样实现sota。
pipeline各部分的消融实验，os是原始状态，pre是预处理模块，mo是轨迹运动模块，ass是数据关联模块。特别注意os和os+pre之间的差距，说明预处理模块很重要。
预处理模块中阈值处理和nms的消融实验，验证预处理模块不仅可以提高精度，还可以提高运行速度，因为低置信度的box都被滤掉了。
最后一个消融实验，验证对于不同目标，建模合适的运动规律可以很大程度提高跟踪性能。不知道为啥两个测试对象都是bicycle类。
5、总结
今天笔者为大家分享了poly-mot跟踪方案，不需要gpu就可以实现sota精度，文章写得很好，各种实验做得也很全。更有意义的是提出了一种新的设计思想，而不是单纯的堆砌模块。感兴趣的小伙伴可以运行一下代码~
三星/台积电10nm产能紧张，小米6要遭殃
一文深度了解压力传感器的应用场景
三星推出了像素高达6400万的图像传感器
国产CPU获得新进展，有望达AMD第一代Zen水平
中国的5G路应该怎样走
IROS'23开源,nuScenes跟踪第一!无需学习的超强多目标跟踪！
浅谈物联网技术在地下综合管廊智能化平台建设中的应用
关于温湿度传感器在机房监控温湿度系统中的应用
阿童木磁栅尺读数头助力电气设备公司降本增效
又一国产MEMS传感器龙头企业科创板IPO注册通过！（证监会最新消息）
世界生物领域2018年发展态势,世界生物领域2019年趋势展望
微软Surface系列国行版发布 增添中国专属配色售价7188元起
物联网智能无线远传水表的原理及设计
区块链将促进全球货币金融贸易的发展
介绍一款农业智能环境监控系统方案,学到就是赚到
兆芯开先KX-U6780A x86处理器，兼容最新的SSE4.2/AVX x86指令集
波士顿动力将于明年出售有机械臂的Spot机器人
当自动驾驶遇上机器人三大定律时
基于PXI架构的智能型Switch Module的性能特点及应用分析
超级计算机上可模拟人脑整体神经电路的新算法