OA-SLAM：在视觉SLAM中利用对象进行相机重新定位
motivations:
用粗略模型(长方体或椭球体)表示的对象可能不够精确，无法改善相机的位姿跟踪。
目前sota目标检测器对视角和光照变化具有很强的鲁棒性，这对于从大量不同视角恢复相机姿态非常有利。
缺乏用于构建面向对象地图的全自动系统，都有着一定的假设。
contributions:
结合对象和点的优点，提出了一种改进的重定位方法，能够从大量不同的视角中估计相机位姿。
提出了一种全自动的slam系统，能够在飞行中识别、跟踪和重建对象。
background and related works:
1. 对象建图
crocco使用简化相机模型，提出了一种封闭形式的公式来估计来自多视图目标检测的对偶二次曲面。rubino将其拓展到针孔相机模型。chen等人解决了前向移动中初始化对象估计问题。
2. 基于对象的定位
weinzaepfel等人利用查询图像中出现的对象与参考图像中出现的对象之间的稠密2d-3d对应关系来计算相机的位姿，但该方法仅限于平面对象。
一些工作使用了更通用的对象，用椭球表示。然而这些方法仅从对象估计相机姿态，并假设一个预构建的对象地图。[11]只估计相机的位置，假设方向已知。[38]专注于3d感知椭圆对象检测。
3. 基于对象的slam
bao等人在定位和建图中引入了对象，在一个sfm框架中识别和定位对象。mccormac等人和sünderhauf等人将rgb-d slam和语义分割和对象检测相融合，获得具有语义注释的稠密点云。
quadricslam使用对偶二次曲面作为3d地标，共同估计相机位姿和对偶二次曲面参数。eao-slam在半稠密的slam中集成对象，利用不同的统计信息来提高数据关联的鲁棒性。hosseinzadeh将点、平面和二次曲面联合为基于因子图的slam。so-slam中，liao等人使用手工提取的平面为对象添加支撑约束，以及语义尺度先验和对象约束。roshan利用边界框检测、图像纹理、语义知识和对象形状先验来推断椭球模型，并解决前向平移车辆运动下的可观察性问题。cubeslam使用长方体来表示对象，使用2d边界框和消失点采样从单图中生成对象候选。frost等人用球体建模对象，并使用它们解决slam中的尺度不确定和漂移问题。
4. 基于对象的slam重定位
只有dudek等人利用slam中的语义地图进行重定位。mahattansin等人利用对象检测改进了视觉slam的重定位，但对象检测知识用来更好地筛选候选关键帧，相机位姿仍使用与最相似的关键帧的点匹配估计得到。
methodology:
1. 椭球体对象表示
9dof表示，3dof表示轴长，3dof表示方向，3dof表示位置。其方程可以用对偶空间的封闭形式表示。椭球体定义为4×4矩阵q*,椭圆定义为3×3矩阵c*。
2. 目标检测与关联
目标检测器：yolo (只考虑评分高于0.5的检测)
2.1 基于box的对象追踪
在重建之前，基于边界框重叠和标签一致性在2d帧中跟踪对象在两帧之间的运动相对较小和平滑时短期有效。
考虑3d重建来获得长期的跟踪，将其椭球模型投影到当前帧中，并利用该帧中与目标检测的重叠来寻找关联。
结合以上两种情况，使用匈牙利算法找到最优关联，该最大化匹配总分，以便在n次检测和m个对象之间找到最佳的可能分配。
2.2 基于点的对象追踪
在相机位姿估计过程中，将图像关键点与地图地标进行鲁棒匹配，这些匹配可以用于链接检测框和对象椭球：
1）在图像中，如果一个关键点位于边界框内，它就与一个检测相链接
2）在地图中，如果一个点地标位于椭球体内，则与该对象相链接
如果检测和地图对象之间至少存在τ个基于点的匹配，则关联。
3. 初始对象重建
当通过相机中心的光线与对象检测中心的光线之间的角度变化为10°以上时，创建其3d椭球的初始估计。为了尽快地获得对象的3d估计，对象最初被重建为球体，然后随着视角的增加，细化为椭球体的形式。
球体的位置是从边界框的中心进行三角测量，半径被确定为边界框的平均大小。
其中，为在第i个相机坐标系中的对象中心z坐标，和为第i帧检测框的宽度和高度，和为相机内参，n为对象被追踪到的帧数。
然后将该球体细化为椭球体，更新其轴长和位姿，以最小化重投影误差的形式进行改进。当经过足够帧数(通常为40帧)重构和细化对象，3d iou超过阈值时，将对象集成到地图中。
4. 局部对象建图
4.1 对象优化
与orb-slam2的局部束调节类似，对象模型也会定期进行优化，每当一个新的关键帧观察到地图中存在的对象时，就会通过最小化重投影误差来优化对象。
其中，为第j次检测框的内切椭圆， 为第i个对象的对偶矩阵，为第j个关键帧的投影矩阵，为第j个关键帧的目标检测评分，n为对象观测数量。
4.2 对象合并
系统定期检查重复的对象，如果它们的3d iou超过0.2，并且一个椭球体的中心位于另一个椭球体的内部或者共享超过 个3d点，则合并这两个对象。
对关键帧中的两个对象跟踪的检测框进行组合，并初始化一个新的椭球。
5. 使用对象重定位
当重构地图上的点与关键帧显著不同时，基于bow的方法经常失败。因此采用基于对象的方法增强重定位，对视角改变更加鲁棒。
由于pnp计算出的位姿比从对象对应关系中得到的位姿更准确，主要思想是引导点与从对象对应关系中计算出的姿态进行匹配。然后采用点对应关系使用pnp进行定位。
基于对象的方法：根据椭圆-椭球的类别建立了椭圆-椭球对，每次迭代至少选择三对组合，在中心使用p3p算法计算相机位姿。对于p3p解出的四种解，椭球体被投影并且基于重叠关联检测，代价计算为每个关联对的(1-iou)之和，选择四种解中代价最小的相机位姿。
然后将基于对象方法得到的位姿通过orb-slam2的局部匹配步骤来识别关键点-地标对应关系，选择最小代价且超过30个关键点-地标匹配的位姿，在点上进行优化。
experiments:
1. 对象建图
与eao-slam的对比
2. 对象vs点
2.1 重定位
2.2 在束调整中集成对象
3. ar应用
3.1 重新初始化3d追踪
3.2 slam恢复
1-4）在3d中跟踪相机，并建立点和对象的地图
5-6）由于相机的突然运动，跟踪丢失了
7-9）当重构的场景再次可见时，重定位模块从对象中估计相机姿态，建立点匹配，并使跟踪和建图继续进行。
4. 按部分建模
相机重定位需要足够数量的对象（3），当相机靠近时，可能只有一到两个对象可见。解决方法：微调检测器网络，以检测对象的可区分部分。
近距离情况下，雕像的部分(头、肩膀和底部)被用于重新定位，当远距离情况下，只使用完整的对象检测。
discussion and future work:
考虑将基于对象的推理与静态/动态识别相结合。
意法半导体和 Blues Wireless 合作加快嵌入式蜂窝技术的应用
深度推荐系统与CTR预估2019年值得精读的论文
欧盟提议领先的代工厂在欧洲建立领先的晶圆厂
智能手环怎么调时间
国内工业互联网标识注册量量超过98亿
OA-SLAM：在视觉SLAM中利用对象进行相机重新定位
西门子S7-1500 PLC项目案例
四脚整流桥堆经常坏什么原因
接近开关的种类及用途
大牛分享嵌入式学习经历和心得
详解太阳能光控开关电路的制作
用80C31和SED1335控制三星320×240LCD模
中国首款车规级 AI 芯片前装量产背后的故事
一文详解机械式自动电码发送装置
地址/数据标识位的原理及应用介绍
维安高压超结MOSFET，轻松解决LED电源浪涌
什么是SLA
想让光联接无处不在？ 华为发布“三束光”全系列产品
号码携带国际政策方案经验启示
射频基础之调制解调基础
用粗略模型(长方体或椭球体)表示的对象可能不够精确，无法改善相机的位姿跟踪。
目前sota目标检测器对视角和光照变化具有很强的鲁棒性，这对于从大量不同视角恢复相机姿态非常有利。
缺乏用于构建面向对象地图的全自动系统，都有着一定的假设。
contributions:
结合对象和点的优点，提出了一种改进的重定位方法，能够从大量不同的视角中估计相机位姿。
提出了一种全自动的slam系统，能够在飞行中识别、跟踪和重建对象。
background and related works:
1. 对象建图
crocco使用简化相机模型，提出了一种封闭形式的公式来估计来自多视图目标检测的对偶二次曲面。rubino将其拓展到针孔相机模型。chen等人解决了前向移动中初始化对象估计问题。
2. 基于对象的定位
weinzaepfel等人利用查询图像中出现的对象与参考图像中出现的对象之间的稠密2d-3d对应关系来计算相机的位姿，但该方法仅限于平面对象。
一些工作使用了更通用的对象，用椭球表示。然而这些方法仅从对象估计相机姿态，并假设一个预构建的对象地图。[11]只估计相机的位置，假设方向已知。[38]专注于3d感知椭圆对象检测。
3. 基于对象的slam
bao等人在定位和建图中引入了对象，在一个sfm框架中识别和定位对象。mccormac等人和sünderhauf等人将rgb-d slam和语义分割和对象检测相融合，获得具有语义注释的稠密点云。
quadricslam使用对偶二次曲面作为3d地标，共同估计相机位姿和对偶二次曲面参数。eao-slam在半稠密的slam中集成对象，利用不同的统计信息来提高数据关联的鲁棒性。hosseinzadeh将点、平面和二次曲面联合为基于因子图的slam。so-slam中，liao等人使用手工提取的平面为对象添加支撑约束，以及语义尺度先验和对象约束。roshan利用边界框检测、图像纹理、语义知识和对象形状先验来推断椭球模型，并解决前向平移车辆运动下的可观察性问题。cubeslam使用长方体来表示对象，使用2d边界框和消失点采样从单图中生成对象候选。frost等人用球体建模对象，并使用它们解决slam中的尺度不确定和漂移问题。
4. 基于对象的slam重定位
只有dudek等人利用slam中的语义地图进行重定位。mahattansin等人利用对象检测改进了视觉slam的重定位，但对象检测知识用来更好地筛选候选关键帧，相机位姿仍使用与最相似的关键帧的点匹配估计得到。
methodology:
1. 椭球体对象表示
9dof表示，3dof表示轴长，3dof表示方向，3dof表示位置。其方程可以用对偶空间的封闭形式表示。椭球体定义为4×4矩阵q*,椭圆定义为3×3矩阵c*。
2. 目标检测与关联
目标检测器：yolo (只考虑评分高于0.5的检测)
2.1 基于box的对象追踪
在重建之前，基于边界框重叠和标签一致性在2d帧中跟踪对象在两帧之间的运动相对较小和平滑时短期有效。
考虑3d重建来获得长期的跟踪，将其椭球模型投影到当前帧中，并利用该帧中与目标检测的重叠来寻找关联。
结合以上两种情况，使用匈牙利算法找到最优关联，该最大化匹配总分，以便在n次检测和m个对象之间找到最佳的可能分配。
2.2 基于点的对象追踪
在相机位姿估计过程中，将图像关键点与地图地标进行鲁棒匹配，这些匹配可以用于链接检测框和对象椭球：
1）在图像中，如果一个关键点位于边界框内，它就与一个检测相链接
2）在地图中，如果一个点地标位于椭球体内，则与该对象相链接
如果检测和地图对象之间至少存在τ个基于点的匹配，则关联。
3. 初始对象重建
当通过相机中心的光线与对象检测中心的光线之间的角度变化为10°以上时，创建其3d椭球的初始估计。为了尽快地获得对象的3d估计，对象最初被重建为球体，然后随着视角的增加，细化为椭球体的形式。
球体的位置是从边界框的中心进行三角测量，半径被确定为边界框的平均大小。
其中，为在第i个相机坐标系中的对象中心z坐标，和为第i帧检测框的宽度和高度，和为相机内参，n为对象被追踪到的帧数。
然后将该球体细化为椭球体，更新其轴长和位姿，以最小化重投影误差的形式进行改进。当经过足够帧数(通常为40帧)重构和细化对象，3d iou超过阈值时，将对象集成到地图中。
4. 局部对象建图
4.1 对象优化
与orb-slam2的局部束调节类似，对象模型也会定期进行优化，每当一个新的关键帧观察到地图中存在的对象时，就会通过最小化重投影误差来优化对象。
其中，为第j次检测框的内切椭圆， 为第i个对象的对偶矩阵，为第j个关键帧的投影矩阵，为第j个关键帧的目标检测评分，n为对象观测数量。
4.2 对象合并
系统定期检查重复的对象，如果它们的3d iou超过0.2，并且一个椭球体的中心位于另一个椭球体的内部或者共享超过 个3d点，则合并这两个对象。
对关键帧中的两个对象跟踪的检测框进行组合，并初始化一个新的椭球。
5. 使用对象重定位
当重构地图上的点与关键帧显著不同时，基于bow的方法经常失败。因此采用基于对象的方法增强重定位，对视角改变更加鲁棒。
由于pnp计算出的位姿比从对象对应关系中得到的位姿更准确，主要思想是引导点与从对象对应关系中计算出的姿态进行匹配。然后采用点对应关系使用pnp进行定位。
基于对象的方法：根据椭圆-椭球的类别建立了椭圆-椭球对，每次迭代至少选择三对组合，在中心使用p3p算法计算相机位姿。对于p3p解出的四种解，椭球体被投影并且基于重叠关联检测，代价计算为每个关联对的(1-iou)之和，选择四种解中代价最小的相机位姿。
然后将基于对象方法得到的位姿通过orb-slam2的局部匹配步骤来识别关键点-地标对应关系，选择最小代价且超过30个关键点-地标匹配的位姿，在点上进行优化。
experiments:
1. 对象建图
与eao-slam的对比
2. 对象vs点
2.1 重定位
2.2 在束调整中集成对象
3. ar应用
3.1 重新初始化3d追踪
3.2 slam恢复
1-4）在3d中跟踪相机，并建立点和对象的地图
5-6）由于相机的突然运动，跟踪丢失了
7-9）当重构的场景再次可见时，重定位模块从对象中估计相机姿态，建立点匹配，并使跟踪和建图继续进行。
4. 按部分建模
相机重定位需要足够数量的对象（3），当相机靠近时，可能只有一到两个对象可见。解决方法：微调检测器网络，以检测对象的可区分部分。
近距离情况下，雕像的部分(头、肩膀和底部)被用于重新定位，当远距离情况下，只使用完整的对象检测。
discussion and future work:
考虑将基于对象的推理与静态/动态识别相结合。
意法半导体和 Blues Wireless 合作加快嵌入式蜂窝技术的应用
深度推荐系统与CTR预估2019年值得精读的论文
欧盟提议领先的代工厂在欧洲建立领先的晶圆厂
智能手环怎么调时间
国内工业互联网标识注册量量超过98亿
OA-SLAM：在视觉SLAM中利用对象进行相机重新定位
西门子S7-1500 PLC项目案例
四脚整流桥堆经常坏什么原因
接近开关的种类及用途
大牛分享嵌入式学习经历和心得
详解太阳能光控开关电路的制作
用80C31和SED1335控制三星320×240LCD模
中国首款车规级 AI 芯片前装量产背后的故事
一文详解机械式自动电码发送装置
地址/数据标识位的原理及应用介绍
维安高压超结MOSFET，轻松解决LED电源浪涌
什么是SLA
想让光联接无处不在？ 华为发布“三束光”全系列产品
号码携带国际政策方案经验启示
射频基础之调制解调基础