3D检测算法的smoke PyTorch 实现
【giantpandacv导语】修改开源的 3d 检测算法，使用了 pytorch 自带的 dconv，省去 linux 下编译 dconv 的 cuda 代码，可以直接在 window 下训练和测试。在源码基础上增加了 finetune 和 resume 等功能，并提供了重新训练的模型。
代码：https://github.com/huangdebo/smoke-window
[x] 模型效果
1 网络结构
smoke 的网络机构比较简单粗暴，一个 dla 直接出 w/4, h/4 的特征图，然后分成两路：（1） 关键点检测，用以得出每个类别的目标的 3d 中心点在 2d 图像中的投影（2） 3d 信息的回归， depth_offset(1), keypoint_offset(2), dimension_offset(3), orientation(2)，共 8 个channel。
2 3d 检测
2.1 关键点分支
类似 centernet，把目标看成点来检测，但不同的是，smoke 利用的是 3d box 的中心投影点，而不是 2d box 的中心点。
2.2 回归分支
首先是 location，网络回归的都是偏差，对于 z 方向的值，通过预设的偏移量和尺度因子来计算：对于 x,y，则是通过关键点分支得到的投影中心点和回归的偏移量计算得出，然后在通过反投影计算出 location：
dimension 也是通过统计预设值和回归值来计算：
对于航向角的计算比较绕，smoke 并不是直接回归航向角，而是通过间接计算：
在下图中将小车沿着y轴顺时针旋转，待小车和camera连线与相机坐标系的z轴重合时停止，那么紫色的角是没有发生变化的。于是有
r_y 和 alpha 就是 kitti label 中的 rotation_y 和 alpha，β 就是论文中的 αz。但 smoke 也不是直接回归 αz，而且转化成另外一个变量 αx，αx 也是编码成 [sin(α), cos(α)]，进行归一化处理
基于上面的计算值，就可以 3d box 的8个顶点坐标了
3 loss 计算
3.1 关键点分类 loss
与 centernet 类似，在 focal loss 的基础上加权，对中心点附近的位置降低loss权重，并通过巧妙的设计来抑制中心附近的回归值，让只有中心一个尖峰：
3.2 回归 loss
smoke 使用了 disentangling loss 形式来计算回归分支的 loss，计算 3d box 需要 rotation_y，dimension 和 location 三个变量，disentangling 则是用一个预测值 + 两个 groundtruth 值来计算，从而得到三个 3d box，在进行 l1 loss 计算。所以总的 loss 就是 分类 loss 和 3 个不同的 l1 回归 loss
结论：
smoke 的backbone 使用了 dla，而且依赖 dcnv，所以模型比较大，对落地部署不是很友好。而且是依赖镜头的内参的，不清楚多种数据训和训练效果如何。3d框的回归比较稳定，但存在漏检，尤其是小目标和只出现一部分的目标。如果能参考主流 2d 检测的多层检测，和优化关键点分支的策略，也许能缓解这些问题。
汽车电子特殊特性和控制方法
三菱变频器参数设置：三菱变频器a700参数表
MinE-Cap——缩小AC-DC电源尺寸的新型解决方案
手机扬声器只是听个响，可别忘了有这些变态的设计
人工智能芯片研发成功，未来手机将会如何变化
3D检测算法的smoke PyTorch 实现
禾赛与NVIDIA合作再升级，激光雷达集成至NVIDIA DRIVE Sim
霍尼韦尔智慧医疗解决方案，赋能医疗数字化发展
使用X-微波对射频设计进行原型设计的更好方法
第一季全球应用处理器市场规模47亿美元
贴片电容的耐压值怎么看，贴片电容的耐压值怎么测算
国产机器人有望在2025年完成对国外产品的全面超越
食品中蛋白质测定仪的特点及功能
光交叉连接设备的组成_光交叉连接设备的分类
应用卡死可能是因为你的磁盘IO出了问题
SSL初学者：HTTPS中的S代表什么含义？
LED企业如何练内功？把企业当孩子经营
风光互补监控系统-小型风光储介绍
莱迪思半导体发力中端FPGA市场
常见的卷积神经网络模型 典型的卷积神经网络模型
代码：https://github.com/huangdebo/smoke-window
[x] 模型效果
1 网络结构
smoke 的网络机构比较简单粗暴，一个 dla 直接出 w/4, h/4 的特征图，然后分成两路：（1） 关键点检测，用以得出每个类别的目标的 3d 中心点在 2d 图像中的投影（2） 3d 信息的回归， depth_offset(1), keypoint_offset(2), dimension_offset(3), orientation(2)，共 8 个channel。
2 3d 检测
2.1 关键点分支
类似 centernet，把目标看成点来检测，但不同的是，smoke 利用的是 3d box 的中心投影点，而不是 2d box 的中心点。
2.2 回归分支
首先是 location，网络回归的都是偏差，对于 z 方向的值，通过预设的偏移量和尺度因子来计算：对于 x,y，则是通过关键点分支得到的投影中心点和回归的偏移量计算得出，然后在通过反投影计算出 location：
dimension 也是通过统计预设值和回归值来计算：
对于航向角的计算比较绕，smoke 并不是直接回归航向角，而是通过间接计算：
在下图中将小车沿着y轴顺时针旋转，待小车和camera连线与相机坐标系的z轴重合时停止，那么紫色的角是没有发生变化的。于是有
r_y 和 alpha 就是 kitti label 中的 rotation_y 和 alpha，β 就是论文中的 αz。但 smoke 也不是直接回归 αz，而且转化成另外一个变量 αx，αx 也是编码成 [sin(α), cos(α)]，进行归一化处理
基于上面的计算值，就可以 3d box 的8个顶点坐标了
3 loss 计算
3.1 关键点分类 loss
与 centernet 类似，在 focal loss 的基础上加权，对中心点附近的位置降低loss权重，并通过巧妙的设计来抑制中心附近的回归值，让只有中心一个尖峰：
3.2 回归 loss
smoke 使用了 disentangling loss 形式来计算回归分支的 loss，计算 3d box 需要 rotation_y，dimension 和 location 三个变量，disentangling 则是用一个预测值 + 两个 groundtruth 值来计算，从而得到三个 3d box，在进行 l1 loss 计算。所以总的 loss 就是 分类 loss 和 3 个不同的 l1 回归 loss
结论：
smoke 的backbone 使用了 dla，而且依赖 dcnv，所以模型比较大，对落地部署不是很友好。而且是依赖镜头的内参的，不清楚多种数据训和训练效果如何。3d框的回归比较稳定，但存在漏检，尤其是小目标和只出现一部分的目标。如果能参考主流 2d 检测的多层检测，和优化关键点分支的策略，也许能缓解这些问题。
汽车电子特殊特性和控制方法
三菱变频器参数设置：三菱变频器a700参数表
MinE-Cap——缩小AC-DC电源尺寸的新型解决方案
手机扬声器只是听个响，可别忘了有这些变态的设计
人工智能芯片研发成功，未来手机将会如何变化
3D检测算法的smoke PyTorch 实现
禾赛与NVIDIA合作再升级，激光雷达集成至NVIDIA DRIVE Sim
霍尼韦尔智慧医疗解决方案，赋能医疗数字化发展
使用X-微波对射频设计进行原型设计的更好方法
第一季全球应用处理器市场规模47亿美元
贴片电容的耐压值怎么看，贴片电容的耐压值怎么测算
国产机器人有望在2025年完成对国外产品的全面超越
食品中蛋白质测定仪的特点及功能
光交叉连接设备的组成_光交叉连接设备的分类
应用卡死可能是因为你的磁盘IO出了问题
SSL初学者：HTTPS中的S代表什么含义？
LED企业如何练内功？把企业当孩子经营
风光互补监控系统-小型风光储介绍
莱迪思半导体发力中端FPGA市场
常见的卷积神经网络模型 典型的卷积神经网络模型