基于反向传播PnP优化的端到端可学习几何视觉介绍
摘要
深度网络在从大量数据中学习模式方面表现出色。另一方面，许多几何视觉任务被指定为优化问题。
为了将深度学习和几何视觉无缝地结合起来，至关重要的是进行端到端的学习和几何优化。
为了实现这一目标，我们提出了bpnp，这是一个新颖的网络模块，通过perspective-npoints（pnp）求解器反向传播梯度，以指导神经网络的参数更新。
基于隐式微分，我们表明一个 独立的 pnp求解器的梯度可以被准确有效地导出，就像优化器块是一个可微分的函数。
我们通过将bpnp纳入一个深度模型来验证它，该模型可以从训练数据集中学习相机的内在因素、相机的外在因素（姿势）和三维结构。
此外，我们开发了一个用于物体姿势估计的端到端可训练管道，该管道通过将基于特征的热图损失与二维-三维重投影误差相结合，实现了更高的准确性。
由于我们的方法可以扩展到其他优化问题，我们的工作有助于以一种原则性的方式实现可学习的几何视觉。
主要贡献
我们的主要贡献是一个名为bpnp的新型网络模块，它包含了一个pnp求解器。bpnp通过pnp 层 反向传播梯度，以指导神经网络权重的更新，从而利用既定的目标函数（二维-三维重投影误差的平方和）和几何视觉问题的求解器实现端到端的学习。
尽管只结合了一个pnp求解器，我们展示了bpnp如何被用来学习有效的深度特征表征，用于多种几何视觉任务（姿势估计、运动结构、相机校准）。
我们还将我们的方法与最先进的几何视觉任务的方法进行比较。从根本上说，我们的方法是基于隐式微分的。
主要方法
反向传播的pnp算法： 让g表示一个 函数 形式的pnp求解器
从n个2d-3d的对应关系中返回摄像机的6dof姿态y和其内部参数k∈r3×3
其中(xi , zi)是第i个对应关系。让π(-|y, k)是三维点在图像平面上的投影变换，姿态为y，相机本征为k。
从本质上讲，g的 评估 需要解决优化问题如下：
ri表示第i对对应关系的重投影误差。
πi是三维点zi在图像平面上的投影。
我们的最终目标是将g纳入一个可学习的模型中，其中x、z和k可以是一个深度网络的（中间）输出。此外，公式（4）的求解器应该被用来参与网络参数的学习。为此，我们需要把g当作一个可微调的函数，这样它的梯度 就可以反向传播到网络的其他部分。接下来我们将详细介绍如何对反向传播的梯度进行计算。
1. 隐式函数定理（ift） 这里简单公式推导了ift隐式函数定理。
ift允许计算一个函数g相对于其输入a的导数，而不需要函数的明确形式，但有一个函数f约束a和g(a)。
2. 构造约束函数f
为了调用隐式微分的ift，我们首先需要定义约束函数f(a, b)。对于我们的问题，我们使用所有四个变量x、y、z和k来构造f。
但我们将f视为一个双变量函数f(a, b)，其中a在{x, z, k}中取值--取决于要得到的偏导--而b=y（即g的输出姿势）。
为了维护约束函数f(a,b)，我们利用了优化过程的静止约束。
在这里，将pnp求解器的目标函数g表示为：
由于pnp求解器的输出姿态y是目标函数的局部最优，所以可以通过对目标的一阶导数与y的关系来建立一个静止约束，即：
给出一个pnp求解器的输出姿势y = [y1, ..., ym] t，我们构建f，可以写为：
3. 前向和反向传播
我们对g的pnp公式基本上是执行最小二乘法（ls）估计，这对离群值（x、z和k的恶劣误差）并不稳健。
另外，我们可以采用一个更稳健的目标，如加入m-估计器[56]或使离群值的数量最大化[15]。
然而，我们的结果表明，ls实际上更合适，因为它对输入测量中的误差的敏感性鼓励学习快速收敛到不产生x、z和k中的异常值的参数。
相反，一个稳健的目标会阻止异常值的误差信号，导致学习过程不稳定。
鉴于（4），解算器的选择仍然存在。
为了进行隐式微分，我们不需要精确地解决（4），因为cij只是（4）的静止条件，任何局部最小值都能满足。
为此，我们采用levenberg-marquardt（lm）算法，该算法保证了局部收敛。
作为一种迭代算法，lm在求解（4）时需要初始化y（0）。
我们通过将(1)重写为：(1)来明确这种依赖关系：
在反向传播中，我们首先构建f，然后得到g相对于其每个输入的雅可比系数，即：
给出输出梯度，bpnp返回输入梯度：
算法流程如下图所示：
主要结果：
晶体管射随电路
Halcon算子与算法原理
工控机的使用方法 工控机的工作温度范围
如何推动AR/VR产业的繁荣发展
预测图像如何影响视觉反应速度
基于反向传播PnP优化的端到端可学习几何视觉介绍
喜欢iPad Pro却嫌贵？这款平板值得你关注
为转换器时钟应用选择最佳器件
33套换热器及反应设备工作原理动画看个够
AR技术现目前的发展建议与未来发展机遇分析
史上最文艺的战斗机ZUK Z1橡木版： 骁龙芯+64G+4100mAh， 仅989
无线供电的方式有哪些？什么叫电磁感应方式？
工程师浪漫小创意:自制LED侧光屏
UWB与蓝牙定位技术的优点与缺点
XCF128XFTG64C
国产贴片电感兼容TDK贴片电感怎么确认gujing
超级CAR-T细胞疗法有望防止肿瘤复发
HF宽带前置放大器
特斯拉CEO听取“粉丝”的意见,称赞点子很棒！
基于TDA7294的组装电路设计
深度网络在从大量数据中学习模式方面表现出色。另一方面，许多几何视觉任务被指定为优化问题。
为了将深度学习和几何视觉无缝地结合起来，至关重要的是进行端到端的学习和几何优化。
为了实现这一目标，我们提出了bpnp，这是一个新颖的网络模块，通过perspective-npoints（pnp）求解器反向传播梯度，以指导神经网络的参数更新。
基于隐式微分，我们表明一个 独立的 pnp求解器的梯度可以被准确有效地导出，就像优化器块是一个可微分的函数。
我们通过将bpnp纳入一个深度模型来验证它，该模型可以从训练数据集中学习相机的内在因素、相机的外在因素（姿势）和三维结构。
此外，我们开发了一个用于物体姿势估计的端到端可训练管道，该管道通过将基于特征的热图损失与二维-三维重投影误差相结合，实现了更高的准确性。
由于我们的方法可以扩展到其他优化问题，我们的工作有助于以一种原则性的方式实现可学习的几何视觉。
主要贡献
我们的主要贡献是一个名为bpnp的新型网络模块，它包含了一个pnp求解器。bpnp通过pnp 层 反向传播梯度，以指导神经网络权重的更新，从而利用既定的目标函数（二维-三维重投影误差的平方和）和几何视觉问题的求解器实现端到端的学习。
尽管只结合了一个pnp求解器，我们展示了bpnp如何被用来学习有效的深度特征表征，用于多种几何视觉任务（姿势估计、运动结构、相机校准）。
我们还将我们的方法与最先进的几何视觉任务的方法进行比较。从根本上说，我们的方法是基于隐式微分的。
主要方法
反向传播的pnp算法： 让g表示一个 函数 形式的pnp求解器
从n个2d-3d的对应关系中返回摄像机的6dof姿态y和其内部参数k∈r3×3
其中(xi , zi)是第i个对应关系。让π(-|y, k)是三维点在图像平面上的投影变换，姿态为y，相机本征为k。
从本质上讲，g的 评估 需要解决优化问题如下：
ri表示第i对对应关系的重投影误差。
πi是三维点zi在图像平面上的投影。
我们的最终目标是将g纳入一个可学习的模型中，其中x、z和k可以是一个深度网络的（中间）输出。此外，公式（4）的求解器应该被用来参与网络参数的学习。为此，我们需要把g当作一个可微调的函数，这样它的梯度 就可以反向传播到网络的其他部分。接下来我们将详细介绍如何对反向传播的梯度进行计算。
1. 隐式函数定理（ift） 这里简单公式推导了ift隐式函数定理。
ift允许计算一个函数g相对于其输入a的导数，而不需要函数的明确形式，但有一个函数f约束a和g(a)。
2. 构造约束函数f
为了调用隐式微分的ift，我们首先需要定义约束函数f(a, b)。对于我们的问题，我们使用所有四个变量x、y、z和k来构造f。
但我们将f视为一个双变量函数f(a, b)，其中a在{x, z, k}中取值--取决于要得到的偏导--而b=y（即g的输出姿势）。
为了维护约束函数f(a,b)，我们利用了优化过程的静止约束。
在这里，将pnp求解器的目标函数g表示为：
由于pnp求解器的输出姿态y是目标函数的局部最优，所以可以通过对目标的一阶导数与y的关系来建立一个静止约束，即：
给出一个pnp求解器的输出姿势y = [y1, ..., ym] t，我们构建f，可以写为：
3. 前向和反向传播
我们对g的pnp公式基本上是执行最小二乘法（ls）估计，这对离群值（x、z和k的恶劣误差）并不稳健。
另外，我们可以采用一个更稳健的目标，如加入m-估计器[56]或使离群值的数量最大化[15]。
然而，我们的结果表明，ls实际上更合适，因为它对输入测量中的误差的敏感性鼓励学习快速收敛到不产生x、z和k中的异常值的参数。
相反，一个稳健的目标会阻止异常值的误差信号，导致学习过程不稳定。
鉴于（4），解算器的选择仍然存在。
为了进行隐式微分，我们不需要精确地解决（4），因为cij只是（4）的静止条件，任何局部最小值都能满足。
为此，我们采用levenberg-marquardt（lm）算法，该算法保证了局部收敛。
作为一种迭代算法，lm在求解（4）时需要初始化y（0）。
我们通过将(1)重写为：(1)来明确这种依赖关系：
在反向传播中，我们首先构建f，然后得到g相对于其每个输入的雅可比系数，即：
给出输出梯度，bpnp返回输入梯度：
算法流程如下图所示：
主要结果：
晶体管射随电路
Halcon算子与算法原理
工控机的使用方法 工控机的工作温度范围
如何推动AR/VR产业的繁荣发展
预测图像如何影响视觉反应速度
基于反向传播PnP优化的端到端可学习几何视觉介绍
喜欢iPad Pro却嫌贵？这款平板值得你关注
为转换器时钟应用选择最佳器件
33套换热器及反应设备工作原理动画看个够
AR技术现目前的发展建议与未来发展机遇分析
史上最文艺的战斗机ZUK Z1橡木版： 骁龙芯+64G+4100mAh， 仅989
无线供电的方式有哪些？什么叫电磁感应方式？
工程师浪漫小创意:自制LED侧光屏
UWB与蓝牙定位技术的优点与缺点
XCF128XFTG64C
国产贴片电感兼容TDK贴片电感怎么确认gujing
超级CAR-T细胞疗法有望防止肿瘤复发
HF宽带前置放大器
特斯拉CEO听取“粉丝”的意见,称赞点子很棒！
基于TDA7294的组装电路设计