【机器视觉】3D抓取—基于模板匹配
基于模板匹配方法
已知物体模型，从不同方向提取rgbd特征，处理生成模板与实际图像每个位置进行匹配，匹配成功得到目标的位姿信息。
2011linemod经典鼻祖论文：multimodaltemplates for real-time detection of texture-less objects in heavily clutteredscenes（linemod）
2012改进linemod：gradient response maps for real-time detection of texture-less objects
左：可辨别的图像梯度主要在轮廓上找到。梯度位置粉红色显示
中：深度传感器获取的表面法向量
右：2d图像梯度和3d表面法线的组合->增加鲁棒性
视觉提示的互补性：梯度通常在物体轮廓上找到，而在物体内部找到曲面法线
研究方向与问题：复杂背景下3d物体的实时检测与定位
依据：采用彩色图像的梯度信息结合物体表面的法向特征作为模板匹配
算法场景：复杂场景、无纹理、多模板
应用：opencv封装（（参考2中有函数解释）），基于ros的object recognition kitchen中有配套的模型生成图像的程序、icp后处理的教程跟代码
算法流程：
（1）概念性
一个模板是一个特征点序列（多模态时为多个序列），特征点彼此不能太近且要有足够的代表性。
输入rgbd数据
（2）计算梯度方向
以彩色梯度为例，先进行7*7的高斯模糊，然后利用sobel算子计算梯度，继而在每个像素点求解出了梯度方向以及幅值，只有超过一定阈值的梯度才会被保留；
接着在3*3的领域内统计梯度的方向，数量超过5的梯度方向才会被采用；
此处梯度方向都是无符号的，只取上一半，opencv实现的代码里分为8个方向（量化为5)。这种提取特征的方式对于梯度起到了主成分提取和放大的效果。
经过训练生成文件信息。
（3）方向扩散
对被搜索图像（原图）也要进行梯度的计算，并且对梯度的方向做方向的拓展。
继而利用模板进行滑窗匹配时就有了一定的容错度，匹配容错。
（4）预处理响应图
制作查找表，算法匹配速度快；
针对n(=8)个方向和方向扩散图逐个像素进行匹配，匹配的结果是距离最近方向角度的余弦值；
值得注意的是，虽然这里有八个方向，但是夹角只有五种情况（算的直线夹角而非射线），故而匹配的结果只有五种；
响应图是被搜索图（原图）各个位置下对应扩展方向的二进制表示，模板图像共有5个方向，那么相应生成5张响应图response maps，利用模板进行匹配，可以直接调用对应方向在对应像素的结果，避免了滑窗时重复的计算。
（5）线性存储
避免重复计算，加速计算
（6）扩展深度图
实际应用中的问题
遮挡场景无法处理
改进与优化
linemod存在两个问题，一个对尺度变化敏感，一个遮挡情况下效果变差。【3】改进详见6d pose（见方法3）。
电源管理和MOSFET带动中国功率器件市场发展
IPv6标准的发展
电子镇流器中的AC-DC开关电源驱动电路方案
40G单模QSFP+和多模QSFP+有什么区别？
5G专利技术和通信原理解析
【机器视觉】3D抓取—基于模板匹配
数据分析SQL内容的知识分享
OPPO R系列登陆印度市场 竞争力直线上涨
泛在电力物联网与坚强智能电网有什么关系
宁畅算力打造人工智能“发动机”
为什么小米难以在A股上市？VIE架构背后的“爸爸们”是谁？
东芝开发出最新CMOS传感器 拥有更好降噪效果
多功能电力仪表的分类及其特点的介绍
传华为正与奥迪等研发无人车 最早2021年上市
模拟矩阵在消费者行为研究中的运用
中国加密货币投资银行CRC capital研究表明IEO将长期存在
坚果Pro 3新机配置曝光，搭载骁龙855 Plus处理器和支持18W快充
LG将为特斯拉提供NCMA四元锂电池
mMIMO支持5G，SiC上的GaN支持mMIMO
NGMN利用卫星和蜂窝网络的融合推出边缘应用的标准平台
已知物体模型，从不同方向提取rgbd特征，处理生成模板与实际图像每个位置进行匹配，匹配成功得到目标的位姿信息。
2011linemod经典鼻祖论文：multimodaltemplates for real-time detection of texture-less objects in heavily clutteredscenes（linemod）
2012改进linemod：gradient response maps for real-time detection of texture-less objects
左：可辨别的图像梯度主要在轮廓上找到。梯度位置粉红色显示
中：深度传感器获取的表面法向量
右：2d图像梯度和3d表面法线的组合->增加鲁棒性
视觉提示的互补性：梯度通常在物体轮廓上找到，而在物体内部找到曲面法线
研究方向与问题：复杂背景下3d物体的实时检测与定位
依据：采用彩色图像的梯度信息结合物体表面的法向特征作为模板匹配
算法场景：复杂场景、无纹理、多模板
应用：opencv封装（（参考2中有函数解释）），基于ros的object recognition kitchen中有配套的模型生成图像的程序、icp后处理的教程跟代码
算法流程：
（1）概念性
一个模板是一个特征点序列（多模态时为多个序列），特征点彼此不能太近且要有足够的代表性。
输入rgbd数据
（2）计算梯度方向
以彩色梯度为例，先进行7*7的高斯模糊，然后利用sobel算子计算梯度，继而在每个像素点求解出了梯度方向以及幅值，只有超过一定阈值的梯度才会被保留；
接着在3*3的领域内统计梯度的方向，数量超过5的梯度方向才会被采用；
此处梯度方向都是无符号的，只取上一半，opencv实现的代码里分为8个方向（量化为5)。这种提取特征的方式对于梯度起到了主成分提取和放大的效果。
经过训练生成文件信息。
（3）方向扩散
对被搜索图像（原图）也要进行梯度的计算，并且对梯度的方向做方向的拓展。
继而利用模板进行滑窗匹配时就有了一定的容错度，匹配容错。
（4）预处理响应图
制作查找表，算法匹配速度快；
针对n(=8)个方向和方向扩散图逐个像素进行匹配，匹配的结果是距离最近方向角度的余弦值；
值得注意的是，虽然这里有八个方向，但是夹角只有五种情况（算的直线夹角而非射线），故而匹配的结果只有五种；
响应图是被搜索图（原图）各个位置下对应扩展方向的二进制表示，模板图像共有5个方向，那么相应生成5张响应图response maps，利用模板进行匹配，可以直接调用对应方向在对应像素的结果，避免了滑窗时重复的计算。
（5）线性存储
避免重复计算，加速计算
（6）扩展深度图
实际应用中的问题
遮挡场景无法处理
改进与优化
linemod存在两个问题，一个对尺度变化敏感，一个遮挡情况下效果变差。【3】改进详见6d pose（见方法3）。
电源管理和MOSFET带动中国功率器件市场发展
IPv6标准的发展
电子镇流器中的AC-DC开关电源驱动电路方案
40G单模QSFP+和多模QSFP+有什么区别？
5G专利技术和通信原理解析
【机器视觉】3D抓取—基于模板匹配
数据分析SQL内容的知识分享
OPPO R系列登陆印度市场 竞争力直线上涨
泛在电力物联网与坚强智能电网有什么关系
宁畅算力打造人工智能“发动机”
为什么小米难以在A股上市？VIE架构背后的“爸爸们”是谁？
东芝开发出最新CMOS传感器 拥有更好降噪效果
多功能电力仪表的分类及其特点的介绍
传华为正与奥迪等研发无人车 最早2021年上市
模拟矩阵在消费者行为研究中的运用
中国加密货币投资银行CRC capital研究表明IEO将长期存在
坚果Pro 3新机配置曝光，搭载骁龙855 Plus处理器和支持18W快充
LG将为特斯拉提供NCMA四元锂电池
mMIMO支持5G，SiC上的GaN支持mMIMO
NGMN利用卫星和蜂窝网络的融合推出边缘应用的标准平台