双目立体匹配的四个步骤解析
双目立体匹配可划分为四个步骤：匹配代价计算、代价聚合、视差计算和视差优化。
step1 匹配代价计算
匹配代价计算的目的是衡量待匹配像素与候选像素之间的相关性。两个像素无论是否为同名点，都可以通过匹配代价函数计算匹配代价，代价越小则说明相关性越大，是同名点的概率也越大。
每个像素在搜索同名点之前，往往会指定一个视差搜索范围d（dmin ~ dmax），视差搜索时将范围限定在d内，用一个大小为w×h×d（w为影像宽度，h为影像高度）的三维矩阵c来存储每个像素在视差范围内每个视差下的匹配代价值。矩阵c通常称为dsi（disparity space image）。
匹配代价计算的方法有很多，传统的摄影测量中，使用灰度绝对值差（ad，absolute differences）、灰度绝对值差之和（sad，sum of absolute differences）、归一化相关系数（ncc，normalized cross-correlation）等方法来计算两个像素的匹配代价；计算机视觉中，多使用互信息（mi，mutual information）法、census变换（ct，census transform）法、rank变换（rt， rank transform）法、bt（birchfield and tomasi）法等作为匹配代价的计算方法。不同的代价计算算法都有各自的特点，对各类数据的表现也不尽相同，选择合适的匹配代价计算函数是立体匹配中不可忽视的关键步骤。
下图为dsi示意图（c（x，y，d）代表像素（x，y）在视差为d时的匹配代价）：
step2 代价聚合
代价聚合的根本目的是让代价值能够准确的反映像素之间的相关性。上一步匹配代价的计算往往只会考虑局部信息，通过两个像素邻域内一定大小的窗口内的像素信息来计算代价值，这很容易受到影像噪声的影响，而且当影像处于弱纹理或重复纹理区域，这个代价值极有可能无法准确的反映像素之间的相关性，直接表现就是真实同名点的代价值非最小。
而代价聚合则是建立邻接像素之间的联系，以一定的准则，如相邻像素应该具有连续的视差值，来对代价矩阵进行优化，这种优化往往是全局的，每个像素在某个视差下的新代价值都会根据其相邻像素在同一视差值或者附近视差值下的代价值来重新计算，得到新的dsi，用矩阵s来表示。
实际上代价聚合类似于一种视差传播步骤，信噪比高的区域匹配效果好，初始代价能够很好的反映相关性，可以更准确的得到最优视差值，通过代价聚合传播至信噪比低、匹配效果不好的区域，最终使所有影像的代价值都能够准确反映真实相关性。常用的代价聚合方法有扫描线法、动态规划法、sgm算法中的路径聚合法等。
下图为代价聚合前后视差图示意图：
step3 视差计算
视差计算即通过代价聚合之后的代价矩阵s来确定每个像素的最优视差值，通常使用赢家通吃算法（wta，winner-takes-all）来计算，如下图所示，即某个像素的所有视差下的代价值中，选择最小代价值所对应的视差作为最优视差。这一步非常简单，这意味着聚合代价矩阵s的值必须能够准确的反映像素之间的相关性，也表明上一步代价聚合步骤是立体匹配中极为关键的步骤，直接决定了算法的准确性。
step4 视差优化
视差优化的目的是对上一步得到的视差图进行进一步优化，改善视差图的质量，包括剔除错误视差、适当平滑以及子像素精度优化等步骤，一般采用左右一致性检查（left-right check）算法剔除因为遮挡和噪声而导致的错误视差；采用剔除小连通区域算法来剔除孤立异常点；采用中值滤波（median filter）、双边滤波（bilateral filter）等平滑算法对视差图进行平滑；另外还有一些有效提高视差图质量的方法如鲁棒平面拟合（robust plane fitting）、亮度一致性约束（intensity consistent）、局部一致性约束（locally consistent）等也常被使用。
由于wta算法所得到的视差值是整像素精度，为了获得更高的子像素精度，需要对视差值进行进一步的子像素细化，常用的子像素细化方法是一元二次曲线拟合法，通过最优视差下的代价值以及左右两个视差下的代价值拟合一条一元二次曲线，取二次曲线的极小值点所代表的视差值为子像素视差值。如下图所示。
局部匹配算法的步骤一般包括匹配代价计算、代价聚合和视差计算三个步骤，全局算法则包括匹配代价计算，视差计算与视差优化三个步骤，半全局算法sgm则四个步骤都有。
区块链硬币或代币的想法可能是一个新的概念
华为实现14nm以上工艺的EDA工具
10.23|豪力士智能锁新品亮相上海世界五金大会，央视助阵，盛况空前
我国AI领域全球最具影响力机构前100有哪些机构？
特斯拉二季度营收同比增长41.6% 电池短缺造成巨大损失
双目立体匹配的四个步骤解析
PIC单片机对机器人的控制程序设计
给植物纹上“传感器纹身”，可随时测量农作物的用水量
靓货多多Agilent4278A电容计HP4278A
大比特家电IC研讨会报名火热 富士通展示家电触控新方案
如果Intel和AMD打价格战 最终只会导致毛利率进一步恶化
浅谈“半导体化”光子学集成解决方案
中国新能源汽车地方保护何时休
赛普拉斯和THine推出新款USB 3.0相机参考设计套件
在工业机器人方面 我国连续六年成为了全球第一大应用市场
恒温光照培养箱主机的作用以及它的功能的分析
Intel的代工业务困难加剧
黑鲨游戏手机2Pro流光紫将于11月1日发售 搭载高通骁龙855Plus+12GB内存
PowerVR技术高质量的全景环绕可视化系统
低迷的半导体市场 如何抓住汽车MCU这颗“救心丸”
step1 匹配代价计算
匹配代价计算的目的是衡量待匹配像素与候选像素之间的相关性。两个像素无论是否为同名点，都可以通过匹配代价函数计算匹配代价，代价越小则说明相关性越大，是同名点的概率也越大。
每个像素在搜索同名点之前，往往会指定一个视差搜索范围d（dmin ~ dmax），视差搜索时将范围限定在d内，用一个大小为w×h×d（w为影像宽度，h为影像高度）的三维矩阵c来存储每个像素在视差范围内每个视差下的匹配代价值。矩阵c通常称为dsi（disparity space image）。
匹配代价计算的方法有很多，传统的摄影测量中，使用灰度绝对值差（ad，absolute differences）、灰度绝对值差之和（sad，sum of absolute differences）、归一化相关系数（ncc，normalized cross-correlation）等方法来计算两个像素的匹配代价；计算机视觉中，多使用互信息（mi，mutual information）法、census变换（ct，census transform）法、rank变换（rt， rank transform）法、bt（birchfield and tomasi）法等作为匹配代价的计算方法。不同的代价计算算法都有各自的特点，对各类数据的表现也不尽相同，选择合适的匹配代价计算函数是立体匹配中不可忽视的关键步骤。
下图为dsi示意图（c（x，y，d）代表像素（x，y）在视差为d时的匹配代价）：
step2 代价聚合
代价聚合的根本目的是让代价值能够准确的反映像素之间的相关性。上一步匹配代价的计算往往只会考虑局部信息，通过两个像素邻域内一定大小的窗口内的像素信息来计算代价值，这很容易受到影像噪声的影响，而且当影像处于弱纹理或重复纹理区域，这个代价值极有可能无法准确的反映像素之间的相关性，直接表现就是真实同名点的代价值非最小。
而代价聚合则是建立邻接像素之间的联系，以一定的准则，如相邻像素应该具有连续的视差值，来对代价矩阵进行优化，这种优化往往是全局的，每个像素在某个视差下的新代价值都会根据其相邻像素在同一视差值或者附近视差值下的代价值来重新计算，得到新的dsi，用矩阵s来表示。
实际上代价聚合类似于一种视差传播步骤，信噪比高的区域匹配效果好，初始代价能够很好的反映相关性，可以更准确的得到最优视差值，通过代价聚合传播至信噪比低、匹配效果不好的区域，最终使所有影像的代价值都能够准确反映真实相关性。常用的代价聚合方法有扫描线法、动态规划法、sgm算法中的路径聚合法等。
下图为代价聚合前后视差图示意图：
step3 视差计算
视差计算即通过代价聚合之后的代价矩阵s来确定每个像素的最优视差值，通常使用赢家通吃算法（wta，winner-takes-all）来计算，如下图所示，即某个像素的所有视差下的代价值中，选择最小代价值所对应的视差作为最优视差。这一步非常简单，这意味着聚合代价矩阵s的值必须能够准确的反映像素之间的相关性，也表明上一步代价聚合步骤是立体匹配中极为关键的步骤，直接决定了算法的准确性。
step4 视差优化
视差优化的目的是对上一步得到的视差图进行进一步优化，改善视差图的质量，包括剔除错误视差、适当平滑以及子像素精度优化等步骤，一般采用左右一致性检查（left-right check）算法剔除因为遮挡和噪声而导致的错误视差；采用剔除小连通区域算法来剔除孤立异常点；采用中值滤波（median filter）、双边滤波（bilateral filter）等平滑算法对视差图进行平滑；另外还有一些有效提高视差图质量的方法如鲁棒平面拟合（robust plane fitting）、亮度一致性约束（intensity consistent）、局部一致性约束（locally consistent）等也常被使用。
由于wta算法所得到的视差值是整像素精度，为了获得更高的子像素精度，需要对视差值进行进一步的子像素细化，常用的子像素细化方法是一元二次曲线拟合法，通过最优视差下的代价值以及左右两个视差下的代价值拟合一条一元二次曲线，取二次曲线的极小值点所代表的视差值为子像素视差值。如下图所示。
局部匹配算法的步骤一般包括匹配代价计算、代价聚合和视差计算三个步骤，全局算法则包括匹配代价计算，视差计算与视差优化三个步骤，半全局算法sgm则四个步骤都有。
区块链硬币或代币的想法可能是一个新的概念
华为实现14nm以上工艺的EDA工具
10.23|豪力士智能锁新品亮相上海世界五金大会，央视助阵，盛况空前
我国AI领域全球最具影响力机构前100有哪些机构？
特斯拉二季度营收同比增长41.6% 电池短缺造成巨大损失
双目立体匹配的四个步骤解析
PIC单片机对机器人的控制程序设计
给植物纹上“传感器纹身”，可随时测量农作物的用水量
靓货多多Agilent4278A电容计HP4278A
大比特家电IC研讨会报名火热 富士通展示家电触控新方案
如果Intel和AMD打价格战 最终只会导致毛利率进一步恶化
浅谈“半导体化”光子学集成解决方案
中国新能源汽车地方保护何时休
赛普拉斯和THine推出新款USB 3.0相机参考设计套件
在工业机器人方面 我国连续六年成为了全球第一大应用市场
恒温光照培养箱主机的作用以及它的功能的分析
Intel的代工业务困难加剧
黑鲨游戏手机2Pro流光紫将于11月1日发售 搭载高通骁龙855Plus+12GB内存
PowerVR技术高质量的全景环绕可视化系统
低迷的半导体市场 如何抓住汽车MCU这颗“救心丸”