关于基于视觉显著性的LED晶圆自动提取系统
0 引言
目前led外延片生产过程中，由于生产工艺本身原因，导致led晶粒存在诸多缺陷，如缺角、划痕、电极污染等，在测试中分选机无法通过电特性对晶粒进行剔除，只能通过人工剔除有缺陷的晶粒，如此导致晶粒数量处于未知状态，也就是无法确切知道晶粒数量，首先需要通过晶圆提取系统来有效统计计算晶粒范围。
通常晶圆贴在蓝膜或者白膜上，然后再贴在黄色离型纸上，led计数仪通过背光照射晶圆，由于黄色离型纸为非均匀材质，导致成像灰度不均匀，晶圆以外的地方容易造成误识别，所以需要解决精确提取晶圆问题。
目前led晶圆提取系统一般采用降低分辨率，设定一个统一阈值，将晶圆范围从离型纸背景中分割出来。这类方法存在其局限性，统一的阈值对非均匀亮度图像存在极大的误差，漏识别或者多识别的概率偏高，对晶圆边缘的提取精度较低[1]，仅为98.47%。由此设计一种基于视觉显著性的晶圆范围提取系统，有效解决了精准自动提取晶圆范围问题。应用边界连接度优先的算法，将晶圆从背景中有效提取出来。主要依据晶圆图像目标居中，且目标基本不与边界相接触的特点，与边界大面积接触的则属于背景区，可以直接将图像边缘信息当作背景来处理，通过像素与边界点的连接度来识别图像空间布局，精确提取晶圆的边缘。整个系统由晶圆图像采集模块、晶圆目标提取模块两部分构成，如图1所示。
1 晶圆采集模块 晶圆采集模块主要通过调整光源亮度，并通过评价图像亮度函数计算出控制量，反馈给光源控制器，对光源进行闭环控制，确保得到适合系统亮度的晶圆图像。相机驱动模块主要负责相机与计算机的通信，将图像数据放入计算机内存，供后续图像处理使用。
2 晶圆目标提取模块 一般在实际应用中，对晶圆非均匀亮度图像目标提取主要采用阈值化方法，li c m等人的lbf（local binary fitting）模型[2]中最大的特点是利用高斯函数取得图像的局部灰度信息，图像虽然在整体上存在灰度不均匀，但是在局部，灰度可以近似地认为不存在偏差场。lbf模型引入了惩罚项，因此无须再重新初始化，但是其最大的缺点是计算量大、演化收敛缓慢、效率低下。在lbf模型和高斯函数规则符号距离函数的基础上，由zhang k h等人提出lif(local image fiting)模型[3]，lif模型修改了活动轮廓模型的能量函数，并将lbf模型中用高斯函数求零水平集曲线内外局部灰度高斯加权均值改为直接求曲线内外灰度均值，效率相比lbf模型有所提高，但其效率仍然无法满足本系统小于1 s的计数速度，且对初始轮廓敏感，对非高斯噪声图区并不理想，基于阈值的晶圆目标提取在速度以及精准度方面都存在不足。
通过分析整个晶圆采集图像具有背景单一、目标集中的基本构图特征[4-6]，将晶圆图像分为边界、背景和目标区域三部分。目标区域一般位于图像的视角聚焦的中心位置，目标完全不与边界相接触，直接采用边界优先策略，将图像边缘当作背景来处理，通过区域间特征线索的关联度来判断区域与边界的连接度，识别出目标或背景区域。
这里关键是首先要确定边界区域，然后通过特征线索按照边界优先的原则来划分背景和目标区域。zhu w在文献[7]中只简单将图像4个边缘定量的行列区域人为划分为边界区域。当目标与边界有接触或接近边界区域时，存在将目标误判为边界区域的概率，直接影响到后续对背景与目标的准确划分。
这里采用van de weijer j文献[8]中的harris检测算法，检测图像中晶圆目标的角点与轮廓角点，晶圆目标包含在一个凸多边形内，整个晶圆图像被划分为包含目标对象的内部区域和外部区域，角点检测结果如图2所示，整个晶圆目标包含在角点所包络的区域中。
整个边界区域则在外部区域中划分，以角点到边缘的平均垂直距离为基准值为宽度，来划分4个方向上的边界区域，作为后续背景和目标分割的基础，避免误将目标盲目划分为边界区域。
2.1 边界连接度优先晶圆显著性算法 依据晶圆图像目标居中，与边界大面积接触的则是背景区域的特点，通过边界连接度来表示这一特性，依据这一特性来识别晶圆目标。这里定义像素区域的边界连接度为该点的边界外围长度与其总长度的比率，具体计算如下：
2.2 晶圆目标显著性提取 在充分考虑晶圆图像空间布局基础上，这里同时应用图像空间上的特征，将颜色与空间信息同时融合来提取晶圆显著性目标，目标显著性定义为：
依据式(3)，晶粒区域从背景区域中接收到较大的值对比度加强；与此相反，背景区域从目标区域中接收小的值对比度降低。这种非对称的行为加强了目标与背景区域的对比度。整个算法流程如图3所示。
在晶圆目标提取中，为避免大规模数值计算，提高显著性检测的速度，满足实时性的要求，将计算处理的基本图像单元分割为不同的块[9-10]。使用slic[10]方法将图像抽象为一组大致固定的超像素点，超像素保存了局部结构的同时减少了不必要的细节信息，利用文献[11]算法来计算超像素结点构成的稀疏图中任意两点间的最短距离，仅需要0.047 s，时间复杂度只有o(n)。超像素划分结果如图4所示。通过计算超像素点的显著性来提取晶圆目标。
3 试验结果分析 通过对分辨率为4 000×3 000的彩色晶圆图像、运用边界连接度优先的目标提取算法进行实验。其实验环境为intelcore i3-3240 3.40 ghz，ram 8 gb，vc2010。实验中，在对图像归一化[0，1]基础上，将边界区域中前50行、值低于0.57的像素划分为边界点。超像素点设置为200个，对原始晶圆图4(a)进行目标提取，结果如图5(b)所示。图5(a)中是lif阈值二值化提取结果，受识别背景区域的噪音干扰，严重降低了目标提取的精确度。
为客观验证评价晶圆目标提取的有效性，通过查准率-查全率曲线pr来定量分析,其中查准率表示像素被正确标注为显著性像素的比率,而查全率表示像素被标注为显著性像素与实际显著性像素的比率。其实验数据集来自应用最广泛的基准数据集asd[10]，相应的显著性目标检测结果如图6所示，可检测到较清晰的显著性目标。相应的查准率-查全率pr曲线如图7所示，相比较当前广泛应用的阈值化中lif检测算法，其查准率有明显的提高，同时整个晶圆目标提取的时间控制在0.26 s内，目标提取效率较高。
4 结论 本文利用机器视觉中的边界优先提取显著性目标算法设计晶圆目标提取系统。采用反馈式光源采集系统，在此基础上，得到有利于该算法实施的亮度一致的图像，可完整识别出整个晶粒包络的区域，同时可有效排除识别区外的噪音干扰，满足了系统对精度速度的要求。
公路动态重系统红外测速光电传感器的研制
高速公路照明灯杆智慧化改造升级方案
传NVIDIA下一代7纳米GPU将由三星代工
一文解析HPC存储系统的挑战
一款摩托罗拉折叠屏新机的渲染图曝光了
关于基于视觉显著性的LED晶圆自动提取系统
LTC3105-具最大功率点控制功能及250mV启动电压的4
自行车改电动车
如何测试主轴电机绕组是否开路或短路 如何测试有故障问题的直流电机
NTC负温度系数热敏电阻专业术语
iQOO Neo 5机型的工程机谍照曝光：搭载骁龙870处理器 OriginOS操作系统
国内首家智能心电SaaS平台“琅瑞医疗”获Pre-A轮融资,磐霖资本主投
AN-230301:HJ544C功率运算放大器应用指南
海上风电资源可及时帮助实现全球气候目标
5G工业路由器挑选技巧
红帽推出Ansible 2.2 ：为开源自动化框架奠定牢靠的基础
中国智能音箱行业基本形成了稳定增长的发展态势
三星S21将在1月14日发布，售价约5300元起
长安新能源迎来四位“圣诞老人” 未来计划顺利转型
Nordic为“PXN-K6游戏键盘中枢”提供核心处理和无线连接能力
通常晶圆贴在蓝膜或者白膜上，然后再贴在黄色离型纸上，led计数仪通过背光照射晶圆，由于黄色离型纸为非均匀材质，导致成像灰度不均匀，晶圆以外的地方容易造成误识别，所以需要解决精确提取晶圆问题。
目前led晶圆提取系统一般采用降低分辨率，设定一个统一阈值，将晶圆范围从离型纸背景中分割出来。这类方法存在其局限性，统一的阈值对非均匀亮度图像存在极大的误差，漏识别或者多识别的概率偏高，对晶圆边缘的提取精度较低[1]，仅为98.47%。由此设计一种基于视觉显著性的晶圆范围提取系统，有效解决了精准自动提取晶圆范围问题。应用边界连接度优先的算法，将晶圆从背景中有效提取出来。主要依据晶圆图像目标居中，且目标基本不与边界相接触的特点，与边界大面积接触的则属于背景区，可以直接将图像边缘信息当作背景来处理，通过像素与边界点的连接度来识别图像空间布局，精确提取晶圆的边缘。整个系统由晶圆图像采集模块、晶圆目标提取模块两部分构成，如图1所示。
1 晶圆采集模块 晶圆采集模块主要通过调整光源亮度，并通过评价图像亮度函数计算出控制量，反馈给光源控制器，对光源进行闭环控制，确保得到适合系统亮度的晶圆图像。相机驱动模块主要负责相机与计算机的通信，将图像数据放入计算机内存，供后续图像处理使用。
2 晶圆目标提取模块 一般在实际应用中，对晶圆非均匀亮度图像目标提取主要采用阈值化方法，li c m等人的lbf（local binary fitting）模型[2]中最大的特点是利用高斯函数取得图像的局部灰度信息，图像虽然在整体上存在灰度不均匀，但是在局部，灰度可以近似地认为不存在偏差场。lbf模型引入了惩罚项，因此无须再重新初始化，但是其最大的缺点是计算量大、演化收敛缓慢、效率低下。在lbf模型和高斯函数规则符号距离函数的基础上，由zhang k h等人提出lif(local image fiting)模型[3]，lif模型修改了活动轮廓模型的能量函数，并将lbf模型中用高斯函数求零水平集曲线内外局部灰度高斯加权均值改为直接求曲线内外灰度均值，效率相比lbf模型有所提高，但其效率仍然无法满足本系统小于1 s的计数速度，且对初始轮廓敏感，对非高斯噪声图区并不理想，基于阈值的晶圆目标提取在速度以及精准度方面都存在不足。
通过分析整个晶圆采集图像具有背景单一、目标集中的基本构图特征[4-6]，将晶圆图像分为边界、背景和目标区域三部分。目标区域一般位于图像的视角聚焦的中心位置，目标完全不与边界相接触，直接采用边界优先策略，将图像边缘当作背景来处理，通过区域间特征线索的关联度来判断区域与边界的连接度，识别出目标或背景区域。
这里关键是首先要确定边界区域，然后通过特征线索按照边界优先的原则来划分背景和目标区域。zhu w在文献[7]中只简单将图像4个边缘定量的行列区域人为划分为边界区域。当目标与边界有接触或接近边界区域时，存在将目标误判为边界区域的概率，直接影响到后续对背景与目标的准确划分。
这里采用van de weijer j文献[8]中的harris检测算法，检测图像中晶圆目标的角点与轮廓角点，晶圆目标包含在一个凸多边形内，整个晶圆图像被划分为包含目标对象的内部区域和外部区域，角点检测结果如图2所示，整个晶圆目标包含在角点所包络的区域中。
整个边界区域则在外部区域中划分，以角点到边缘的平均垂直距离为基准值为宽度，来划分4个方向上的边界区域，作为后续背景和目标分割的基础，避免误将目标盲目划分为边界区域。
2.1 边界连接度优先晶圆显著性算法 依据晶圆图像目标居中，与边界大面积接触的则是背景区域的特点，通过边界连接度来表示这一特性，依据这一特性来识别晶圆目标。这里定义像素区域的边界连接度为该点的边界外围长度与其总长度的比率，具体计算如下：
2.2 晶圆目标显著性提取 在充分考虑晶圆图像空间布局基础上，这里同时应用图像空间上的特征，将颜色与空间信息同时融合来提取晶圆显著性目标，目标显著性定义为：
依据式(3)，晶粒区域从背景区域中接收到较大的值对比度加强；与此相反，背景区域从目标区域中接收小的值对比度降低。这种非对称的行为加强了目标与背景区域的对比度。整个算法流程如图3所示。
在晶圆目标提取中，为避免大规模数值计算，提高显著性检测的速度，满足实时性的要求，将计算处理的基本图像单元分割为不同的块[9-10]。使用slic[10]方法将图像抽象为一组大致固定的超像素点，超像素保存了局部结构的同时减少了不必要的细节信息，利用文献[11]算法来计算超像素结点构成的稀疏图中任意两点间的最短距离，仅需要0.047 s，时间复杂度只有o(n)。超像素划分结果如图4所示。通过计算超像素点的显著性来提取晶圆目标。
3 试验结果分析 通过对分辨率为4 000×3 000的彩色晶圆图像、运用边界连接度优先的目标提取算法进行实验。其实验环境为intelcore i3-3240 3.40 ghz，ram 8 gb，vc2010。实验中，在对图像归一化[0，1]基础上，将边界区域中前50行、值低于0.57的像素划分为边界点。超像素点设置为200个，对原始晶圆图4(a)进行目标提取，结果如图5(b)所示。图5(a)中是lif阈值二值化提取结果，受识别背景区域的噪音干扰，严重降低了目标提取的精确度。
为客观验证评价晶圆目标提取的有效性，通过查准率-查全率曲线pr来定量分析,其中查准率表示像素被正确标注为显著性像素的比率,而查全率表示像素被标注为显著性像素与实际显著性像素的比率。其实验数据集来自应用最广泛的基准数据集asd[10]，相应的显著性目标检测结果如图6所示，可检测到较清晰的显著性目标。相应的查准率-查全率pr曲线如图7所示，相比较当前广泛应用的阈值化中lif检测算法，其查准率有明显的提高，同时整个晶圆目标提取的时间控制在0.26 s内，目标提取效率较高。
4 结论 本文利用机器视觉中的边界优先提取显著性目标算法设计晶圆目标提取系统。采用反馈式光源采集系统，在此基础上，得到有利于该算法实施的亮度一致的图像，可完整识别出整个晶粒包络的区域，同时可有效排除识别区外的噪音干扰，满足了系统对精度速度的要求。
公路动态重系统红外测速光电传感器的研制
高速公路照明灯杆智慧化改造升级方案
传NVIDIA下一代7纳米GPU将由三星代工
一文解析HPC存储系统的挑战
一款摩托罗拉折叠屏新机的渲染图曝光了
关于基于视觉显著性的LED晶圆自动提取系统
LTC3105-具最大功率点控制功能及250mV启动电压的4
自行车改电动车
如何测试主轴电机绕组是否开路或短路 如何测试有故障问题的直流电机
NTC负温度系数热敏电阻专业术语
iQOO Neo 5机型的工程机谍照曝光：搭载骁龙870处理器 OriginOS操作系统
国内首家智能心电SaaS平台“琅瑞医疗”获Pre-A轮融资,磐霖资本主投
AN-230301:HJ544C功率运算放大器应用指南
海上风电资源可及时帮助实现全球气候目标
5G工业路由器挑选技巧
红帽推出Ansible 2.2 ：为开源自动化框架奠定牢靠的基础
中国智能音箱行业基本形成了稳定增长的发展态势
三星S21将在1月14日发布，售价约5300元起
长安新能源迎来四位“圣诞老人” 未来计划顺利转型
Nordic为“PXN-K6游戏键盘中枢”提供核心处理和无线连接能力