CMOS Sensor的调试经验
目前，包括移动设备在内的很多多媒体设备上都使用了摄像头，而且还在以很快的速度更新换代。目前使用的摄像头分为两种：ccd(charge couple device电荷偶合器件)和 cmos(complementary metal oxide semiconductor互补金属氧化物半导体)。这两种各有优劣：目前ccd主要使用高质量的dc、dv和高档手机上，其图像质量较好，但是整个驱动模组相对比较复杂，而且目前只有曰本一些企业掌握其生产技术，对于选用的厂商来说成本会比较高昂，而且一些设备对与图像质量没有很苛刻的要求，对体积要求会高一些;而cmos正好满足这样的要求，cmos模组则比较简单，目前很多厂商已经把驱动和信号处理的isp(image signal processor)集成在模组内部，这样体积就更小，而且其生产技术要求相对简单、工艺比较成熟、成本较低、外围电路简单、图像质量也可以满足一般的要求，所以在嵌入式市场中占有很大份额，目前一些高端的cmos sensor的质量已经可以和ccd 的质量相媲美。
我这里要介绍的就是cmos摄像头的一些调试经验。
首先，要认识cmos摄像头的结构。我们通常拿到的是集成封装好的模组，一般由三个部分组成：镜头、感应器和图像信号处理器构成。一般情况下，集成好的模组我们只看到外面的镜头、接口和封装壳,这种一般是固定焦距的。有些厂商只提供芯片，需要自己安装镜头，镜头要选择合适大小的镜头，如果没有夜视要求的话，最好选择带有红外滤光的镜头，因为一般的sensor都能感应到红外光线，如果不滤掉，会对图像色彩产生影响，另外要注意在pcb设计时要保证镜头的聚焦中心点要设计在sensor的感光矩阵中心上。除了这点 cmos sensor硬件上就和普通的ic差不多了，注意不要弄脏或者磨花表面的玻璃。
其次，cmos模组输出信号可以是模拟信号输出和数字信号输出。模拟信号一般是电视信号输出，pal和ntsc都有，直接连到电视看的;数字输出一般会有并行和串行两种形式，由于图像尺寸大小不同，所要传输的数据不同，数据的频率差异也很大，但是串行接口的pixel clock频率都要比并行方式高(同样的数据量下这不难理解)，较高的频率对外围电路也有较高的要求;并行方式的频率就会相对低很多，但是它需要更多引脚连线;所以这应该是各有裨益。(笔者测试使用的系统是8bit并行接口)另外输出信号的格式有很多种，视频输出的主要格式有：rgb、yuv、bayer pattern等。一般cmos sensor模组会集成isp在模组内部，其输出格式可以选择，这样可以根据自己使用的芯片的接口做出较适合自己系统的选择。其中，部分sensor为了降低成本或者技术问题，sensor部分不带isp或者功能很简单，输出的是bayer pattern，这种格式是sensor的原始图像，因此需要后期做处理，这需要有专门的图像处理器或者连接的通用处理器有较强的运算能力(需要运行图像处理算法)。不管sensor模组使用何种数据格式，一般都有三个同步信号输出：帧同步/场同步(frame synchronizing)、行同步(horizontal synchronizing)和像素时钟(pixel clock)。要保证信号的有效状态与自己系统一致，如都是场同步上升(下降)沿触发、行同步高(低)电平有效等。
通过以上介绍，我们就可以根据自己的使用的系统选择适合的sensor模组。要选择接口对应(如果并行接口，sensor模组输出数据bit位多于接受端，可以用丢弃低位的数据的方法连接)、数据格式可以接受或处理、pixel clock没有超过可接受的最高频率(有的是可调的，但帧率会受影响)、场同步和行同步可以调节到一致的sensor模组，这样才可以保证可以使用。
保证这些条件的正确性下，还要符合它的硬件电路要求，首要的是确定它的电源、时钟、reset等信号是否符合芯片要求，其次要看所有的引脚是否连接正确，这样保证外围的电路没有错误情况下才可能正确显示图像。各个厂商生产的产品各不相同，一些厂商的sensor模组在默认状态下就可以输出图像，而有些厂商的sensor模组必须要设置一些寄存器以后才可以得到图像。区别是否可以直接输出图像，可以通过检测sensor 的输出脚，如果三个同步信号都有，数据线上也有数据，那一般就会有默认图像输出，另外也可以跟厂商联系获得有关信息。如果没有默认输出就需要设置寄存器了，一般都是通过两线串行方式(iic总线使用频率很高)设置寄存器。寄存器设置是整个调试过程中最复杂的过程，当然要设置寄存器要先保证主芯片跟 sensor模组之间通信是正确无误的，然后才是具体设置值的问题。保证通信无误，简单的方法就是读写一致(排除部分动态变化的寄存器)，就是说保证能够每次写进去的数据都能正确读出来。寄存器设置方面，一般都会有很多寄存器，其中一些是关键的：例如软件reset、工作状态、输出大小、输出格式、输出信号有效性、像素频率等，另外一些对细调图像质量很有用处的寄存器暂时可以不管，还有部分寄存器比如自动暴光、自动白平衡这些建议都选择auto，这些功能对图像质量影响很大，一般模组集成了isp的都会有这个功能。当然不管是默认图像还是设置以后输出的，都需要细调，这时如果有可能，可以联系sensor 模组厂商，请他们给出推荐配置或者做一些技术支持，因为一般sensor内部都有一些寄存器是不对外公布的，只有厂商的fae才这些寄存器的定义;自己调节图像时，可以从对比度、亮度、饱和度、锐化程度、gamma校正、消除flicker等方面进行调节。如果sensor没有集成isp的话，如前面提到的它的输出是bayer pattern，这种格式就是直接将感应到的数据传输过来，需要处理器端进行数据转换，同时还需要做白平衡、暴光控制，另外还要进行上面提到的对比度、亮度、饱和度等等的改进，这些改进要想得到比较好的图像质量，算法会比较复杂，不仅需要处理器有较强的处理能力，也对调试者有一定的要求，但是这样的sensor一般会比较便宜，所以根据自己的情况做选择比较好;不过目前有厂商设计做图像处理的芯片，其实这就是将isp拿出来单独作为一颗芯片了，它的调试就跟sensor模组差不多了，只是大一些而已。
调试过程中，我们还要注意一些问题，例如yuv格式输出时中yuv的顺序、bayer pattern中第一行数据的格式、sensor模组输出图像的大小、显示图像的大小等。一般yuv顺序不对图像是可以看到的，只是色彩和亮度转换了;bayer pattern第一行数据格式错了，也就是rgb三种颜色乱了，都是可以看到图像的;图像输出大小则比较重要，因为如果设置输入的图像大小大于实际输出的大小，处理器可能会因为数据不够一场而无法显示，如果小于实际大小则只能输出图像的一部分，但是还是可以显示的，当然这也可以在显示面积不够时做成局部放大的效果。
图像出来以后，就需要检验一些模组的质量，个人觉得可以从下面几个方面观察：帧率、有无坏点、噪声、暗光下的图像、白平衡、色彩还原能力、暴光、边缘等。现在一般的sensor厂商的30万像素的产品都可以vga(640*480)30帧，2m像素做到 svga(800*600)30帧的帧率，一般应用已经足够，拖影现象也控制得比较好;坏点是比较严重的问题，一般是sensor硬件上有问题，而且它自身的修复算法没有能够修复的，这样对图像会有很大的影响，一般打开sensor工作5分钟就还没有的话，基本上就可以放心了，要指出的是有的时候在一些物体的边缘会出现“坏点”这是sensor算法的问题，一般移动一下物体或者模组就没有了;噪声问题是cmos sensor无法躲避的问题，由于感光部分结构跟ccd的差异，注定了同样大小的感光面积下cmos sensor图像噪声要比ccd严重，但是各个厂商技术的差异还是会噪声控制上也会有所不同，这时只要给个深色的背景就会看到了，同样cmos sensor在低光条件下噪声问题也比较突出，当然可以使用一些技术加以改进;白平衡是最基础的问题，但是白平衡算法好坏也会影响sensor的表现，一些sensor遇到大片某个单色的画面时可以明显看到背景图像颜色改变，这就是算法不好的原因;色彩还原可以照在标准色板上，看与原来的区别就可以看出sensor色彩还原能力了，也有一些sensor会某些颜色过了;若没有色板也可以用色彩明亮丰富的纸来测试，关键是看sensor能否真实表现这些色彩;暴光控制现在一般都的模组都集成了，对着暗处和强光看它是否能够调节到比较理想的状态，一般不会有问题，但是也有例外，笔者曾经碰到一颗sensor在强光照射下启动时没有办法正确暴光，画面很暗;边缘好坏是一个sensor细节表现能力证明，一些 sensor在边缘部分会有锯齿或者就是很模糊不清，这都是细节表现的问题;如果整个画面比较灰，那就是sensor对比度出了问题。
调试 sensor是一件非常有趣的事情，很多时候它跟一般的ic没有太大区别，其实上我们也是把它当成一般ic来调试的，但是收获却很多。当然，调试的时候可能会遇到很多问题，有些可能会比较棘手，问题的解决也需要很多的经验，但是办法总比问题多，问题的解决就是经验累积的过程、成长的过程。
“动力与储能协奏曲”主题演讲
EtherCAT与RTEX驱动器轴回零的配置与实现
全球珠宝协会正在使用区块链技术为钻石和黄金打造了一个追踪系统
芯片上晶体管的密度增长无法满足通用人工智能的发展需要？
大数据开发和软件开发哪个前景好？需要做什么工作？
CMOS Sensor的调试经验
开发以更加实用、灵活性高性能 ADAS 应用模块
刘德音谈论CoWoS封装，产能困境很快能缓解
迷茫的后端 想做大数据可以少走很多弯路
智能传感闯出“深圳方阵” 深圳智能传感器领域专精特新“小巨人”领跑全国
电动机保护器ALP300-100/CM概述
雷达雨量水位监测站在现代气象监测中的应用十分广泛
超融合存储技术将进入成熟期
双十一活动别错过：1TB M.2 NVMe固态硬盘只需399
智融科技亮相2023(秋季)亚洲充电展
数字存储示波器的使用技巧
Maxim为什么选择设计单片NV SRAM模块
国产CAN总线收发器DP1050 软硬件兼容TJA1050
北斗卫星导航产业发展之芯片篇
一种无OS的STM32实用软件框架编程案例
我这里要介绍的就是cmos摄像头的一些调试经验。
首先，要认识cmos摄像头的结构。我们通常拿到的是集成封装好的模组，一般由三个部分组成：镜头、感应器和图像信号处理器构成。一般情况下，集成好的模组我们只看到外面的镜头、接口和封装壳,这种一般是固定焦距的。有些厂商只提供芯片，需要自己安装镜头，镜头要选择合适大小的镜头，如果没有夜视要求的话，最好选择带有红外滤光的镜头，因为一般的sensor都能感应到红外光线，如果不滤掉，会对图像色彩产生影响，另外要注意在pcb设计时要保证镜头的聚焦中心点要设计在sensor的感光矩阵中心上。除了这点 cmos sensor硬件上就和普通的ic差不多了，注意不要弄脏或者磨花表面的玻璃。
其次，cmos模组输出信号可以是模拟信号输出和数字信号输出。模拟信号一般是电视信号输出，pal和ntsc都有，直接连到电视看的;数字输出一般会有并行和串行两种形式，由于图像尺寸大小不同，所要传输的数据不同，数据的频率差异也很大，但是串行接口的pixel clock频率都要比并行方式高(同样的数据量下这不难理解)，较高的频率对外围电路也有较高的要求;并行方式的频率就会相对低很多，但是它需要更多引脚连线;所以这应该是各有裨益。(笔者测试使用的系统是8bit并行接口)另外输出信号的格式有很多种，视频输出的主要格式有：rgb、yuv、bayer pattern等。一般cmos sensor模组会集成isp在模组内部，其输出格式可以选择，这样可以根据自己使用的芯片的接口做出较适合自己系统的选择。其中，部分sensor为了降低成本或者技术问题，sensor部分不带isp或者功能很简单，输出的是bayer pattern，这种格式是sensor的原始图像，因此需要后期做处理，这需要有专门的图像处理器或者连接的通用处理器有较强的运算能力(需要运行图像处理算法)。不管sensor模组使用何种数据格式，一般都有三个同步信号输出：帧同步/场同步(frame synchronizing)、行同步(horizontal synchronizing)和像素时钟(pixel clock)。要保证信号的有效状态与自己系统一致，如都是场同步上升(下降)沿触发、行同步高(低)电平有效等。
通过以上介绍，我们就可以根据自己的使用的系统选择适合的sensor模组。要选择接口对应(如果并行接口，sensor模组输出数据bit位多于接受端，可以用丢弃低位的数据的方法连接)、数据格式可以接受或处理、pixel clock没有超过可接受的最高频率(有的是可调的，但帧率会受影响)、场同步和行同步可以调节到一致的sensor模组，这样才可以保证可以使用。
保证这些条件的正确性下，还要符合它的硬件电路要求，首要的是确定它的电源、时钟、reset等信号是否符合芯片要求，其次要看所有的引脚是否连接正确，这样保证外围的电路没有错误情况下才可能正确显示图像。各个厂商生产的产品各不相同，一些厂商的sensor模组在默认状态下就可以输出图像，而有些厂商的sensor模组必须要设置一些寄存器以后才可以得到图像。区别是否可以直接输出图像，可以通过检测sensor 的输出脚，如果三个同步信号都有，数据线上也有数据，那一般就会有默认图像输出，另外也可以跟厂商联系获得有关信息。如果没有默认输出就需要设置寄存器了，一般都是通过两线串行方式(iic总线使用频率很高)设置寄存器。寄存器设置是整个调试过程中最复杂的过程，当然要设置寄存器要先保证主芯片跟 sensor模组之间通信是正确无误的，然后才是具体设置值的问题。保证通信无误，简单的方法就是读写一致(排除部分动态变化的寄存器)，就是说保证能够每次写进去的数据都能正确读出来。寄存器设置方面，一般都会有很多寄存器，其中一些是关键的：例如软件reset、工作状态、输出大小、输出格式、输出信号有效性、像素频率等，另外一些对细调图像质量很有用处的寄存器暂时可以不管，还有部分寄存器比如自动暴光、自动白平衡这些建议都选择auto，这些功能对图像质量影响很大，一般模组集成了isp的都会有这个功能。当然不管是默认图像还是设置以后输出的，都需要细调，这时如果有可能，可以联系sensor 模组厂商，请他们给出推荐配置或者做一些技术支持，因为一般sensor内部都有一些寄存器是不对外公布的，只有厂商的fae才这些寄存器的定义;自己调节图像时，可以从对比度、亮度、饱和度、锐化程度、gamma校正、消除flicker等方面进行调节。如果sensor没有集成isp的话，如前面提到的它的输出是bayer pattern，这种格式就是直接将感应到的数据传输过来，需要处理器端进行数据转换，同时还需要做白平衡、暴光控制，另外还要进行上面提到的对比度、亮度、饱和度等等的改进，这些改进要想得到比较好的图像质量，算法会比较复杂，不仅需要处理器有较强的处理能力，也对调试者有一定的要求，但是这样的sensor一般会比较便宜，所以根据自己的情况做选择比较好;不过目前有厂商设计做图像处理的芯片，其实这就是将isp拿出来单独作为一颗芯片了，它的调试就跟sensor模组差不多了，只是大一些而已。
调试过程中，我们还要注意一些问题，例如yuv格式输出时中yuv的顺序、bayer pattern中第一行数据的格式、sensor模组输出图像的大小、显示图像的大小等。一般yuv顺序不对图像是可以看到的，只是色彩和亮度转换了;bayer pattern第一行数据格式错了，也就是rgb三种颜色乱了，都是可以看到图像的;图像输出大小则比较重要，因为如果设置输入的图像大小大于实际输出的大小，处理器可能会因为数据不够一场而无法显示，如果小于实际大小则只能输出图像的一部分，但是还是可以显示的，当然这也可以在显示面积不够时做成局部放大的效果。
图像出来以后，就需要检验一些模组的质量，个人觉得可以从下面几个方面观察：帧率、有无坏点、噪声、暗光下的图像、白平衡、色彩还原能力、暴光、边缘等。现在一般的sensor厂商的30万像素的产品都可以vga(640*480)30帧，2m像素做到 svga(800*600)30帧的帧率，一般应用已经足够，拖影现象也控制得比较好;坏点是比较严重的问题，一般是sensor硬件上有问题，而且它自身的修复算法没有能够修复的，这样对图像会有很大的影响，一般打开sensor工作5分钟就还没有的话，基本上就可以放心了，要指出的是有的时候在一些物体的边缘会出现“坏点”这是sensor算法的问题，一般移动一下物体或者模组就没有了;噪声问题是cmos sensor无法躲避的问题，由于感光部分结构跟ccd的差异，注定了同样大小的感光面积下cmos sensor图像噪声要比ccd严重，但是各个厂商技术的差异还是会噪声控制上也会有所不同，这时只要给个深色的背景就会看到了，同样cmos sensor在低光条件下噪声问题也比较突出，当然可以使用一些技术加以改进;白平衡是最基础的问题，但是白平衡算法好坏也会影响sensor的表现，一些sensor遇到大片某个单色的画面时可以明显看到背景图像颜色改变，这就是算法不好的原因;色彩还原可以照在标准色板上，看与原来的区别就可以看出sensor色彩还原能力了，也有一些sensor会某些颜色过了;若没有色板也可以用色彩明亮丰富的纸来测试，关键是看sensor能否真实表现这些色彩;暴光控制现在一般都的模组都集成了，对着暗处和强光看它是否能够调节到比较理想的状态，一般不会有问题，但是也有例外，笔者曾经碰到一颗sensor在强光照射下启动时没有办法正确暴光，画面很暗;边缘好坏是一个sensor细节表现能力证明，一些 sensor在边缘部分会有锯齿或者就是很模糊不清，这都是细节表现的问题;如果整个画面比较灰，那就是sensor对比度出了问题。
调试 sensor是一件非常有趣的事情，很多时候它跟一般的ic没有太大区别，其实上我们也是把它当成一般ic来调试的，但是收获却很多。当然，调试的时候可能会遇到很多问题，有些可能会比较棘手，问题的解决也需要很多的经验，但是办法总比问题多，问题的解决就是经验累积的过程、成长的过程。
“动力与储能协奏曲”主题演讲
EtherCAT与RTEX驱动器轴回零的配置与实现
全球珠宝协会正在使用区块链技术为钻石和黄金打造了一个追踪系统
芯片上晶体管的密度增长无法满足通用人工智能的发展需要？
大数据开发和软件开发哪个前景好？需要做什么工作？
CMOS Sensor的调试经验
开发以更加实用、灵活性高性能 ADAS 应用模块
刘德音谈论CoWoS封装，产能困境很快能缓解
迷茫的后端 想做大数据可以少走很多弯路
智能传感闯出“深圳方阵” 深圳智能传感器领域专精特新“小巨人”领跑全国
电动机保护器ALP300-100/CM概述
雷达雨量水位监测站在现代气象监测中的应用十分广泛
超融合存储技术将进入成熟期
双十一活动别错过：1TB M.2 NVMe固态硬盘只需399
智融科技亮相2023(秋季)亚洲充电展
数字存储示波器的使用技巧
Maxim为什么选择设计单片NV SRAM模块
国产CAN总线收发器DP1050 软硬件兼容TJA1050
北斗卫星导航产业发展之芯片篇
一种无OS的STM32实用软件框架编程案例