基于CMOS图像传感器的视频采集系统设计
引言
ccd和cmos图像传感器作为固体图像传感器领域的竞争对手，两者在性能表现上各有优劣。
相较于ccd图像传感器， cmos图像传感器功耗低，结构简单，集成度高，体积小，成本低，这就使产品的便携性和可靠性得以极大的提高。由于cmos图像传感器的内部结构，使其具有高抗辐照，抗干扰能力强，因此在图像传感，天文观测、小卫星、星敏感器等应用领域表现出极大的应用潜力[1]。另外基于cmos图像传感器的加工工艺，可以较容易的制造出大面阵的cmos体传感器器件，更加扩展了cmos图像传感器的应用范围。
基于cmos图像传感器的视频采集系统充分的利用了cmos图像传感器的优点，采用usb总线供电，即插即用，电路简单，功耗低，成品体积小，成像清晰，稳定，很好的满足了cmos图像采集系统的图像采集要求。
一．cmos图像传感器的内部结构
目前cmos图像传感器主要分为无源象素传感器（pps）和有源象素传感器（aps）[2]。pps结构简单，量子效率高，但是缺点是噪声大，并且不利于向大型阵列发展；aps在象素中加入了至少一个晶体管来实现对信号的放大和缓冲，改善了pps的噪声问题，但恶化了阈值和增益的一致性，也减小了填充系数。
cmos图像传感器像元结构主要有光敏二极管型无源像素结构、光敏二极管型有源像素结构(见图1)和光栅型有源像素结构，其它特殊结构还有对数传输型、钉扎光敏二极管型、浮栅放大器型等。
图1 光敏二极管型有源像素结构图
一个典型的cmos图像传感器通常包含：一个图像传感器核心，相应的时序逻辑和控制电路、ad转换器、存储器、定时脉冲发生器和译码器等 [3] 。
定时控制电路用来设置传感器的工作模式，产生工作时序，控制数据的输出等。像素采集到的信号在芯片内部就经过了放大、ad转换、存储等处理，最后可输出需要的数字信号，也可以输出模拟信号，这给用户在设计时提供了较大的灵活性[4]。
二．cmos图象视频采集系统工作原理。
本视频采集系统整体上按照功能可以分为三个部分：cmos成像部分、cpld时序控制部分、usb传输部分。
整个图像采集系统的工作原理如下：通过cpld发送正确时序信号给cmos图像传感器，驱动其正常工作，采取合适的快门方式，并将采集到的图像数据进行打包处理，输出给usb传输芯片， usb传输芯片再将图像数据传入主机，并通过上层应用程序得到采集到的图像。
三．系统采用的主要芯片。
3.1 cmos图像传感器芯片ibis5-a-1300。
本系统cmos图像采集芯片选用了fillfactory公司的ibis5-a-1300 coms图像传感器芯片，分辨率为1280×1024，全帧采集速率最高可达27fps，动态范围最大达到100db，6．7 m×6．7 m高填充系数像元，填充系数可达66％,支持卷帘快门和同步快门两种快门方式。内部集成可调整增益和偏置的输出放大器，以及40msamples/s高速a/d转换模块，a/d量化等级为10bit，可直接输出模拟信号或数字信号，内部有大量的寄存器和控制器，可以对传感器的工作状态进行实时调整。芯片支持开窗技术亚采样技术，根据实际需要实时提高帧速率[5]。
3.2 数据采集芯片 ez-usb fx2
usb传输部分选用了cypress公司的ez-usb fx2芯片，它是一个usb2.0集成外围控制器，该芯片支持12m/s的全速传输和480m/s的高速传输，可以使用（具有）4种usb传输方式：控制传输、中断传输、块传输和同步传输；该器件集成有一个增强型的8051、8.5kb的ram、4kb的fifo存储器、串行接口引擎（sie）、通用可编程接口（gpif）、i/o口、数据总线、地址总线[6]。
3.3 altra公司的cpld控制芯片epm570。
系统的时序控制芯片采用atral公司的cpld控制芯片epm570。该芯片可以很好的完成系统的时序控制要求。
四．cmos视频成像系统设计。
4.1系统的硬件实现。
本采集系统为两块四层pcb板组合而成，其中一块为视频采集板，一块为usb数据传输板。其核心cmos视频图像采集板如图3所示。
图3：cmos视频图像采集板原理图
从硬件设计的原理图可以看出，cmos图像传感器只需提供少量的电源转换器件即可正常工作，这是因为cmos图像传感器功耗很小，只需采用usb总线提供的5v电压就可以驱动其正常工作。另外cmos图像传感器芯片仅需要少数的几个外部控制信号即可完成图像的采集（本系统的控制信号由usb数据传输板上的cpld芯片提供），且芯片内部集成了输出放大器，数模转换模块，只需修改芯片中的特殊寄存器值即可改变输出放大器的偏置电压，增益等参数，这样就大大降低了硬件设计的复杂度和成品的体积，具有很高的应用价值。
4.2．系统的时序设计。
cmos图像传感器结构简单，内部集成度高，因此仅需很少的外部控制信号即可完成视频图像的采集输出
本系统时序采用vhdl硬件描述语言设计，其核心部分为一个有限状态机，具体状态关系如下
系统工作过程如下：当系统上电后，cpld产生复位信号复位整个芯片到初始状态，然后对芯片进行并行数据注入，向cmos图像传感器的特殊寄存器写入预定值，设置诸如像元积分时间，像素读出行数，输出放大器增益等参数。随后cpld给cmos芯片提供 ss_start信号，标志开始像素积分，ss_stop信号结束像素积分，随后图像传感器即处于可读出状态。向cmos发出y_start信号开始一帧图像的读出，发出y_clock信号，开始一行图像的读出，当cmos图像传感器有像素信号输出时， pxl_valid引脚信号为高，此时cmos图像传感器正在进行一行图像的输出，当pxl_valid变低时，一行图像输出结束，cpld再提供下一个y_clock信号，启动cmos进行下一行图像的读出。当一帧图像的最后一行开始读出时，cmos芯片的last_line引脚变高，标志一帧图像读出的结束，cpld再产生下一个ss_start信号，开始下一帧图像的读出。这样，cmos就在cpld的时序控制下，正常工作,循环读出图像。
4.3.usb图像采集模块设计。
本系统的数据采集模块采用cypress公司的ez?_usb fx2 ,usb传输芯片，通过编写固件程序，使该芯片工作在高速批量传输方式。本系统采用芯片中的slave fifo传输模式[7],即不通过usb芯片中增强型8051核控制和干预，将数据直接通过usb总线，高速的传输到pc机中。最后利用visual c++6.0编写上层用户端程序，采用多线程技术，创建两个线程：usb传输线程和图像实时显示线程，实现了在pc机中的实时图像显示。
五.试验结果
从试验拍摄的鉴别率靶图像可以看到，cmos图像传感器成像清晰，稳定，分辨率高。整个cmos视频采集系统结构简单，时序设计容易，开发周期短，其成品体积小，外围器件少，成本低，采用usb总线供电，即插即用，具有很高的实用价值。
Molex推出采用采用了有线可定制连接器端接方式的三合一外部天线
浙江移动联合华为在SPN 5G承载网上完成首个inBand OAM技术试商用
Gartner：2019年全球半导体收入将同比下滑9.6% 晶圆代工市场2020年会上升
一种电感式触摸屏控制器设计
移动，联通，电信，对“不限量套餐”的宣传套路行为进行自查整改
基于CMOS图像传感器的视频采集系统设计
深度解读无线模块应用：BLE蓝牙模块在工业领域的应用
BAT在区块链落地应用上做出了哪些贡献？
什么是COB软封装？COB软封装特点 COB软封装的主要作用是什么？
BQ公司正测试华为鸿蒙操作系统？华为回应
自动驾驶系统适用于哪个领域
超清大屏时代，MiniLED为何成为行业发展的必然选择
电瓶修复之电导测试是否真的足够准确吗
Synopsys推出全新IP子系统以加速物联网设备中的数据融合处理
西门子PLC协议网关
电池CE认证的种类有哪些，它们的测试标准是什么
CAN-BUS,CAN-BUS原理是什么?
金其利带你探寻国产工控主板内部结构
细碎机轴径磨损原因及修复方法
小爱智能闹钟评测 到底怎么样
ccd和cmos图像传感器作为固体图像传感器领域的竞争对手，两者在性能表现上各有优劣。
相较于ccd图像传感器， cmos图像传感器功耗低，结构简单，集成度高，体积小，成本低，这就使产品的便携性和可靠性得以极大的提高。由于cmos图像传感器的内部结构，使其具有高抗辐照，抗干扰能力强，因此在图像传感，天文观测、小卫星、星敏感器等应用领域表现出极大的应用潜力[1]。另外基于cmos图像传感器的加工工艺，可以较容易的制造出大面阵的cmos体传感器器件，更加扩展了cmos图像传感器的应用范围。
基于cmos图像传感器的视频采集系统充分的利用了cmos图像传感器的优点，采用usb总线供电，即插即用，电路简单，功耗低，成品体积小，成像清晰，稳定，很好的满足了cmos图像采集系统的图像采集要求。
一．cmos图像传感器的内部结构
目前cmos图像传感器主要分为无源象素传感器（pps）和有源象素传感器（aps）[2]。pps结构简单，量子效率高，但是缺点是噪声大，并且不利于向大型阵列发展；aps在象素中加入了至少一个晶体管来实现对信号的放大和缓冲，改善了pps的噪声问题，但恶化了阈值和增益的一致性，也减小了填充系数。
cmos图像传感器像元结构主要有光敏二极管型无源像素结构、光敏二极管型有源像素结构(见图1)和光栅型有源像素结构，其它特殊结构还有对数传输型、钉扎光敏二极管型、浮栅放大器型等。
图1 光敏二极管型有源像素结构图
一个典型的cmos图像传感器通常包含：一个图像传感器核心，相应的时序逻辑和控制电路、ad转换器、存储器、定时脉冲发生器和译码器等 [3] 。
定时控制电路用来设置传感器的工作模式，产生工作时序，控制数据的输出等。像素采集到的信号在芯片内部就经过了放大、ad转换、存储等处理，最后可输出需要的数字信号，也可以输出模拟信号，这给用户在设计时提供了较大的灵活性[4]。
二．cmos图象视频采集系统工作原理。
本视频采集系统整体上按照功能可以分为三个部分：cmos成像部分、cpld时序控制部分、usb传输部分。
整个图像采集系统的工作原理如下：通过cpld发送正确时序信号给cmos图像传感器，驱动其正常工作，采取合适的快门方式，并将采集到的图像数据进行打包处理，输出给usb传输芯片， usb传输芯片再将图像数据传入主机，并通过上层应用程序得到采集到的图像。
三．系统采用的主要芯片。
3.1 cmos图像传感器芯片ibis5-a-1300。
本系统cmos图像采集芯片选用了fillfactory公司的ibis5-a-1300 coms图像传感器芯片，分辨率为1280×1024，全帧采集速率最高可达27fps，动态范围最大达到100db，6．7 m×6．7 m高填充系数像元，填充系数可达66％,支持卷帘快门和同步快门两种快门方式。内部集成可调整增益和偏置的输出放大器，以及40msamples/s高速a/d转换模块，a/d量化等级为10bit，可直接输出模拟信号或数字信号，内部有大量的寄存器和控制器，可以对传感器的工作状态进行实时调整。芯片支持开窗技术亚采样技术，根据实际需要实时提高帧速率[5]。
3.2 数据采集芯片 ez-usb fx2
usb传输部分选用了cypress公司的ez-usb fx2芯片，它是一个usb2.0集成外围控制器，该芯片支持12m/s的全速传输和480m/s的高速传输，可以使用（具有）4种usb传输方式：控制传输、中断传输、块传输和同步传输；该器件集成有一个增强型的8051、8.5kb的ram、4kb的fifo存储器、串行接口引擎（sie）、通用可编程接口（gpif）、i/o口、数据总线、地址总线[6]。
3.3 altra公司的cpld控制芯片epm570。
系统的时序控制芯片采用atral公司的cpld控制芯片epm570。该芯片可以很好的完成系统的时序控制要求。
四．cmos视频成像系统设计。
4.1系统的硬件实现。
本采集系统为两块四层pcb板组合而成，其中一块为视频采集板，一块为usb数据传输板。其核心cmos视频图像采集板如图3所示。
图3：cmos视频图像采集板原理图
从硬件设计的原理图可以看出，cmos图像传感器只需提供少量的电源转换器件即可正常工作，这是因为cmos图像传感器功耗很小，只需采用usb总线提供的5v电压就可以驱动其正常工作。另外cmos图像传感器芯片仅需要少数的几个外部控制信号即可完成图像的采集（本系统的控制信号由usb数据传输板上的cpld芯片提供），且芯片内部集成了输出放大器，数模转换模块，只需修改芯片中的特殊寄存器值即可改变输出放大器的偏置电压，增益等参数，这样就大大降低了硬件设计的复杂度和成品的体积，具有很高的应用价值。
4.2．系统的时序设计。
cmos图像传感器结构简单，内部集成度高，因此仅需很少的外部控制信号即可完成视频图像的采集输出
本系统时序采用vhdl硬件描述语言设计，其核心部分为一个有限状态机，具体状态关系如下
系统工作过程如下：当系统上电后，cpld产生复位信号复位整个芯片到初始状态，然后对芯片进行并行数据注入，向cmos图像传感器的特殊寄存器写入预定值，设置诸如像元积分时间，像素读出行数，输出放大器增益等参数。随后cpld给cmos芯片提供 ss_start信号，标志开始像素积分，ss_stop信号结束像素积分，随后图像传感器即处于可读出状态。向cmos发出y_start信号开始一帧图像的读出，发出y_clock信号，开始一行图像的读出，当cmos图像传感器有像素信号输出时， pxl_valid引脚信号为高，此时cmos图像传感器正在进行一行图像的输出，当pxl_valid变低时，一行图像输出结束，cpld再提供下一个y_clock信号，启动cmos进行下一行图像的读出。当一帧图像的最后一行开始读出时，cmos芯片的last_line引脚变高，标志一帧图像读出的结束，cpld再产生下一个ss_start信号，开始下一帧图像的读出。这样，cmos就在cpld的时序控制下，正常工作,循环读出图像。
4.3.usb图像采集模块设计。
本系统的数据采集模块采用cypress公司的ez?_usb fx2 ,usb传输芯片，通过编写固件程序，使该芯片工作在高速批量传输方式。本系统采用芯片中的slave fifo传输模式[7],即不通过usb芯片中增强型8051核控制和干预，将数据直接通过usb总线，高速的传输到pc机中。最后利用visual c++6.0编写上层用户端程序，采用多线程技术，创建两个线程：usb传输线程和图像实时显示线程，实现了在pc机中的实时图像显示。
五.试验结果
从试验拍摄的鉴别率靶图像可以看到，cmos图像传感器成像清晰，稳定，分辨率高。整个cmos视频采集系统结构简单，时序设计容易，开发周期短，其成品体积小，外围器件少，成本低，采用usb总线供电，即插即用，具有很高的实用价值。
Molex推出采用采用了有线可定制连接器端接方式的三合一外部天线
浙江移动联合华为在SPN 5G承载网上完成首个inBand OAM技术试商用
Gartner：2019年全球半导体收入将同比下滑9.6% 晶圆代工市场2020年会上升
一种电感式触摸屏控制器设计
移动，联通，电信，对“不限量套餐”的宣传套路行为进行自查整改
基于CMOS图像传感器的视频采集系统设计
深度解读无线模块应用：BLE蓝牙模块在工业领域的应用
BAT在区块链落地应用上做出了哪些贡献？
什么是COB软封装？COB软封装特点 COB软封装的主要作用是什么？
BQ公司正测试华为鸿蒙操作系统？华为回应
自动驾驶系统适用于哪个领域
超清大屏时代，MiniLED为何成为行业发展的必然选择
电瓶修复之电导测试是否真的足够准确吗
Synopsys推出全新IP子系统以加速物联网设备中的数据融合处理
西门子PLC协议网关
电池CE认证的种类有哪些，它们的测试标准是什么
CAN-BUS,CAN-BUS原理是什么?
金其利带你探寻国产工控主板内部结构
细碎机轴径磨损原因及修复方法
小爱智能闹钟评测 到底怎么样