思比科系列CMOS图像传感器应用方案
近年来，拍照手机、电脑摄像头（pc-cam）、监控等领域飞速发展，需求量日渐增长，cmos图像传感器（cis）作为这些应用的核心元件，其市场需求也越来越大。cis芯片集光电、模拟电路和数字电路于一体，其设计、生产、测试、封装以及最终应用与传统ic相比，都有其特别的地方，因此行业门槛也相对较高。
北京思比科作为中国本土企业，是唯一基于自主专利技术开发成功高端cmos图像传感器芯片并实现规模化生产的企业，近几年开发成功了一系列高品质图像传感器芯片。以下针对拍照手机，pc-cam和监控三个领域的应用，具体介绍思比科的系列产品。
1．拍照手机
拍照手机可以实现预览、拍照、回显、录像和回放的全部功能。从传感器应用的角度，拍照手机可以分为以下两类：第一类是 yuv型，即传感器输出标准的yuv图像数据，多媒体处理器接收后完成图像的编解码等后处理，传感器和多媒体处理器相对独立，sp80818（1/8 inch vga）和sp82318（1/3.2 inch 2m）就是针对这种应用设计的。第二类是raw data型，传感器只输出原始数据，所有的图像处理和自动控制都由多媒体处理器来主导完成，sp80708（1/7 inch vga）和sp83308（1/3 inch 3.2m）符合这种应用。以下分别介绍两种方案。
1．1 yuv型
yuv型的方案是目前中低端拍照手机普遍采用的一种方案，主要集中在vga，1.3m和2m的拍照手机，要求传感器输出标准的yuv数据。传感器除了完成图像采集的功能外，还要完成图像处理和图像转换的功能。图1是sp80818和sp82318的结构框图以及yuv手机的结构图。其中传感器核（sensor core）部分包含有感光阵列、曝光控制和读出电路、可变增益放大器（pga）和模数转换器（adc），主要完成图像采集功能。传感器核输出的原始图像数据送到图像处理器（isp），isp完成一系列图像处理和图像转换功能，主要包含以下处理：灰度补偿、数字增益和白平衡、镜头阴影修正、坏点检测和修正、彩色插值、平滑处理和轮廓增强、gamma校正、色彩校正、亮度、饱和度和对比度调节、图像尺寸变换、色彩空间转换、图像数据打包输出。控制模块完成自动曝光控制，自动白平衡，50hz/60hz闪烁检测等功能，对传感器核和isp进行控制，以及和多媒体处理器的通信（多媒体处理器通过串行总线接口访问传感器内部寄存器，实现对传感器的控制。）
图1： yuv传感器sp0818和sp2318的结构框图及应用。
虽然绝大多数主流的传感器设计公司都是按照以上功能来设计自己的产品，但由于设计能力和所采用的工艺性能的不同，市面上产品的性价比仍然会存在较大的差距。
思比科在设计这些产品之前，已经做了大量的基础研究，从工艺，算法到电路原理都有了很多的突破，形成了以 superpix和superimage为核心的技术特点，相关专利已经达到数十件以上，superpix技术具体体现在高性能的像素单元（pixel） 设计，高精度、高速度和超低功耗的cds电路，pga电路和adc电路设计；superimage技术则主要包含一系列效果优良、实现简洁的算法，如自动白平衡，自动曝光控制，彩色插值，平滑去噪，轮廓增强等。
yuv方案的优点在于照相模块的独立性和灵活性。工程师很容易完成不同的传感器和多媒体处理器之间的对接，而复杂繁琐的图像调试工作已经由照相模块的供应商完成，工程师只需要将多媒体处理器中传感器的配置参数更新就可以得到理想的图像效果。
然而，随着手机市场的竞争加剧，客户对传感器的性价比要求越来越高，这种方案的缺点也越来越明显。由于传感器工艺的特殊性决定了在设计和制造过程中，不能使用超过4层的金属连线资源，这将大大增加逻辑关系复杂的图像处理电路的面积，从而增加传感器的成本。而另一方面，为了降低成本，传感器的感光单元尺寸越来越小，为了得到更好的图像质量，需要越来越复杂的算法对图像进行处理。基于以上原因，isp的功能已经开始从传感器转移到多媒体处理器。对于规模庞大的多媒体处理器来说，isp的集成对其成本不会有明显增加，而传感器的成本则有大幅度下降。因此？raw data方案也越来越被关注。
1．2 raw data型
raw data型方案是最有争议的一个方案，系统只要求传感器输出原始数据，后端多媒体处理器完成所有isp和图像编解码等功能，和普通的数码相机的解决方案一样，而多媒体处理器则类似于数码相机中的核心处理器。 sp80708和sp83308就是基于这种应用方案设计的，其结构框图见图2。
图2：raw data传感器sp0708和sp3308的结构框图。
从结构上看，raw data型传感器实际是yuv 传感器去掉isp和部分传感器控制功能之后的简化产品。
这种方案在最低端手机和最高端手机中都有应用。如联发科的mtk6226和展讯6600d+华邦99685，就属于这一方案在低端手机上的应用。而可以支持到3.2m raw data 传感器，broadcom的bcm2820甚至可以支持8m像素的raw data 传感器，很多高端手机采用了这些方案。
对于3.2m以上的高像素拍照手机，raw data方案从系统设计的角度讲是合理的。高像素的拍照手机为了取代传统数码相机，对图像质量的要求已经达到专业级的要求。在提高模拟前端图像采集性能的同时，后端复杂的图像处理技术也是必不可少的。要把这些功能复杂的isp集成到传感器中，几乎很难实现，比如复杂的彩色插值算法要求保存一帧的raw data，需要很大的缓冲，传感器中不可能做到；而性能越来越高的多媒体处理器，无论是处理能力，还是配备的缓冲，都非常适合来完成这个功能。从整个系统的结构和性价比来看，这种方案也是最有竞争力的。
对于低端的vga拍照手机，传感器的成本压力越来越大。raw data型的传感器是降低成本最有效的方案。联发科推出的一系列平台方案就恰好集成了图像处理的功能，mtk6226就是最典型的代表。
raw data型方案目前也存在缺点，它需要传感器厂商和多媒体芯片或是平台厂商紧密配合，才能很顺利的完成系统集成。尤其是方案设计阶段，对不同的传感器，甚至相同的传感器搭配不同的镜头，都需要基于多媒体芯片重新调试图像效果。传感器厂商只有得到这些平台厂商的配合，才能完成design-in。
目前手机市场的情况是yuv型和raw data型两种方案并存。思比科也有针对性的开发出了不同的产品，来满足客户多元化的需求。其中sp0818和sp2318满足yuv型手机客户的需求，而sp80708和sp83308则符合raw data型手机客户的要求。
2．pc摄像头
相对手机而言，pc摄像头（pc-cam）是一个较为简单的应用。由于英特网的普及以及越来越流行的网络视频应用，pc-cam的需求量也非常庞大。sp80708在满足手机应用的同时，也因为高性价比的优势而被大量使用在pc-cam上。
pc-cam的方案非常简单，一颗dsp搭配一颗传感器，就组成了一个pc-cam方案。图3是一个典型的pc-cam的结构图。
图3：典型的pc-cam方案。
sp80708采用了思比科最新的像素技术，感光度高达1.2v，足以满足pc-cam对低照度的严格要求；色彩还原性好，原始数据经过简单处理就可以达到理想的效果；而像素尺寸缩小到3.2umx3.2um，可以较大幅度降低传感器成本。同时内嵌思比科特有的曝光控制算法，很大程度上提高了动态范围，在各种光照条件的复杂环境下，都能达到理想的曝光效果。
pc-cam也有很多种类。从传感器的分辨率来分，有30万像素，130万像素和200万像素的pc-cam，早期甚至还有10万像素的产品。由于受到usb带宽的限制，pc-cam很少有200万像素以上的产品。从传感器的类型来分，有使用raw data 传感器的pc-cam，也有使用yuv 传感器的产品；绝大多数dsp都集成了isp的功能，但多数的isp只支持到vga，所以大多数30万像素的pc-cam都采用raw data的传感器，或是采用yuv 传感器的raw data输出，而130万像素和200万像素的产品则多使用yuv 传感器。
从dsp的功能来分，pc-cam又可以分为usb1.1和usb2.0两种，因为usb1.1的带款很窄，视频在传到 pc之前需要压缩，所以usb1.1的dsp都集成了jpeg压缩的模块；而usb2.0则能够传输未经压缩的vga视频流，因此usb2.0的pc- cam视频质量优于usb1.1的产品。有些usb2.0的dsp也集成了jpeg模块，向下兼容usb1.1的应用，以保证产品能应用在非常低端的pc 上。
随着市场的多元化发展，pc-cam产品的种类也越来越多。如有带语音输入功能的、有带自动聚焦和跟踪功能的。而最近出现的“免驱动”的pc-cam，则有可能成为未来的主流产品。
3．监控系统
传统的监控系统几乎都采用ccd。随着cmos 传感器技术的发展，cmos的品质已经达到ccd相当的水平。而监控系统应用的普及，也面临着降低成本的压力。低成本的cmos取代ccd在监控系统上应用的趋势已经非常明显。图4是采用cmos 传感器的监控系统的典型结构。
图4： ip camera解决方案。
传感器将采集到的高品质图像数据转换成标准yuv格式，传给后边的处理器，处理器完成对视频的压缩，并通过有线或无线网络，将压缩后的视频流发送出去。因为监控系统的应用环境差别比较大，而且都是处于全天候工作状态，因此对传感器的要求非常高，比如传感器的动态范围，灵敏度，温度特性等，都比普通的传感器高出很多。思比科目前正在积极开发这类产品，预计在年内推出新一代宽动态范围，高灵敏度的传感器，满足监控领域的应用需求。
思比科的产品完全根据客户的需求设计，具有性价比高，应用方便的特点。表1总结了思比科系列产品的技术指标，这些产品适用于各种解决方案，可以满足绝大多数客户的需求。
表1： 思比科系列产品指标。
iKeybo智能投影虚拟键盘：钢琴随身背着走？
区块链是一种新的、先进的存储和交换信息的方式
对汽车功能需求持续增加,主控芯片有何变化
华为Mate9怎么样？华为Mate9评测：华为Mate9外观、配置、续航、拍照十分出色，值得购买
华为构建端边云协同智慧连锁门店数字化解决方案助力智慧管理与运营
思比科系列CMOS图像传感器应用方案
新思科技致力于不断提升软件功能以满足用户需求
关于AR技术与VR技术这两者的区别是什么
三大运营商开始低调默契的停售旗下的低价4G套餐
智能座舱交互体验持续升级，传感器件功不可没
固定增益运算放大器简化滤波器设计
Intel下一代傲腾SSD将支持PCIe 4.0 IOPS预计可以高达130万左右
警方侦破全国首例利用AI侵犯公民个人信息案
详解图像分割算法
四强投资动作暗潮汹涌 欲争夺3D NAND市场
量子计算机原理_量子计算机有多强大
华为云推出6款安全新服务和新特性产品，提升应对安全风险的能力
离线语音“自然说”让风扇更智能
嵌入式技术推动新兴领域创新发展
实现高降压比转换器多种解决方案分析
北京思比科作为中国本土企业，是唯一基于自主专利技术开发成功高端cmos图像传感器芯片并实现规模化生产的企业，近几年开发成功了一系列高品质图像传感器芯片。以下针对拍照手机，pc-cam和监控三个领域的应用，具体介绍思比科的系列产品。
1．拍照手机
拍照手机可以实现预览、拍照、回显、录像和回放的全部功能。从传感器应用的角度，拍照手机可以分为以下两类：第一类是 yuv型，即传感器输出标准的yuv图像数据，多媒体处理器接收后完成图像的编解码等后处理，传感器和多媒体处理器相对独立，sp80818（1/8 inch vga）和sp82318（1/3.2 inch 2m）就是针对这种应用设计的。第二类是raw data型，传感器只输出原始数据，所有的图像处理和自动控制都由多媒体处理器来主导完成，sp80708（1/7 inch vga）和sp83308（1/3 inch 3.2m）符合这种应用。以下分别介绍两种方案。
1．1 yuv型
yuv型的方案是目前中低端拍照手机普遍采用的一种方案，主要集中在vga，1.3m和2m的拍照手机，要求传感器输出标准的yuv数据。传感器除了完成图像采集的功能外，还要完成图像处理和图像转换的功能。图1是sp80818和sp82318的结构框图以及yuv手机的结构图。其中传感器核（sensor core）部分包含有感光阵列、曝光控制和读出电路、可变增益放大器（pga）和模数转换器（adc），主要完成图像采集功能。传感器核输出的原始图像数据送到图像处理器（isp），isp完成一系列图像处理和图像转换功能，主要包含以下处理：灰度补偿、数字增益和白平衡、镜头阴影修正、坏点检测和修正、彩色插值、平滑处理和轮廓增强、gamma校正、色彩校正、亮度、饱和度和对比度调节、图像尺寸变换、色彩空间转换、图像数据打包输出。控制模块完成自动曝光控制，自动白平衡，50hz/60hz闪烁检测等功能，对传感器核和isp进行控制，以及和多媒体处理器的通信（多媒体处理器通过串行总线接口访问传感器内部寄存器，实现对传感器的控制。）
图1： yuv传感器sp0818和sp2318的结构框图及应用。
虽然绝大多数主流的传感器设计公司都是按照以上功能来设计自己的产品，但由于设计能力和所采用的工艺性能的不同，市面上产品的性价比仍然会存在较大的差距。
思比科在设计这些产品之前，已经做了大量的基础研究，从工艺，算法到电路原理都有了很多的突破，形成了以 superpix和superimage为核心的技术特点，相关专利已经达到数十件以上，superpix技术具体体现在高性能的像素单元（pixel） 设计，高精度、高速度和超低功耗的cds电路，pga电路和adc电路设计；superimage技术则主要包含一系列效果优良、实现简洁的算法，如自动白平衡，自动曝光控制，彩色插值，平滑去噪，轮廓增强等。
yuv方案的优点在于照相模块的独立性和灵活性。工程师很容易完成不同的传感器和多媒体处理器之间的对接，而复杂繁琐的图像调试工作已经由照相模块的供应商完成，工程师只需要将多媒体处理器中传感器的配置参数更新就可以得到理想的图像效果。
然而，随着手机市场的竞争加剧，客户对传感器的性价比要求越来越高，这种方案的缺点也越来越明显。由于传感器工艺的特殊性决定了在设计和制造过程中，不能使用超过4层的金属连线资源，这将大大增加逻辑关系复杂的图像处理电路的面积，从而增加传感器的成本。而另一方面，为了降低成本，传感器的感光单元尺寸越来越小，为了得到更好的图像质量，需要越来越复杂的算法对图像进行处理。基于以上原因，isp的功能已经开始从传感器转移到多媒体处理器。对于规模庞大的多媒体处理器来说，isp的集成对其成本不会有明显增加，而传感器的成本则有大幅度下降。因此？raw data方案也越来越被关注。
1．2 raw data型
raw data型方案是最有争议的一个方案，系统只要求传感器输出原始数据，后端多媒体处理器完成所有isp和图像编解码等功能，和普通的数码相机的解决方案一样，而多媒体处理器则类似于数码相机中的核心处理器。 sp80708和sp83308就是基于这种应用方案设计的，其结构框图见图2。
图2：raw data传感器sp0708和sp3308的结构框图。
从结构上看，raw data型传感器实际是yuv 传感器去掉isp和部分传感器控制功能之后的简化产品。
这种方案在最低端手机和最高端手机中都有应用。如联发科的mtk6226和展讯6600d+华邦99685，就属于这一方案在低端手机上的应用。而可以支持到3.2m raw data 传感器，broadcom的bcm2820甚至可以支持8m像素的raw data 传感器，很多高端手机采用了这些方案。
对于3.2m以上的高像素拍照手机，raw data方案从系统设计的角度讲是合理的。高像素的拍照手机为了取代传统数码相机，对图像质量的要求已经达到专业级的要求。在提高模拟前端图像采集性能的同时，后端复杂的图像处理技术也是必不可少的。要把这些功能复杂的isp集成到传感器中，几乎很难实现，比如复杂的彩色插值算法要求保存一帧的raw data，需要很大的缓冲，传感器中不可能做到；而性能越来越高的多媒体处理器，无论是处理能力，还是配备的缓冲，都非常适合来完成这个功能。从整个系统的结构和性价比来看，这种方案也是最有竞争力的。
对于低端的vga拍照手机，传感器的成本压力越来越大。raw data型的传感器是降低成本最有效的方案。联发科推出的一系列平台方案就恰好集成了图像处理的功能，mtk6226就是最典型的代表。
raw data型方案目前也存在缺点，它需要传感器厂商和多媒体芯片或是平台厂商紧密配合，才能很顺利的完成系统集成。尤其是方案设计阶段，对不同的传感器，甚至相同的传感器搭配不同的镜头，都需要基于多媒体芯片重新调试图像效果。传感器厂商只有得到这些平台厂商的配合，才能完成design-in。
目前手机市场的情况是yuv型和raw data型两种方案并存。思比科也有针对性的开发出了不同的产品，来满足客户多元化的需求。其中sp0818和sp2318满足yuv型手机客户的需求，而sp80708和sp83308则符合raw data型手机客户的要求。
2．pc摄像头
相对手机而言，pc摄像头（pc-cam）是一个较为简单的应用。由于英特网的普及以及越来越流行的网络视频应用，pc-cam的需求量也非常庞大。sp80708在满足手机应用的同时，也因为高性价比的优势而被大量使用在pc-cam上。
pc-cam的方案非常简单，一颗dsp搭配一颗传感器，就组成了一个pc-cam方案。图3是一个典型的pc-cam的结构图。
图3：典型的pc-cam方案。
sp80708采用了思比科最新的像素技术，感光度高达1.2v，足以满足pc-cam对低照度的严格要求；色彩还原性好，原始数据经过简单处理就可以达到理想的效果；而像素尺寸缩小到3.2umx3.2um，可以较大幅度降低传感器成本。同时内嵌思比科特有的曝光控制算法，很大程度上提高了动态范围，在各种光照条件的复杂环境下，都能达到理想的曝光效果。
pc-cam也有很多种类。从传感器的分辨率来分，有30万像素，130万像素和200万像素的pc-cam，早期甚至还有10万像素的产品。由于受到usb带宽的限制，pc-cam很少有200万像素以上的产品。从传感器的类型来分，有使用raw data 传感器的pc-cam，也有使用yuv 传感器的产品；绝大多数dsp都集成了isp的功能，但多数的isp只支持到vga，所以大多数30万像素的pc-cam都采用raw data的传感器，或是采用yuv 传感器的raw data输出，而130万像素和200万像素的产品则多使用yuv 传感器。
从dsp的功能来分，pc-cam又可以分为usb1.1和usb2.0两种，因为usb1.1的带款很窄，视频在传到 pc之前需要压缩，所以usb1.1的dsp都集成了jpeg压缩的模块；而usb2.0则能够传输未经压缩的vga视频流，因此usb2.0的pc- cam视频质量优于usb1.1的产品。有些usb2.0的dsp也集成了jpeg模块，向下兼容usb1.1的应用，以保证产品能应用在非常低端的pc 上。
随着市场的多元化发展，pc-cam产品的种类也越来越多。如有带语音输入功能的、有带自动聚焦和跟踪功能的。而最近出现的“免驱动”的pc-cam，则有可能成为未来的主流产品。
3．监控系统
传统的监控系统几乎都采用ccd。随着cmos 传感器技术的发展，cmos的品质已经达到ccd相当的水平。而监控系统应用的普及，也面临着降低成本的压力。低成本的cmos取代ccd在监控系统上应用的趋势已经非常明显。图4是采用cmos 传感器的监控系统的典型结构。
图4： ip camera解决方案。
传感器将采集到的高品质图像数据转换成标准yuv格式，传给后边的处理器，处理器完成对视频的压缩，并通过有线或无线网络，将压缩后的视频流发送出去。因为监控系统的应用环境差别比较大，而且都是处于全天候工作状态，因此对传感器的要求非常高，比如传感器的动态范围，灵敏度，温度特性等，都比普通的传感器高出很多。思比科目前正在积极开发这类产品，预计在年内推出新一代宽动态范围，高灵敏度的传感器，满足监控领域的应用需求。
思比科的产品完全根据客户的需求设计，具有性价比高，应用方便的特点。表1总结了思比科系列产品的技术指标，这些产品适用于各种解决方案，可以满足绝大多数客户的需求。
表1： 思比科系列产品指标。
iKeybo智能投影虚拟键盘：钢琴随身背着走？
区块链是一种新的、先进的存储和交换信息的方式
对汽车功能需求持续增加,主控芯片有何变化
华为Mate9怎么样？华为Mate9评测：华为Mate9外观、配置、续航、拍照十分出色，值得购买
华为构建端边云协同智慧连锁门店数字化解决方案助力智慧管理与运营
思比科系列CMOS图像传感器应用方案
新思科技致力于不断提升软件功能以满足用户需求
关于AR技术与VR技术这两者的区别是什么
三大运营商开始低调默契的停售旗下的低价4G套餐
智能座舱交互体验持续升级，传感器件功不可没
固定增益运算放大器简化滤波器设计
Intel下一代傲腾SSD将支持PCIe 4.0 IOPS预计可以高达130万左右
警方侦破全国首例利用AI侵犯公民个人信息案
详解图像分割算法
四强投资动作暗潮汹涌 欲争夺3D NAND市场
量子计算机原理_量子计算机有多强大
华为云推出6款安全新服务和新特性产品，提升应对安全风险的能力
离线语音“自然说”让风扇更智能
嵌入式技术推动新兴领域创新发展
实现高降压比转换器多种解决方案分析