基于DSP的数码相机中的MPEG-4压缩方案
基于dsp的数码相机中的mpeg-4压缩方案
虽然数码相机(dsc)投入市场仅几年时间，但已经使消费类电子成像业发生了翻天覆地的变化。目前，全球售出的相机中大约有三分之一是数码相机，而且其份额还在稳步上升。随着多兆象素dsc生成分辨率越来越高的图像而开始挑战传统的胶卷像机，消费类dsc也正提供智能化操作模式，帮助用户在各种条件下都能拍摄出更好的照片。视频模式也已经成为消费类dsc的标准功能，使用户能够快速拍摄多个照片，以便选择更好的快照，同时也使他们能够保存重大事件的简短剪辑。此外，dsc也开始与手机集成在一起，实现静止图片与剪辑随时随地的快速传输。
随着瞬息万变的dsc市场不断分化，开发商必须不断充分利用技术创新的优势来细分其产品。当今其中一项创新就是在基于高性能数字信号处理器(dsp)的消费类dsc中引入mpeg-4视频压缩技术。mpeg-4标准使dsc能够有效提供视频及其他操作模式，增加所存储视频剪辑的数量，并支持视频图像强大可靠的传输。dsp可以提供低价位相机产品中mpeg-4编码以及解码所需要的计算性能，尤其那些具备支持快速图像处理架构的dsp更是如此。可编程性使开发商在整个dsc产品线中使用相同的dsp平台，从而通过软件优化不同产品的成像管道(imagepipe)。
新的压缩标准
dsc传统依赖于jpeg压缩标准，其设计用于存储静止图像，并且已通过互联网而广为流行。在压缩中，jpeg采用离散余弦变换(dct)与量化技术有效地从包含8×8象素阵列的最小编码单元(mcu)的数据描述中消除大部分空间冗余。然后此算法采用熵或可变长度编码(vlc)技术进一步减少存储与传输的图像数据。图像解压的步骤则与此相反。根据图像内容，尽管压缩比随图像的不同而不同，但是jpeg算法一般情况下可以将象素数据压缩一个数量级而不丢失视觉完整性。
用于动画与视频的各种mpeg标准采用与jpeg相同的帧内技术入手来压缩基本的静止图像或i帧，然后采用附加的帧间技术以消除随后帧中的暂时冗余。帧间技术事实上涉及将每个连续帧的16×16象素宏块压缩到上一个帧的宏块，然后采用运动估计与补偿技术来描述宏块的帧到帧移动。这些预测帧或p帧只需要描述其从上一帧的改变。然后以应用所决定的间隔定期对i帧进行编码。
图1说明了一般mpeg视频压缩中所涉及的步骤。图像顶部从输入到输出的帧内压缩步骤(dct、量化与vlc)足以生成i帧。为了创建p帧，刚编码的帧必须在本地帧缓冲器中被解码并存储，以便实现过去帧的逐块压缩到未来帧(即运动估计)，从而实现帧间压缩。视频解码涉及图下部的步骤(逆量子化、反向dct、运动补偿)。除了图中所示之外，mpeg标准还具有采用独立流程的音频压缩－解压算法。
图1：mpeg视频压缩流程图。
mpeg-4：多媒体标准
mpeg标准在不断发展，以适应新兴的视频应用。最初的mpeg-1标准开发用于大容量存储与系统检索，例如：交互式cd-rom以及vcd。此后，在mpeg-2中对该标准进行了修改，以支持更高的分辨率、更广泛的格式以及与hdtv相关的数字编码。由于在dvd中的应用，mpeg-2更受青睐。在视频数据库的要求所驱动下，mpeg-7标准规定了用于信息搜索的内容表述。
mpeg-4开发用于交互式多媒体应用，其中包括那些通过无线连接提供的多媒体应用。它与基本h。263视频压缩标准共享算法。与早期的mpeg标准相比，mpeg-4为更高密度的图像提供了更好的压缩，并为更强大可靠的传输提供了更高的容错弹性(errorresilience)。另外，mpeg-4支持在帧中引入对象类型，从而可以独立规定、压缩、传输和重新组合不同的图像及图形单元。但是，该标准的对象支持功能仍有待开发切实可行的实施方案。到那时，包括dsc在内的大部分mpeg-4应用可以继续基于通常情况下与图像的完整矩形帧对应的单个对象。
高压缩效率
特定剪辑的压缩比随主题的不同而千差万别，不过一般情况下mpeg压缩技术可以将jpeg帧的后续形式－运动jpeg(m-jpeg)的压缩比在相同分辨率下提高一个数量级。进一步的压缩源自帧间技术的采用。视频帧一般大约为10万象素(352×288象素，cif分辨率)或大约2。5万象素(176×144象素，qcif分辨率)，而不是一般情况下与jpeg相关的2～5兆象素。尽管分辨率的这种降低在高质量照片中是不能接受的，但是对于许多消费类dsc产品来说却足够了，尤其是考虑到它实现了写真视频的采集。
mpeg-4算法充分利用压缩技术中的精化功能，将早先的mpeg比率降低了大约20％。高级mpeg-4压缩可以将每秒15帧(fps)的qcif视频图像从原始视频数据的4。5mbps压缩为不到6？kbps，同时还可以保持适当的浏览质量。在dsc中，mpeg-4压缩使相机能够在内存中存储比m-jepg大几倍的视频图像。
更佳的容错弹性
mpeg-4集成了多种提高容错弹性的新技术，容错弹性是很有用的特性，因为人们正越来越多地传输利用dsc采集的照片与剪辑。随着dsc手机的日益流行，强大可靠的传输成为了必不可少的要求。mpeg-4的容错弹性技术包括：
1)更多的再同步标记，其可将所传输的数据分成小视频包，从而使接收方能够在最小化数据丢失情况下恢复各种传输错误；
2)报头扩展代码，其指示每个数据包的报头，以防止由于包含重要报头信息的视频帧中第一个视频包的破坏而导致潜在的报头信息丢失；
3)将视频数据分成运动与纹理(空间)数据，通过提高该部分数据被接收到的几率而促进从错误恢复；
4)可逆vlc，允许接收方从再同步标记后向与前向进行解码，以便在发生传输错误后恢复尽可能多的图像；
5)用于空间及时间错误的差错隐藏技术(在mpeg-4中规定了几种技术，这些技术是对该算法的补充，而并非其组成部分)。
对dsp性能与灵活性的需求
由于帧间运动估计及补偿中涉及其他步骤，因此mpeg-4压缩与解压算法比jpeg需要强得多的处理能力。所以，dsc中的图像处理引擎必须能够达到更高的性能水平。尽管asic能够实现此项任务，但是它不易于结合到不同dsc产品的成像管道中；另一方面，可编程dsp不但能够提供mpeg-4算法所需的性能，而且还可以通过软件优化不同系统。另外，还可以对相同的dsp进行编程，使其执行jpeg算法，以便在更高分辨率的dsc中推广使用。因此，整个dsc产品线可以基于单个dsp平台，从而在节约大量开发时间与成本的同时还能促进产品的细分。
带成像架构的dsp示例
ti推出的tms320dm270数字媒体处理器就是一种为dsc等成像应用而专门设计的高性能dsp。dm270是基于多处理器架构之上的，其采用一个arm732位risc微控制器来处理非成像功能，并用作整个系统的主控制器，同时采用可编程的c54×dsp核心处理音频编码与解码。另外，dm270还集成了专门设计用于处理大部分高计算要求成像任务的可编程协处理器。其中一个协处理器－simd图像处理引擎(im×)执行dct、反向dct以及众多其他处理运算中的运动估计与补偿。其他协处理器执行可变长度编码/解码、量化与逆量子化。
图2展示了dm270的主要功能块与流程。除了主要的处理器之外，该器件还通过各种通用i/o引脚集成了高速缓冲存储器、图像块缓冲器、以及用于外部存储器、ccd、lcd或tv输出及其他通信接口的控制器。专用的图像预处理硬件可以消除主处理器的某些任务负担，如：白平衡、自动曝光以及自动调焦。
图2：dm270架构。
在外部只需要sdram来完善dsc的图像处理引擎。由于mpeg必须保持附加帧以进行运动估计与补偿，因而在qcif(176×144)分辨率下，编码需要大约110千字节sdram。凭借其高度集成与专用架构，dm270能够在cif(352×288)分辨率下处理超过30fps的mpeg-4编码，同时能够在hvga(6？0×240)分辨率、超过30fps的解码期间处理超过50％的象素。该器件还支持多媒体中所采用的其他主要视频、音频与语音标准，而且可以与设计用作手机引擎的dsp一起结合使用。
dsc手机与其他新兴应用
在瞬息万变的视频成像消费类电子产品市场中，怎么高估编程灵活性的重要性都不为过。dsc正迅速发展并融入新的应用。其中之一是带有集成相机的手机，提供静止图像与视频剪辑的采集与传输功能。该系统现已投放市场。mpeg-4数据可以嵌入多媒体信息服务(mms)协议栈中，从而可以采用无线ip网络信息的行业标准在无线网中轻松传输视频数据包。
开发商可能也希望具备dsp所带来的灵活性，以便设计那些在无线产品中也具备的、其他类型的相机系统，例如：支持基于h。324的视频会议的系统。该视频会议无线电话采用h。263或mpeg-4来对视频进行编码与解码。另外，可能还需要将讯息发送功能与可视会议融为一体的、对会话初始化协议(sip)的支持。mpeg-4的未来发展，如：对象功能，可能会需要对已经投入应用的单元以及正在开发中的单元进行重新编程。其中一项发展便是新出现的mpeg-4avc(高级视频编码)标准(又称为h。26？标准)的更高压缩密度。可编程的dsp实现了对所有这些标准及其他标准的支持，从而可以有助于成像系统开发商细分其产品，并激发新的市场需求。
在成像质量方面，dsc仍然需要一定时间才能与最高质量的传统胶卷相机抗衡。但是，在低端市场中，dsc却可以提供传统相机所无法与之匹敌的视频与其他功能。目前，dsc开发商正从更高的压缩比与更高的容错弹性探索mpeg-4，以帮助其提供消费者所期望的更多功能。而可编程dsp可以提供在低成本dsc上实现mpeg-4算法所需要的性能，在高度分化市场中，它们为开发商提供了可满足各种需求而需要的灵活性。基于dsp的mpeg-4压缩还为在未来把dsc与无线设备集成并支持其他新型应用打开了机遇之门。利用mpeg-4与dsp，低成本消费类dsc将会继续迎来辉煌的未来。让我们放眼展望吧！
DC-DC的电压反馈控制模式
华为申请“合界”商标
从On-Premise本地到On-Cloud云上运维的演进
高速串行总线-IBIS-AMI模型建模详解
在工作中怎么处理安规电容发热现象？
基于DSP的数码相机中的MPEG-4压缩方案
华为5G手机芯片迎来转机?
存间计算或将解决AI加速的痛点
小米MIX 2S：性能跟拍照普遍满意，外观遭到吐槽
便携式叶面积仪是什么，它的应用优势是什么
17年三月的iPhone春季发布会，新iPhone SE、新iPad Pro，你期待吗？
Maxim Integrated新型神经网络加速器MAX78000 SoC在贸泽开售
Opera公司推出了Opera 46浏览器稳定版 支持动态PNG文件
PCB的安规要求
微软提交液晶滤镜摄像头专利,能用于红外摄像机
开发可生物降解传感器监测疾病发展
双足机器人PedestriANS问世 可以根据周围环境的变化来改变动作
现代汽车将以10亿美元收购波士顿动力机器人
如何深入理解数字示波器触发功能及测试案例
Waymo被认为是最有可能率先让自动驾驶成为现实的那一家
虽然数码相机(dsc)投入市场仅几年时间，但已经使消费类电子成像业发生了翻天覆地的变化。目前，全球售出的相机中大约有三分之一是数码相机，而且其份额还在稳步上升。随着多兆象素dsc生成分辨率越来越高的图像而开始挑战传统的胶卷像机，消费类dsc也正提供智能化操作模式，帮助用户在各种条件下都能拍摄出更好的照片。视频模式也已经成为消费类dsc的标准功能，使用户能够快速拍摄多个照片，以便选择更好的快照，同时也使他们能够保存重大事件的简短剪辑。此外，dsc也开始与手机集成在一起，实现静止图片与剪辑随时随地的快速传输。
随着瞬息万变的dsc市场不断分化，开发商必须不断充分利用技术创新的优势来细分其产品。当今其中一项创新就是在基于高性能数字信号处理器(dsp)的消费类dsc中引入mpeg-4视频压缩技术。mpeg-4标准使dsc能够有效提供视频及其他操作模式，增加所存储视频剪辑的数量，并支持视频图像强大可靠的传输。dsp可以提供低价位相机产品中mpeg-4编码以及解码所需要的计算性能，尤其那些具备支持快速图像处理架构的dsp更是如此。可编程性使开发商在整个dsc产品线中使用相同的dsp平台，从而通过软件优化不同产品的成像管道(imagepipe)。
新的压缩标准
dsc传统依赖于jpeg压缩标准，其设计用于存储静止图像，并且已通过互联网而广为流行。在压缩中，jpeg采用离散余弦变换(dct)与量化技术有效地从包含8×8象素阵列的最小编码单元(mcu)的数据描述中消除大部分空间冗余。然后此算法采用熵或可变长度编码(vlc)技术进一步减少存储与传输的图像数据。图像解压的步骤则与此相反。根据图像内容，尽管压缩比随图像的不同而不同，但是jpeg算法一般情况下可以将象素数据压缩一个数量级而不丢失视觉完整性。
用于动画与视频的各种mpeg标准采用与jpeg相同的帧内技术入手来压缩基本的静止图像或i帧，然后采用附加的帧间技术以消除随后帧中的暂时冗余。帧间技术事实上涉及将每个连续帧的16×16象素宏块压缩到上一个帧的宏块，然后采用运动估计与补偿技术来描述宏块的帧到帧移动。这些预测帧或p帧只需要描述其从上一帧的改变。然后以应用所决定的间隔定期对i帧进行编码。
图1说明了一般mpeg视频压缩中所涉及的步骤。图像顶部从输入到输出的帧内压缩步骤(dct、量化与vlc)足以生成i帧。为了创建p帧，刚编码的帧必须在本地帧缓冲器中被解码并存储，以便实现过去帧的逐块压缩到未来帧(即运动估计)，从而实现帧间压缩。视频解码涉及图下部的步骤(逆量子化、反向dct、运动补偿)。除了图中所示之外，mpeg标准还具有采用独立流程的音频压缩－解压算法。
图1：mpeg视频压缩流程图。
mpeg-4：多媒体标准
mpeg标准在不断发展，以适应新兴的视频应用。最初的mpeg-1标准开发用于大容量存储与系统检索，例如：交互式cd-rom以及vcd。此后，在mpeg-2中对该标准进行了修改，以支持更高的分辨率、更广泛的格式以及与hdtv相关的数字编码。由于在dvd中的应用，mpeg-2更受青睐。在视频数据库的要求所驱动下，mpeg-7标准规定了用于信息搜索的内容表述。
mpeg-4开发用于交互式多媒体应用，其中包括那些通过无线连接提供的多媒体应用。它与基本h。263视频压缩标准共享算法。与早期的mpeg标准相比，mpeg-4为更高密度的图像提供了更好的压缩，并为更强大可靠的传输提供了更高的容错弹性(errorresilience)。另外，mpeg-4支持在帧中引入对象类型，从而可以独立规定、压缩、传输和重新组合不同的图像及图形单元。但是，该标准的对象支持功能仍有待开发切实可行的实施方案。到那时，包括dsc在内的大部分mpeg-4应用可以继续基于通常情况下与图像的完整矩形帧对应的单个对象。
高压缩效率
特定剪辑的压缩比随主题的不同而千差万别，不过一般情况下mpeg压缩技术可以将jpeg帧的后续形式－运动jpeg(m-jpeg)的压缩比在相同分辨率下提高一个数量级。进一步的压缩源自帧间技术的采用。视频帧一般大约为10万象素(352×288象素，cif分辨率)或大约2。5万象素(176×144象素，qcif分辨率)，而不是一般情况下与jpeg相关的2～5兆象素。尽管分辨率的这种降低在高质量照片中是不能接受的，但是对于许多消费类dsc产品来说却足够了，尤其是考虑到它实现了写真视频的采集。
mpeg-4算法充分利用压缩技术中的精化功能，将早先的mpeg比率降低了大约20％。高级mpeg-4压缩可以将每秒15帧(fps)的qcif视频图像从原始视频数据的4。5mbps压缩为不到6？kbps，同时还可以保持适当的浏览质量。在dsc中，mpeg-4压缩使相机能够在内存中存储比m-jepg大几倍的视频图像。
更佳的容错弹性
mpeg-4集成了多种提高容错弹性的新技术，容错弹性是很有用的特性，因为人们正越来越多地传输利用dsc采集的照片与剪辑。随着dsc手机的日益流行，强大可靠的传输成为了必不可少的要求。mpeg-4的容错弹性技术包括：
1)更多的再同步标记，其可将所传输的数据分成小视频包，从而使接收方能够在最小化数据丢失情况下恢复各种传输错误；
2)报头扩展代码，其指示每个数据包的报头，以防止由于包含重要报头信息的视频帧中第一个视频包的破坏而导致潜在的报头信息丢失；
3)将视频数据分成运动与纹理(空间)数据，通过提高该部分数据被接收到的几率而促进从错误恢复；
4)可逆vlc，允许接收方从再同步标记后向与前向进行解码，以便在发生传输错误后恢复尽可能多的图像；
5)用于空间及时间错误的差错隐藏技术(在mpeg-4中规定了几种技术，这些技术是对该算法的补充，而并非其组成部分)。
对dsp性能与灵活性的需求
由于帧间运动估计及补偿中涉及其他步骤，因此mpeg-4压缩与解压算法比jpeg需要强得多的处理能力。所以，dsc中的图像处理引擎必须能够达到更高的性能水平。尽管asic能够实现此项任务，但是它不易于结合到不同dsc产品的成像管道中；另一方面，可编程dsp不但能够提供mpeg-4算法所需的性能，而且还可以通过软件优化不同系统。另外，还可以对相同的dsp进行编程，使其执行jpeg算法，以便在更高分辨率的dsc中推广使用。因此，整个dsc产品线可以基于单个dsp平台，从而在节约大量开发时间与成本的同时还能促进产品的细分。
带成像架构的dsp示例
ti推出的tms320dm270数字媒体处理器就是一种为dsc等成像应用而专门设计的高性能dsp。dm270是基于多处理器架构之上的，其采用一个arm732位risc微控制器来处理非成像功能，并用作整个系统的主控制器，同时采用可编程的c54×dsp核心处理音频编码与解码。另外，dm270还集成了专门设计用于处理大部分高计算要求成像任务的可编程协处理器。其中一个协处理器－simd图像处理引擎(im×)执行dct、反向dct以及众多其他处理运算中的运动估计与补偿。其他协处理器执行可变长度编码/解码、量化与逆量子化。
图2展示了dm270的主要功能块与流程。除了主要的处理器之外，该器件还通过各种通用i/o引脚集成了高速缓冲存储器、图像块缓冲器、以及用于外部存储器、ccd、lcd或tv输出及其他通信接口的控制器。专用的图像预处理硬件可以消除主处理器的某些任务负担，如：白平衡、自动曝光以及自动调焦。
图2：dm270架构。
在外部只需要sdram来完善dsc的图像处理引擎。由于mpeg必须保持附加帧以进行运动估计与补偿，因而在qcif(176×144)分辨率下，编码需要大约110千字节sdram。凭借其高度集成与专用架构，dm270能够在cif(352×288)分辨率下处理超过30fps的mpeg-4编码，同时能够在hvga(6？0×240)分辨率、超过30fps的解码期间处理超过50％的象素。该器件还支持多媒体中所采用的其他主要视频、音频与语音标准，而且可以与设计用作手机引擎的dsp一起结合使用。
dsc手机与其他新兴应用
在瞬息万变的视频成像消费类电子产品市场中，怎么高估编程灵活性的重要性都不为过。dsc正迅速发展并融入新的应用。其中之一是带有集成相机的手机，提供静止图像与视频剪辑的采集与传输功能。该系统现已投放市场。mpeg-4数据可以嵌入多媒体信息服务(mms)协议栈中，从而可以采用无线ip网络信息的行业标准在无线网中轻松传输视频数据包。
开发商可能也希望具备dsp所带来的灵活性，以便设计那些在无线产品中也具备的、其他类型的相机系统，例如：支持基于h。324的视频会议的系统。该视频会议无线电话采用h。263或mpeg-4来对视频进行编码与解码。另外，可能还需要将讯息发送功能与可视会议融为一体的、对会话初始化协议(sip)的支持。mpeg-4的未来发展，如：对象功能，可能会需要对已经投入应用的单元以及正在开发中的单元进行重新编程。其中一项发展便是新出现的mpeg-4avc(高级视频编码)标准(又称为h。26？标准)的更高压缩密度。可编程的dsp实现了对所有这些标准及其他标准的支持，从而可以有助于成像系统开发商细分其产品，并激发新的市场需求。
在成像质量方面，dsc仍然需要一定时间才能与最高质量的传统胶卷相机抗衡。但是，在低端市场中，dsc却可以提供传统相机所无法与之匹敌的视频与其他功能。目前，dsc开发商正从更高的压缩比与更高的容错弹性探索mpeg-4，以帮助其提供消费者所期望的更多功能。而可编程dsp可以提供在低成本dsc上实现mpeg-4算法所需要的性能，在高度分化市场中，它们为开发商提供了可满足各种需求而需要的灵活性。基于dsp的mpeg-4压缩还为在未来把dsc与无线设备集成并支持其他新型应用打开了机遇之门。利用mpeg-4与dsp，低成本消费类dsc将会继续迎来辉煌的未来。让我们放眼展望吧！
DC-DC的电压反馈控制模式
华为申请“合界”商标
从On-Premise本地到On-Cloud云上运维的演进
高速串行总线-IBIS-AMI模型建模详解
在工作中怎么处理安规电容发热现象？
基于DSP的数码相机中的MPEG-4压缩方案
华为5G手机芯片迎来转机?
存间计算或将解决AI加速的痛点
小米MIX 2S：性能跟拍照普遍满意，外观遭到吐槽
便携式叶面积仪是什么，它的应用优势是什么
17年三月的iPhone春季发布会，新iPhone SE、新iPad Pro，你期待吗？
Maxim Integrated新型神经网络加速器MAX78000 SoC在贸泽开售
Opera公司推出了Opera 46浏览器稳定版 支持动态PNG文件
PCB的安规要求
微软提交液晶滤镜摄像头专利,能用于红外摄像机
开发可生物降解传感器监测疾病发展
双足机器人PedestriANS问世 可以根据周围环境的变化来改变动作
现代汽车将以10亿美元收购波士顿动力机器人
如何深入理解数字示波器触发功能及测试案例
Waymo被认为是最有可能率先让自动驾驶成为现实的那一家