基于DSP的机载视频图像实时压缩与处理系统
由于受到无线传输带宽的限制， 无人机对地面目标侦察获得的高分辨率视频图像必须经过有效压缩才能实时传输给地面接收处理系统。现有的视频压缩标准有h.261、h. 262、h . 263 及mpeg-1、mpeg-2、mpeg-4 等。
其中mpeg-4 由于采用基于对象的压缩编码方法， 较之以往各标准的基于帧的压缩编码方法， 其时间和空间冗余更低， 在保持解码质量的同时提高了压缩率。mpeg-4 还具有更好的交互性能及更强的抗误码性能 , 较之以往的压缩标准， 更适合无线信道的传输。
视频压缩算法比较复杂， 加之无人机有效载荷的重量和体积限制， 难以实现对机载视频图像的实时压缩编码，通常只能低分辨率图像实时压缩。本文基于ti 公司最新推出的媒体处理器tms320dm642 设计并实现了机载图像实时压缩编码与处理系统， 实现了对最高分辨率为d1分辨率机载视频图像的分辨率和压缩比可调的mpeg-4实时压缩处理及恒定码流的输出。
1 设计要求
整个压缩处理系统完成对机载高分辨率摄像机输出的pa l 制式模拟视频信号进行实时采集、压缩与传输。
为了便于地面接收处理系统实时地分析图像， 须将无人机拍摄图像的时间及空间位置等附加信息和压缩图像数据实时地打包。mpeg-4 为不等长压缩编码， 为便于无线传输， 需将mpeg-4 数据包流进行编帧， 形成256 kb/ s的恒定基带码流， 实时传输给无线信道子系统供调制发射。系统还需根据控制命令动态地改变图像的分辨率及压缩比。
2 系统硬件设计
2. 1 tms320dm642 芯片的特点
dm642 属于tms320c64x 系列dsps。veloci t i 结构使c6000 dsps 在视频和图像处理中得到广泛应用。
cpu 的vliw 结构由多个并行运行的执行单元组成， 这些单元在单个周期内可执行多种指令。并行是c6000 获得高性能的关键。c64x 在c6000 的基础上有一些重要的改进。除了有更高的时钟频率外， c64x 从以前的velociti 结构扩展到veloci ti. 2 结构， 包含了许多新的指令，增加了额外的数据通道， 寄存器的数量也增加了一倍。这些扩展使得cpu 可以在一个时钟周期内处理更多的数据， 从而获得更高的运算性能。
dm642 芯片集成了各种片内外设， 使得开发视频和图像领域的应用更为方便。它带有3 个可配置的视频端口， 提供与视频输入、视频输出以及码流输入的无缝接口。
这些视频端口支持许多格式的视频输入/ 输出。利用dm642 开发视频编码器， 其视频输入部分只需要一块视频采集芯片即可， 如ad 公司的a dv7181, 无需外加逻辑控制电路和fifo 缓存， 使硬件系统更为简单和稳定。
dm642 集成的64 位的无缝外部存储器接口（ emif） , 能够实现与外部同步和异步存储器或外设的无缝连接。
dm642 的其他外设包括： 10 mbps/ 100 mbps 的以太网口（ emac） 、多通道音频串口（mcasp） 、主机接口（ hpi） 、多通道缓冲串口（ mcbsp） 以及pci 接口等。
2. 2 系统硬件组成
机载图像实时压缩与处理系统以tms320dm642 高性能通用dsp 芯片为核心， 由视频输入采集模块、图像压缩处理模块、外部存储模块及传输控制接口模块组成。其硬件系统框图如图1 所示。
图1 机载视频图像实时压缩处理系统硬件框图
图像采集模块对输入模拟视频信号进行同步捕获、采集和视频解码。视频解码器输出的数据格式为yuv4: 2:2。视频解码数据通过dma 通道向dm642 vport 通道缓冲单元发送数据， 当采集完一帧数据时产生dma 中断。图像压缩处理模块根据接收到的控制命令将视频解码数据进行实时压缩数理后缓存到存储模块中。存储模块采用32 mb 64 位的sdram, 实现程序和数据的存储。
传输控制接口模块将缓存在sdram 中的待传输码流以256 kb/ s 的恒定速率8 位并行传输至输出端口， 并接收地面发送的控制命令。该模块由fifo 芯片和cpld 组成， fifo 半空时向dsp 发送中断信号。
2. 3 系统工作流程
系统由初始化模块、采集模块、压缩模块、打包编帧模块、存储模块和传输模块组成。其工作流程如图2 所示。
图2 机载图像将压缩处理子系统软件工作流程
初始化模块完成对程序从flash 中导入内存、dsp各端口及解码芯片工作模式的设置及全局数据的申请及初始化， 并启动对视频端口状态的查询。当定时检测到视频端口缓冲区中有数据时， 将端口缓冲区中的原始数据根据接收的控制命令进行指定大小大抽取， 输出yuv4: 2: 0格式的图像数据缓存到外围存储模块中。压缩模块将采集的图像数据进行mpeg-4 压缩。打包、编帧模块将压缩后的mpeg-4 编码数据进行实时打包， 并对打包后的数据进行连续的实时编帧。当数据包缓冲区中无数据时，便在传输帧中插入空数据。编帧完的数据64 位并行缓存到外围sdram 中。在fifo 中断服务程序中， 启动一次dma 传输， 将缓存在sdram 中的帧数据流传输到fifo 中， 实现256 kb/ s 的恒定速率的数据传输。
需要注意的是原始图像和压缩码流在dsp 中的存储。视频端口、编码程序都要访问原始图像， 例如在某一时刻，编码程序访问当前帧图像， 而视频端口正在输入下一帧图像， 为了避免访问冲突， 原始图像在dsp 中采用三缓冲区进行管理。压缩码流由编码程序写入， 根据fifo 状态恒定码率输出， 所以采用环式存储管理协调读写的步调。
2. 4 内存分配
dm642 片内只有256 kb 的存储空间， 因此当前帧、参考帧和当前帧的重建帧都必须放至片外存储器， 压缩码流若被主机读取， 也放至片外。其他数据如程序代码、全局变量、vlc码表、各编码模块产生的中间数据等均可放至片内。
由于cpu 访问片外的速度通常要比访问片内慢几十倍， 片外数据的传输通常成为程序运行时的瓶颈， 即使代码效率很高， 流水线也会因为等待数据而被严重阻塞。解决这一问题的有效方法是用edma 传送数据。程序是逐个宏块进行编码时， 在编码当前宏块的同时， edma 将下一个宏块的数据、用到的参考帧数据由片外传送至片内；当前宏块做完成运动补偿后， edma 将重建后的宏块由片内传送至片外。这样cpu 只对片内数据进行操作， 使得流水线可以顺利进行， 而压缩码流按逐个码字有时间间隔地写入， 可由cpu 直接写至片外。
3 基于dm642 的软件优化技术
为了提高代码的执行效率， 必须充分利用c64x cpu的vl iw 和流水线结构对其进行优化， 使程序无冲突地并行执行[ 6] 。mpeg 4 编码程序中包含大量的循环体， 例如计算量化、dct、半像素插值、运动补偿和构建重建帧等。这些循环体代码并不复杂， 且执行次数频繁， 占据了编码的绝大部分时间， 因此循环体的优化是重点。本文所采取的代码优化为c 语言优化和编写线性汇编两个步骤，主要从消除数据相关性、数据打包和循环体的软件流水3个方面进行优化。
3. 1 针对c语言的优化
c 代码的优化主要依靠开发环境ccs 的编译器完成， 编程者需要合理选择编译选项， 并利用特定的关键字和指令向编译器提供优化信息 。例如关键字rest rict 用来消除数据间的相关性， 编译器从而可以安排语句的并行执行 ; 内联函数_ nasser t 有助于数据的打包处理； 宏指令# pragma mu st _it erat e 告诉编译器有关循环迭代次数的信息， 编码器会根据这一信息进行软件流水。
3. 2 用线性汇编改写关键代码
线性汇编是tms320c6000 特有的一种编程语言， 介于高级语言和汇编语言之间。它可以指定指令用到的寄存器和功能单元， 更易于对数据的打包处理。
线性汇编代码的并行处理和软件流水由汇编优化器完成， 编程者需要熟悉c64x dsp 的cpu 结构和指令集， 认真设计代码并充分利用编译器的反馈信息合理修改代码， 才能写出高质量的线性汇编。本设计中程序主框架采用c 语言编写， 其它各关键部分的代码采用线性汇编实现。
4 结果分析
本压缩系统在对标准foreman 序列、地面人群及道路车辆等视频序列进行压缩测试。对d1 分辨率视频序列能够实现25 帧/ 秒实时的压缩编码， 压缩码率为1. 8 mb/ s, 解码图像视觉效果良好， 经编帧后输出250kb/ s 恒定基带码流。在图像传输中没有出现数据拥塞和丢失现象。有效满足了高清晰机载图像帧察的目的。
5 结束语
本文以tms320dm642 芯片为中心， 详细介绍了机载图像实时压缩系统的设计及mpeg 4 实时编码器的优化。系统经测试实现了高分辨率图像的实时压缩和实时编帧传输， 满足了系统设计需求。本文采用mpeg 4simlpe profile 算法， 在算法方面还有一定的研究空间。
超声波焊接机和热熔焊接机有什么区别？
鼎阳科技成为通用电子测量仪器行业A股上市公司_安捷伦推出Seahorse XF Pro分析仪
网络与CDN联合打造双重加速智能网络
关于继电器逻辑控制系统输出线圈的使用问题
移印工艺流程以及工艺异常分析
基于DSP的机载视频图像实时压缩与处理系统
介绍温度冲击试验箱的高温区和低温区
微星科技携手NVIDIA为用户打造极致体验
区块链技术怎样解决偷税漏税的问题
一文带你看2016谷歌I/O开发者大会 VR只是参考人工智能贯穿
什么是机器视觉柔性供料系统？柔性供料检测的产品有多小？
重庆市紫建电子股份有限公司创业板IPO申请获受理
Facebook将使用人工智能并聘请4000人来筛选广告改进平台安全
特斯拉召回超203万辆车，因自动驾驶系统存在误操作风险
华阳集团旗下两家全资子公司双双获长城汽车荣誉
无界零售·开放共赢！京东专卖店山东招商大会圆满成功！
超声波清洗设备怎么工作最高效?
机顶盒ZXV10系列支持中兴通讯Wi-Fi 6传输QoS方案及全屋智能组网方案
工业机器人的应用将会带给企业更高效的生产
FLIR Si124-PD声波成像仪可减少由局部放电问题导致设备故障和宕机
其中mpeg-4 由于采用基于对象的压缩编码方法， 较之以往各标准的基于帧的压缩编码方法， 其时间和空间冗余更低， 在保持解码质量的同时提高了压缩率。mpeg-4 还具有更好的交互性能及更强的抗误码性能 , 较之以往的压缩标准， 更适合无线信道的传输。
视频压缩算法比较复杂， 加之无人机有效载荷的重量和体积限制， 难以实现对机载视频图像的实时压缩编码，通常只能低分辨率图像实时压缩。本文基于ti 公司最新推出的媒体处理器tms320dm642 设计并实现了机载图像实时压缩编码与处理系统， 实现了对最高分辨率为d1分辨率机载视频图像的分辨率和压缩比可调的mpeg-4实时压缩处理及恒定码流的输出。
1 设计要求
整个压缩处理系统完成对机载高分辨率摄像机输出的pa l 制式模拟视频信号进行实时采集、压缩与传输。
为了便于地面接收处理系统实时地分析图像， 须将无人机拍摄图像的时间及空间位置等附加信息和压缩图像数据实时地打包。mpeg-4 为不等长压缩编码， 为便于无线传输， 需将mpeg-4 数据包流进行编帧， 形成256 kb/ s的恒定基带码流， 实时传输给无线信道子系统供调制发射。系统还需根据控制命令动态地改变图像的分辨率及压缩比。
2 系统硬件设计
2. 1 tms320dm642 芯片的特点
dm642 属于tms320c64x 系列dsps。veloci t i 结构使c6000 dsps 在视频和图像处理中得到广泛应用。
cpu 的vliw 结构由多个并行运行的执行单元组成， 这些单元在单个周期内可执行多种指令。并行是c6000 获得高性能的关键。c64x 在c6000 的基础上有一些重要的改进。除了有更高的时钟频率外， c64x 从以前的velociti 结构扩展到veloci ti. 2 结构， 包含了许多新的指令，增加了额外的数据通道， 寄存器的数量也增加了一倍。这些扩展使得cpu 可以在一个时钟周期内处理更多的数据， 从而获得更高的运算性能。
dm642 芯片集成了各种片内外设， 使得开发视频和图像领域的应用更为方便。它带有3 个可配置的视频端口， 提供与视频输入、视频输出以及码流输入的无缝接口。
这些视频端口支持许多格式的视频输入/ 输出。利用dm642 开发视频编码器， 其视频输入部分只需要一块视频采集芯片即可， 如ad 公司的a dv7181, 无需外加逻辑控制电路和fifo 缓存， 使硬件系统更为简单和稳定。
dm642 集成的64 位的无缝外部存储器接口（ emif） , 能够实现与外部同步和异步存储器或外设的无缝连接。
dm642 的其他外设包括： 10 mbps/ 100 mbps 的以太网口（ emac） 、多通道音频串口（mcasp） 、主机接口（ hpi） 、多通道缓冲串口（ mcbsp） 以及pci 接口等。
2. 2 系统硬件组成
机载图像实时压缩与处理系统以tms320dm642 高性能通用dsp 芯片为核心， 由视频输入采集模块、图像压缩处理模块、外部存储模块及传输控制接口模块组成。其硬件系统框图如图1 所示。
图1 机载视频图像实时压缩处理系统硬件框图
图像采集模块对输入模拟视频信号进行同步捕获、采集和视频解码。视频解码器输出的数据格式为yuv4: 2:2。视频解码数据通过dma 通道向dm642 vport 通道缓冲单元发送数据， 当采集完一帧数据时产生dma 中断。图像压缩处理模块根据接收到的控制命令将视频解码数据进行实时压缩数理后缓存到存储模块中。存储模块采用32 mb 64 位的sdram, 实现程序和数据的存储。
传输控制接口模块将缓存在sdram 中的待传输码流以256 kb/ s 的恒定速率8 位并行传输至输出端口， 并接收地面发送的控制命令。该模块由fifo 芯片和cpld 组成， fifo 半空时向dsp 发送中断信号。
2. 3 系统工作流程
系统由初始化模块、采集模块、压缩模块、打包编帧模块、存储模块和传输模块组成。其工作流程如图2 所示。
图2 机载图像将压缩处理子系统软件工作流程
初始化模块完成对程序从flash 中导入内存、dsp各端口及解码芯片工作模式的设置及全局数据的申请及初始化， 并启动对视频端口状态的查询。当定时检测到视频端口缓冲区中有数据时， 将端口缓冲区中的原始数据根据接收的控制命令进行指定大小大抽取， 输出yuv4: 2: 0格式的图像数据缓存到外围存储模块中。压缩模块将采集的图像数据进行mpeg-4 压缩。打包、编帧模块将压缩后的mpeg-4 编码数据进行实时打包， 并对打包后的数据进行连续的实时编帧。当数据包缓冲区中无数据时，便在传输帧中插入空数据。编帧完的数据64 位并行缓存到外围sdram 中。在fifo 中断服务程序中， 启动一次dma 传输， 将缓存在sdram 中的帧数据流传输到fifo 中， 实现256 kb/ s 的恒定速率的数据传输。
需要注意的是原始图像和压缩码流在dsp 中的存储。视频端口、编码程序都要访问原始图像， 例如在某一时刻，编码程序访问当前帧图像， 而视频端口正在输入下一帧图像， 为了避免访问冲突， 原始图像在dsp 中采用三缓冲区进行管理。压缩码流由编码程序写入， 根据fifo 状态恒定码率输出， 所以采用环式存储管理协调读写的步调。
2. 4 内存分配
dm642 片内只有256 kb 的存储空间， 因此当前帧、参考帧和当前帧的重建帧都必须放至片外存储器， 压缩码流若被主机读取， 也放至片外。其他数据如程序代码、全局变量、vlc码表、各编码模块产生的中间数据等均可放至片内。
由于cpu 访问片外的速度通常要比访问片内慢几十倍， 片外数据的传输通常成为程序运行时的瓶颈， 即使代码效率很高， 流水线也会因为等待数据而被严重阻塞。解决这一问题的有效方法是用edma 传送数据。程序是逐个宏块进行编码时， 在编码当前宏块的同时， edma 将下一个宏块的数据、用到的参考帧数据由片外传送至片内；当前宏块做完成运动补偿后， edma 将重建后的宏块由片内传送至片外。这样cpu 只对片内数据进行操作， 使得流水线可以顺利进行， 而压缩码流按逐个码字有时间间隔地写入， 可由cpu 直接写至片外。
3 基于dm642 的软件优化技术
为了提高代码的执行效率， 必须充分利用c64x cpu的vl iw 和流水线结构对其进行优化， 使程序无冲突地并行执行[ 6] 。mpeg 4 编码程序中包含大量的循环体， 例如计算量化、dct、半像素插值、运动补偿和构建重建帧等。这些循环体代码并不复杂， 且执行次数频繁， 占据了编码的绝大部分时间， 因此循环体的优化是重点。本文所采取的代码优化为c 语言优化和编写线性汇编两个步骤，主要从消除数据相关性、数据打包和循环体的软件流水3个方面进行优化。
3. 1 针对c语言的优化
c 代码的优化主要依靠开发环境ccs 的编译器完成， 编程者需要合理选择编译选项， 并利用特定的关键字和指令向编译器提供优化信息 。例如关键字rest rict 用来消除数据间的相关性， 编译器从而可以安排语句的并行执行 ; 内联函数_ nasser t 有助于数据的打包处理； 宏指令# pragma mu st _it erat e 告诉编译器有关循环迭代次数的信息， 编码器会根据这一信息进行软件流水。
3. 2 用线性汇编改写关键代码
线性汇编是tms320c6000 特有的一种编程语言， 介于高级语言和汇编语言之间。它可以指定指令用到的寄存器和功能单元， 更易于对数据的打包处理。
线性汇编代码的并行处理和软件流水由汇编优化器完成， 编程者需要熟悉c64x dsp 的cpu 结构和指令集， 认真设计代码并充分利用编译器的反馈信息合理修改代码， 才能写出高质量的线性汇编。本设计中程序主框架采用c 语言编写， 其它各关键部分的代码采用线性汇编实现。
4 结果分析
本压缩系统在对标准foreman 序列、地面人群及道路车辆等视频序列进行压缩测试。对d1 分辨率视频序列能够实现25 帧/ 秒实时的压缩编码， 压缩码率为1. 8 mb/ s, 解码图像视觉效果良好， 经编帧后输出250kb/ s 恒定基带码流。在图像传输中没有出现数据拥塞和丢失现象。有效满足了高清晰机载图像帧察的目的。
5 结束语
本文以tms320dm642 芯片为中心， 详细介绍了机载图像实时压缩系统的设计及mpeg 4 实时编码器的优化。系统经测试实现了高分辨率图像的实时压缩和实时编帧传输， 满足了系统设计需求。本文采用mpeg 4simlpe profile 算法， 在算法方面还有一定的研究空间。
超声波焊接机和热熔焊接机有什么区别？
鼎阳科技成为通用电子测量仪器行业A股上市公司_安捷伦推出Seahorse XF Pro分析仪
网络与CDN联合打造双重加速智能网络
关于继电器逻辑控制系统输出线圈的使用问题
移印工艺流程以及工艺异常分析
基于DSP的机载视频图像实时压缩与处理系统
介绍温度冲击试验箱的高温区和低温区
微星科技携手NVIDIA为用户打造极致体验
区块链技术怎样解决偷税漏税的问题
一文带你看2016谷歌I/O开发者大会 VR只是参考人工智能贯穿
什么是机器视觉柔性供料系统？柔性供料检测的产品有多小？
重庆市紫建电子股份有限公司创业板IPO申请获受理
Facebook将使用人工智能并聘请4000人来筛选广告改进平台安全
特斯拉召回超203万辆车，因自动驾驶系统存在误操作风险
华阳集团旗下两家全资子公司双双获长城汽车荣誉
无界零售·开放共赢！京东专卖店山东招商大会圆满成功！
超声波清洗设备怎么工作最高效?
机顶盒ZXV10系列支持中兴通讯Wi-Fi 6传输QoS方案及全屋智能组网方案
工业机器人的应用将会带给企业更高效的生产
FLIR Si124-PD声波成像仪可减少由局部放电问题导致设备故障和宕机