MB86S02视频图像传感器在FPGA的控制下的数据变化
实时视频图像处理中，低层的预处理算法处理的数据量大，对处理速度要求高，但算法相对比较简单，适合于用fpga进行硬件实现，这样能兼顾速度及灵活性。高层的处理算法结构复杂，适用于运算速度高、寻址方式灵活、通信机制强的dsp芯片宋实现。
dsp+fpga架构的最大特点是结构灵活、有较强的通用性、适合于模块化设计，从而能够提高算法效率，同时其开发周期短、系统易于维护和升级，适合于实时视频图像处理。
系统采用模块化的设计方法，将整个系统划分为三部分：视频采集单元、视频处理单元和视频传输单元。
整个系统以fpga作为核心控制单元并完成视频信号的中值滤波工作;以dsp作为整个系统的核心处理单元对采集的视频图像信息进行jpeg压缩;在视频传输单元设计了以pdiusbd12芯片为基础的usb总线，负责视频信号的传输。
1 系统硬件总体架构
一个完整的视频处理系统，主要由视频采集单元、视频处理单元及视频传输单元三部分组成。在进行系统设计时须确保各部分的无缝衔接。
图像采集单元由fpga和mb86s02视频采集芯片组成，包括视频信号的采集和预处理，把输入的视频信号转换成系统能够处理的数字图像数据，并按照一定的格式存储在确定的存储区域。图像处理单元是本系统的核心，对图像数据进行压缩处理，实现系统要达到的功能。图像传输单元采用fpga+usb的方式实现视频数据的传输，通过基于pdiusbd12芯片的usb总线，将压缩后的视频图像信息发送到接收端，在接收端使用在pc上编写的应用程序将图像解压缩并显示出来。
整个硬件系统由fpga和dsp两个分系统组成，fpga作为视频采集单元，将采集到的视频信号预处理后传给dsp，dsp作为图像处理单元是本系统的核心，对fpga预处理后的视频图像信息进行jpeg压缩处理，dsp单元的性能决定着整个系统的性能，dsp完成图像处理任务后，将把结果返回给fpga，fpga将经过压缩处理后的图像信息写入接口控制芯片的数据缓冲区，由接口控制芯片负责信息的传输，系统总体框图如图1所示。
图1 系统总体结构图
如图1所示，mb86s02视频图像传感器在fpga的控制下进行视频图像信息的采集，在收到pc机的采集命令后mb86s02开始视频信号的采集fpga作为系统的核心控制单元不仅负责视频图像的采集，而且负责视频图像信息的预处理和系统各单元模块之间的数据交互。针对视频图像数据量大的特点，为了保证系统的实时性要求，系统采用大容量的片外sdramr对采集到的视频图像信息进行缓存，sdram控制器由fpga实现，视频图像信息经过sdram缓存后首先要由fpga对其进行滤波处理，以消除图像信息中的噪声干扰，本系统中采用中值滤波的方式对采集到的视频信息进行处理，滤波后的数据通过fpga内部fifo进入dsp进行下一步的压缩处理。dsp上电后首先进行引导程序的自加载，等待fpga发送请求，在收到fpga的请求后，dsp建立edma通道从fpga获取视频数据，存满一帧后，开始对视频图像进行jpeg压缩处理，压缩处理后的视频图像信息经过fifo缓存后，在fpga的控制下写入usb接口控制器的数据缓存区，等待pc机的读数请求，usb接口控制器在收到pc机的读数请求后将数据写入pdiusbd12的端口1，以便pc机下一步读取数据。
2 系统软件总体设计
系统的软件设计根据硬件结构的总体划分，也可以分为两大部分来描述。整个系统的运行如图2所示，fpga和dsp各自的程序独立运行，通过中断信号完成数据的实时交互。fpga向dsp方向的指令是通过fpga发送一个edma请求，dsp通过响应edma请求，建立edma通道，开始从fifo中进行预处理后数据的读取，dsp向fpga传输数据时，通过向fpga发送一个中断信号，让其从fifo中把压缩后的图像数据读出来。
图2 系统软件软件流程图
如图2所示，整个系统工作流程可以简单描述如下：系统上电后，首先dsp由flash实现自举，并运行引导程序，之后转入edma等待状态，fpga初始化后等待外部图像采集命令，收到图像采集命令后开始进行图像采集，并对采集到的图像进行预处理，预处理后的图像经过fifo缓冲，在存储一定量的数据之后，fpga通过半满信号向dsp发送edma请求，等待dsp响应，dsp一旦收到来自fpga的edma请求，立即建立edma通道，从fifo中读取数据到l2存储器，存满一帧图像后dsp开始图像压缩，等待一幅图像压缩完成之后，dsp会向fpga发送中断信号，fpga在收到中断信号后开始从fifo中读取压缩后的图像数据。一帧数据读完后，判断编码信号是否有效，如果有效则按同样的规则对下一帧图像进行压缩，如果无效则通知dsp结束。
3 结论
本设计方案已经经过了硬件验证，达到了预定的设计要求，实现了大数据量的实时处理。
系统体积仅为70×70mm，功耗小于5w，中值滤波速率平均20f/s，jpeg压缩速率平均25f/s以上。不仅满足了视频处理系统的实时性要求，且体积小、功耗低，而且基于fpga的可编程性，本系统具有良好的灵活性和扩展性。
TDA7253引脚功能的电压资料参数
经历了2018年的AI争夺 BAT各自在人工智能上的布局开始清楚
美国运营商T-Mobile将以265亿美元吞并Sprint
你还在为存储烦恼？英特尔数据存储的解决方案详细资料概述
用骁龙660挑战骁龙835 小米6、OPPO R11等三款3000元旗舰手机如何选
MB86S02视频图像传感器在FPGA的控制下的数据变化
拆解2018年自动驾驶汽车的成与败
废水氧化处理设备PLC数据采集远端监控系统解决方案
三菱PLC不同指示灯的故障分析
关于ATX-100S高速导通线束测试仪的简单介绍
虹膜识别优点诸多，部分成果已经达到国际先进水平
德国控创集团采用Mentor Graphics的电源完整性解
深入了解ProWriter软件的界面参数
区块链技术是否已经足够完善
智慧城市市场未来四年将增长四倍
双管振棒料位开关结构改进的必要性
建发集团 | 爱数助力世界500强企业奏响数据管理创新乐章
联发科技推出全球最完整3D智能机解决方案—酷3D平台
New Flyer推美国首辆Level 4自动驾驶关键词
康宁扩大美国肯塔基州制造设施 支持Gorilla(R)玻璃增
dsp+fpga架构的最大特点是结构灵活、有较强的通用性、适合于模块化设计，从而能够提高算法效率，同时其开发周期短、系统易于维护和升级，适合于实时视频图像处理。
系统采用模块化的设计方法，将整个系统划分为三部分：视频采集单元、视频处理单元和视频传输单元。
整个系统以fpga作为核心控制单元并完成视频信号的中值滤波工作;以dsp作为整个系统的核心处理单元对采集的视频图像信息进行jpeg压缩;在视频传输单元设计了以pdiusbd12芯片为基础的usb总线，负责视频信号的传输。
1 系统硬件总体架构
一个完整的视频处理系统，主要由视频采集单元、视频处理单元及视频传输单元三部分组成。在进行系统设计时须确保各部分的无缝衔接。
图像采集单元由fpga和mb86s02视频采集芯片组成，包括视频信号的采集和预处理，把输入的视频信号转换成系统能够处理的数字图像数据，并按照一定的格式存储在确定的存储区域。图像处理单元是本系统的核心，对图像数据进行压缩处理，实现系统要达到的功能。图像传输单元采用fpga+usb的方式实现视频数据的传输，通过基于pdiusbd12芯片的usb总线，将压缩后的视频图像信息发送到接收端，在接收端使用在pc上编写的应用程序将图像解压缩并显示出来。
整个硬件系统由fpga和dsp两个分系统组成，fpga作为视频采集单元，将采集到的视频信号预处理后传给dsp，dsp作为图像处理单元是本系统的核心，对fpga预处理后的视频图像信息进行jpeg压缩处理，dsp单元的性能决定着整个系统的性能，dsp完成图像处理任务后，将把结果返回给fpga，fpga将经过压缩处理后的图像信息写入接口控制芯片的数据缓冲区，由接口控制芯片负责信息的传输，系统总体框图如图1所示。
图1 系统总体结构图
如图1所示，mb86s02视频图像传感器在fpga的控制下进行视频图像信息的采集，在收到pc机的采集命令后mb86s02开始视频信号的采集fpga作为系统的核心控制单元不仅负责视频图像的采集，而且负责视频图像信息的预处理和系统各单元模块之间的数据交互。针对视频图像数据量大的特点，为了保证系统的实时性要求，系统采用大容量的片外sdramr对采集到的视频图像信息进行缓存，sdram控制器由fpga实现，视频图像信息经过sdram缓存后首先要由fpga对其进行滤波处理，以消除图像信息中的噪声干扰，本系统中采用中值滤波的方式对采集到的视频信息进行处理，滤波后的数据通过fpga内部fifo进入dsp进行下一步的压缩处理。dsp上电后首先进行引导程序的自加载，等待fpga发送请求，在收到fpga的请求后，dsp建立edma通道从fpga获取视频数据，存满一帧后，开始对视频图像进行jpeg压缩处理，压缩处理后的视频图像信息经过fifo缓存后，在fpga的控制下写入usb接口控制器的数据缓存区，等待pc机的读数请求，usb接口控制器在收到pc机的读数请求后将数据写入pdiusbd12的端口1，以便pc机下一步读取数据。
2 系统软件总体设计
系统的软件设计根据硬件结构的总体划分，也可以分为两大部分来描述。整个系统的运行如图2所示，fpga和dsp各自的程序独立运行，通过中断信号完成数据的实时交互。fpga向dsp方向的指令是通过fpga发送一个edma请求，dsp通过响应edma请求，建立edma通道，开始从fifo中进行预处理后数据的读取，dsp向fpga传输数据时，通过向fpga发送一个中断信号，让其从fifo中把压缩后的图像数据读出来。
图2 系统软件软件流程图
如图2所示，整个系统工作流程可以简单描述如下：系统上电后，首先dsp由flash实现自举，并运行引导程序，之后转入edma等待状态，fpga初始化后等待外部图像采集命令，收到图像采集命令后开始进行图像采集，并对采集到的图像进行预处理，预处理后的图像经过fifo缓冲，在存储一定量的数据之后，fpga通过半满信号向dsp发送edma请求，等待dsp响应，dsp一旦收到来自fpga的edma请求，立即建立edma通道，从fifo中读取数据到l2存储器，存满一帧图像后dsp开始图像压缩，等待一幅图像压缩完成之后，dsp会向fpga发送中断信号，fpga在收到中断信号后开始从fifo中读取压缩后的图像数据。一帧数据读完后，判断编码信号是否有效，如果有效则按同样的规则对下一帧图像进行压缩，如果无效则通知dsp结束。
3 结论
本设计方案已经经过了硬件验证，达到了预定的设计要求，实现了大数据量的实时处理。
系统体积仅为70×70mm，功耗小于5w，中值滤波速率平均20f/s，jpeg压缩速率平均25f/s以上。不仅满足了视频处理系统的实时性要求，且体积小、功耗低，而且基于fpga的可编程性，本系统具有良好的灵活性和扩展性。
TDA7253引脚功能的电压资料参数
经历了2018年的AI争夺 BAT各自在人工智能上的布局开始清楚
美国运营商T-Mobile将以265亿美元吞并Sprint
你还在为存储烦恼？英特尔数据存储的解决方案详细资料概述
用骁龙660挑战骁龙835 小米6、OPPO R11等三款3000元旗舰手机如何选
MB86S02视频图像传感器在FPGA的控制下的数据变化
拆解2018年自动驾驶汽车的成与败
废水氧化处理设备PLC数据采集远端监控系统解决方案
三菱PLC不同指示灯的故障分析
关于ATX-100S高速导通线束测试仪的简单介绍
虹膜识别优点诸多，部分成果已经达到国际先进水平
德国控创集团采用Mentor Graphics的电源完整性解
深入了解ProWriter软件的界面参数
区块链技术是否已经足够完善
智慧城市市场未来四年将增长四倍
双管振棒料位开关结构改进的必要性
建发集团 | 爱数助力世界500强企业奏响数据管理创新乐章
联发科技推出全球最完整3D智能机解决方案—酷3D平台
New Flyer推美国首辆Level 4自动驾驶关键词
康宁扩大美国肯塔基州制造设施 支持Gorilla(R)玻璃增