基于TMS320C6416与FPGA的实时光电图像识别系统
光电混合模式识别以其高速并行处理和无串扰的优点成为实现模式识别实用化和实时化的重要途径，其在目标识别、指纹识别、光纤检测、工业零件识别、汽车牌照识别等领域得到了广泛的研究和应用[1.2]，并取得了很好的识别效果。
但在实际应用中，待识别的目标图像需要经过图像预处理和畸变处理等操作。针对图像的实时处理要求，本文将联合变换相关识别系统与数字信号处理中的双cpu技术相结合，采用“fpga+dsp+arm”架构，研究与设计一种新型的光电混合图像识别系统。利用tms320c6416与fpga完成目标图像的采集与处理，利用arm9处理器s3c2440完成对相关功率谱的采集与目标图像识别，从而实现畸变不变模式识别的快速和准确性。并实现了该系统的智能化和网络化。
提出并设计一种新型的基于双cpu技术的光电图像识别系统，该系统主要由目标图像采集与处理模块、光电相关联合变换模块以及自动识别模块组成。采用tms320c6416与fpga完成目标图像的采集与处理.采用arm9处理器s3c2440完成对相关功率谱的采集与目标图像识别。与传统光电图像识别系统相比，该系统实时性和精度更高，并可实现智能化和网络化。
该光电混合图像识别系统每秒能处理25帧图像，可实现真正的动态图像识别，因而对图像识别有很好的实用性。
1 光电混合图像识别系统
光电混合图像识别系统是基于光电混合联合变换相关器的一种系统，本文提出并设计的光电混合图像识别系统的结构框图如图1所示。
arm9处理器s3c2440与dsp间为主/从方式，dsp与fpga问也为主/从方式。由dsp和fpga组成的目标图像采集与处理模块，将待识别的目标通过摄像头1传输到dsp中，dsp完成对目标图像的预处理和畸变处理等处理过程。
然后，dsp将处理后的目标图像和参考图像构成的联合输入图像实时输出到液晶电视上，联合图像经过激光光束的照射后，经傅里叶变换透镜3后，形成联合图像傅里叶频谱。该频谱经低通滤波后，得到所需的中心频谱[3]，并通过摄像头2接收进入arm9处理器s3c2440，来完成图像频谱的振幅调制及傅里叶逆变换的处理，得到所需互相关结果。由于真目标互相关信号较强，假目标的互相关信号很弱，可以通过设定阈值来判断真假目标图像，即当相关结果大于阈值时，识为真目标，小于阈值时，识为假目标。当判为假目标时，通过通信接口控制dsp继续进行图像采集与处理，实现下一个目标的图像识别，直至判别出真目标。
2 系统设计
该光电图像识别系统主要由目标图像采集与处理模块、光电相关联合变换模块以及自动识别模块组成，采用tms320c6416dsp与fpga来完成目标图像的采集与处理，采用arm9处理器s3c2440来完成对相关功率谱的采集与目标图像识别。
2.1 tms320c6416
c64x是ti公司推出c6000系列dsp中的最新成员，采用了velociti1.2结构，其主要在内部cpu功能单元、通用寄存器组及其数据通路等方面进行了较大的改进。c64x具有8个相互独立的功能单元，其中包含6个支持单周期内单32位、双16位或4个8位数据操作的算术逻辑单元，以及2个支持单周期双16×16位或4个8×8位数据操作的乘法器;内部cpu的通用寄存器组含有32个32位寄存器，支持8位和64位定点数据，并且寄存器a0也可用作条件寄存器;通用寄存器组内部有两条交叉通路，且都可以通过交叉通路访问另一侧的寄存器组;c64x还能够利用非排列的存取指令访问任意字节边界的字或双字。
与c62x相比，c64x平均每条指令在每个时钟周期内的运算能力增加了7.6倍。由于c64x支持双16位和8位数据以及时钟频率的提高，使得其图像处理能力比c62x提高了15倍左右。c64x为程序和地址两级片内存储器结构。一级存储器由程序(l1p)和数据(l1d)缓存组成。其中l1p为512组32b的16kb直接映像式缓存，l1d为128组64b的16kb两路组相联式缓存。c64x具有与c621x、c67lx不同的存储体结构，其存储体位于32位边界，因此对于相同存储体访问时，地址总线的3lsbs相同。另外，c64x具有丰富的外设资源，其中包括：64通道的增强型存储器直接存取(edma)控制器;64位/16位数据总线的外部存储器接口emifa/emifb;33mhz、32位pci接口和针对异步传输模式的utopla接口;16位或32位主机端接口;3个多通道缓冲串行口等。
内部结构的改进、并行处理能力的提高及丰富的外设资源，使得c64x在图像处理领域具有巨大的开发潜力。为提高系统实时性能，本文采用主频400 mhz的tms320c6416glz作为目标图像处理单元来设计该识别系统。
2.2 目标图像采集与处理模块
该模块主要由dsp处理器tms320c6416和fpga来实现，dsp和fpga之间采用主/从方式。其中，dsp主要完成对目标图像的处理及控制fpga采样信号的启动。fpga则完成对目标图像的采样控制过程，其硬件结构图如图2所示。
由摄像头拍摄到的图像首先进行信号调理，即对图像进行嵌位、锬相、放大以及同步信号分离。然后，由dsp启动对图像信号的采样，即控制fpga进行图像的采样，同时通过中断查询方式(ftnt)，监控fpga发出的采样完成信号。
采用ti公司的tlc5510芯片来进行高速a/d采样。tlc5510为5v电源、8位、20msps的高速并行adc，最大量程为2v。为了达到实时处理的目的，本系统只采集灰度图像，ccd图像的帧频为30hz，帧图像分辨率为512×512像素，每个像素点8位量化。
fpga在行(hs)、场(vs)同步信号和时钟信号的驱动下，产生a/d采样的控制信号来控制采样过程，同时，fpga提供存储器地址及片选与读写控制信号，数字信号按照该地址并在ram_w有效时，写入fpga存储器ram中，为图像预处理作好准备。
采样完成后，fpga产生外部中断，向dsp发出中断请求，dsp进入中断处理：fpga提供ram的地址信号，并在ram_r有效时，dsp将ram中的采样数据以edma方式读至同步动态存储器sdram中。sdram为4balaks×512 kb×32b，时钟主频为166 mhz，这样就保证了工作时所需的存储容量和实时性的要求。数据传输完毕，dsp启动fpga进行下一帧图像的采样，fpga再次进入采样控制处理过程，dsp则对目标图像数据进行预处理和畸变等处理。
在完成对目标图像的数据处理后，dsp将处理后目标图像和存储在rom中的参考图像构成的联合输入图像实时输出到液晶电视上的约定区域内，以便进行光信息处理。
2.3 自动识别模块
自动识别模块采用三星公司arm处理器s3c2440来完成。s3c2440处理器是基于arm920t内核的32位risc嵌入式芯片。该arm内核的cpu主频最高可达533mhz，此处使用499mhz，它除了集成3个串口、sd卡控制器、usb host控制器、lcd控制器、nand flash控制器以及实时时钟外，还增添了工业控制总线(can)、camera控制器(数码摄像机接口)、pcmcia接口(可接无线网卡或调制解调器及其他外设)。另外，用1个96针总线插槽引出cpu的局部总线，可外接其他总线设备并与多方通信。目前，s3c2440已被广泛应用于工业控制、多媒体处理、消费类电子及网络通信等领域。
s3c2440处理器的接口框图如图3所示。s3c2440内置camera控制器，并支持最大为4096×4096像素的图像输入，因此本系统对联合频谱图像的获取选用130万像素摄像头进行视频采集与传输，通过catnera控制器完成对频谱图像的数据转换与存储，然后对频谱进行振幅调制和傅里叶反变换，得到互相关结果，从而进行判别与处理。
图3中，64mb nand flash采用三星的。k9f1208，用于存放应用程序;2mb的nor flash采用amd的am29lv160db，用于存放bootloader及kernel;64mbsdram采用现代的hy57v561620;32kb fram(铁电存储器)，减少对flash的频繁操作，延长flash寿命，同时防止掉电时数据丢失。
s3c2440作为主控处理器，还负责与上位机进行通信，并可通过网卡与internet进行互联，实现该系统的智能化与网络化。另外，还可通过usb接口进行数据的存取。
2.4 系统软件主流程
该光电混合图像识别系统工作主流程如图4所示。arm和dsp在完成初始化后，通过hpi口加载dsp程序并通过中断激活dsp运行;dsp在工作后启动fpga，fpga控制a/d采样芯片进行实时图像采集。
3 结论
该识别系统图像处理能力达25帧/s，因而实现了真正动态图像的图像识别。与传统光电图像识别系统相比，该系统实时性和精度更高，并实现了智能化和网络化，有较高的实用价值。
物通博联工业物联网解决方案，助力工厂实现设备远程运维
iPhone XS和RTX 2080Ti性能都很好，究竟该怎么选？
【曦哥论币】3.19主流货币比特币早间行情分析
新冠大流行刺激UV-CLED消毒应用需求增长，将持续到2022年
ETAS和PLC2 Design合作推出全新整体解决方案
基于TMS320C6416与FPGA的实时光电图像识别系统
AI提取图片里包含的文字信息-解决文字无法复制的痛点
代客泊车将是自动驾驶率先商业化应用之一?
线路板是用来干嘛的
教你用纸板做一把喷钱枪
3G平台大发展--智能家居演绎精彩生活
日本将为中国三大流行支付服务提供加密货币支付
关于LCD投影仪传感器产品特点
电源滤波器在音响电路中是如何发挥作用的？
区块链正在引入分片技术来解决可伸缩性和延迟问题
高通骁龙480性能如何 骁龙480扮演真正意义上的“价格杀手”
左手平台，右手标识：中天互联助力工业互联网规模应用
2018年智能家居市场火药十足，或将是智能家居市场爆发的前兆
如何提高国产PLC运行效率，缩短完成相同任务时的执行时间
卡西欧发布新款智能手表 搭载最新WearOS
但在实际应用中，待识别的目标图像需要经过图像预处理和畸变处理等操作。针对图像的实时处理要求，本文将联合变换相关识别系统与数字信号处理中的双cpu技术相结合，采用“fpga+dsp+arm”架构，研究与设计一种新型的光电混合图像识别系统。利用tms320c6416与fpga完成目标图像的采集与处理，利用arm9处理器s3c2440完成对相关功率谱的采集与目标图像识别，从而实现畸变不变模式识别的快速和准确性。并实现了该系统的智能化和网络化。
提出并设计一种新型的基于双cpu技术的光电图像识别系统，该系统主要由目标图像采集与处理模块、光电相关联合变换模块以及自动识别模块组成。采用tms320c6416与fpga完成目标图像的采集与处理.采用arm9处理器s3c2440完成对相关功率谱的采集与目标图像识别。与传统光电图像识别系统相比，该系统实时性和精度更高，并可实现智能化和网络化。
该光电混合图像识别系统每秒能处理25帧图像，可实现真正的动态图像识别，因而对图像识别有很好的实用性。
1 光电混合图像识别系统
光电混合图像识别系统是基于光电混合联合变换相关器的一种系统，本文提出并设计的光电混合图像识别系统的结构框图如图1所示。
arm9处理器s3c2440与dsp间为主/从方式，dsp与fpga问也为主/从方式。由dsp和fpga组成的目标图像采集与处理模块，将待识别的目标通过摄像头1传输到dsp中，dsp完成对目标图像的预处理和畸变处理等处理过程。
然后，dsp将处理后的目标图像和参考图像构成的联合输入图像实时输出到液晶电视上，联合图像经过激光光束的照射后，经傅里叶变换透镜3后，形成联合图像傅里叶频谱。该频谱经低通滤波后，得到所需的中心频谱[3]，并通过摄像头2接收进入arm9处理器s3c2440，来完成图像频谱的振幅调制及傅里叶逆变换的处理，得到所需互相关结果。由于真目标互相关信号较强，假目标的互相关信号很弱，可以通过设定阈值来判断真假目标图像，即当相关结果大于阈值时，识为真目标，小于阈值时，识为假目标。当判为假目标时，通过通信接口控制dsp继续进行图像采集与处理，实现下一个目标的图像识别，直至判别出真目标。
2 系统设计
该光电图像识别系统主要由目标图像采集与处理模块、光电相关联合变换模块以及自动识别模块组成，采用tms320c6416dsp与fpga来完成目标图像的采集与处理，采用arm9处理器s3c2440来完成对相关功率谱的采集与目标图像识别。
2.1 tms320c6416
c64x是ti公司推出c6000系列dsp中的最新成员，采用了velociti1.2结构，其主要在内部cpu功能单元、通用寄存器组及其数据通路等方面进行了较大的改进。c64x具有8个相互独立的功能单元，其中包含6个支持单周期内单32位、双16位或4个8位数据操作的算术逻辑单元，以及2个支持单周期双16×16位或4个8×8位数据操作的乘法器;内部cpu的通用寄存器组含有32个32位寄存器，支持8位和64位定点数据，并且寄存器a0也可用作条件寄存器;通用寄存器组内部有两条交叉通路，且都可以通过交叉通路访问另一侧的寄存器组;c64x还能够利用非排列的存取指令访问任意字节边界的字或双字。
与c62x相比，c64x平均每条指令在每个时钟周期内的运算能力增加了7.6倍。由于c64x支持双16位和8位数据以及时钟频率的提高，使得其图像处理能力比c62x提高了15倍左右。c64x为程序和地址两级片内存储器结构。一级存储器由程序(l1p)和数据(l1d)缓存组成。其中l1p为512组32b的16kb直接映像式缓存，l1d为128组64b的16kb两路组相联式缓存。c64x具有与c621x、c67lx不同的存储体结构，其存储体位于32位边界，因此对于相同存储体访问时，地址总线的3lsbs相同。另外，c64x具有丰富的外设资源，其中包括：64通道的增强型存储器直接存取(edma)控制器;64位/16位数据总线的外部存储器接口emifa/emifb;33mhz、32位pci接口和针对异步传输模式的utopla接口;16位或32位主机端接口;3个多通道缓冲串行口等。
内部结构的改进、并行处理能力的提高及丰富的外设资源，使得c64x在图像处理领域具有巨大的开发潜力。为提高系统实时性能，本文采用主频400 mhz的tms320c6416glz作为目标图像处理单元来设计该识别系统。
2.2 目标图像采集与处理模块
该模块主要由dsp处理器tms320c6416和fpga来实现，dsp和fpga之间采用主/从方式。其中，dsp主要完成对目标图像的处理及控制fpga采样信号的启动。fpga则完成对目标图像的采样控制过程，其硬件结构图如图2所示。
由摄像头拍摄到的图像首先进行信号调理，即对图像进行嵌位、锬相、放大以及同步信号分离。然后，由dsp启动对图像信号的采样，即控制fpga进行图像的采样，同时通过中断查询方式(ftnt)，监控fpga发出的采样完成信号。
采用ti公司的tlc5510芯片来进行高速a/d采样。tlc5510为5v电源、8位、20msps的高速并行adc，最大量程为2v。为了达到实时处理的目的，本系统只采集灰度图像，ccd图像的帧频为30hz，帧图像分辨率为512×512像素，每个像素点8位量化。
fpga在行(hs)、场(vs)同步信号和时钟信号的驱动下，产生a/d采样的控制信号来控制采样过程，同时，fpga提供存储器地址及片选与读写控制信号，数字信号按照该地址并在ram_w有效时，写入fpga存储器ram中，为图像预处理作好准备。
采样完成后，fpga产生外部中断，向dsp发出中断请求，dsp进入中断处理：fpga提供ram的地址信号，并在ram_r有效时，dsp将ram中的采样数据以edma方式读至同步动态存储器sdram中。sdram为4balaks×512 kb×32b，时钟主频为166 mhz，这样就保证了工作时所需的存储容量和实时性的要求。数据传输完毕，dsp启动fpga进行下一帧图像的采样，fpga再次进入采样控制处理过程，dsp则对目标图像数据进行预处理和畸变等处理。
在完成对目标图像的数据处理后，dsp将处理后目标图像和存储在rom中的参考图像构成的联合输入图像实时输出到液晶电视上的约定区域内，以便进行光信息处理。
2.3 自动识别模块
自动识别模块采用三星公司arm处理器s3c2440来完成。s3c2440处理器是基于arm920t内核的32位risc嵌入式芯片。该arm内核的cpu主频最高可达533mhz，此处使用499mhz，它除了集成3个串口、sd卡控制器、usb host控制器、lcd控制器、nand flash控制器以及实时时钟外，还增添了工业控制总线(can)、camera控制器(数码摄像机接口)、pcmcia接口(可接无线网卡或调制解调器及其他外设)。另外，用1个96针总线插槽引出cpu的局部总线，可外接其他总线设备并与多方通信。目前，s3c2440已被广泛应用于工业控制、多媒体处理、消费类电子及网络通信等领域。
s3c2440处理器的接口框图如图3所示。s3c2440内置camera控制器，并支持最大为4096×4096像素的图像输入，因此本系统对联合频谱图像的获取选用130万像素摄像头进行视频采集与传输，通过catnera控制器完成对频谱图像的数据转换与存储，然后对频谱进行振幅调制和傅里叶反变换，得到互相关结果，从而进行判别与处理。
图3中，64mb nand flash采用三星的。k9f1208，用于存放应用程序;2mb的nor flash采用amd的am29lv160db，用于存放bootloader及kernel;64mbsdram采用现代的hy57v561620;32kb fram(铁电存储器)，减少对flash的频繁操作，延长flash寿命，同时防止掉电时数据丢失。
s3c2440作为主控处理器，还负责与上位机进行通信，并可通过网卡与internet进行互联，实现该系统的智能化与网络化。另外，还可通过usb接口进行数据的存取。
2.4 系统软件主流程
该光电混合图像识别系统工作主流程如图4所示。arm和dsp在完成初始化后，通过hpi口加载dsp程序并通过中断激活dsp运行;dsp在工作后启动fpga，fpga控制a/d采样芯片进行实时图像采集。
3 结论
该识别系统图像处理能力达25帧/s，因而实现了真正动态图像的图像识别。与传统光电图像识别系统相比，该系统实时性和精度更高，并实现了智能化和网络化，有较高的实用价值。
物通博联工业物联网解决方案，助力工厂实现设备远程运维
iPhone XS和RTX 2080Ti性能都很好，究竟该怎么选？
【曦哥论币】3.19主流货币比特币早间行情分析
新冠大流行刺激UV-CLED消毒应用需求增长，将持续到2022年
ETAS和PLC2 Design合作推出全新整体解决方案
基于TMS320C6416与FPGA的实时光电图像识别系统
AI提取图片里包含的文字信息-解决文字无法复制的痛点
代客泊车将是自动驾驶率先商业化应用之一?
线路板是用来干嘛的
教你用纸板做一把喷钱枪
3G平台大发展--智能家居演绎精彩生活
日本将为中国三大流行支付服务提供加密货币支付
关于LCD投影仪传感器产品特点
电源滤波器在音响电路中是如何发挥作用的？
区块链正在引入分片技术来解决可伸缩性和延迟问题
高通骁龙480性能如何 骁龙480扮演真正意义上的“价格杀手”
左手平台，右手标识：中天互联助力工业互联网规模应用
2018年智能家居市场火药十足，或将是智能家居市场爆发的前兆
如何提高国产PLC运行效率，缩短完成相同任务时的执行时间
卡西欧发布新款智能手表 搭载最新WearOS