新型嵌入式机器视觉系统的设计研究
机器视觉系统是一种非接触式的光学传感系统。它同时集成软硬件，能够自动地从所采集到的图像中获取信息或者产生控制动作。自起步发展到现在，机器视觉已有15年的历史，主要经历了数字电路组成、pc机和输出设备组成、嵌入式三个阶段，其中，嵌入式机器视觉系统依托专业计算机技术，具有实时多任务操作系统、高效压缩芯片和功能强大的微处理器，可将视频压缩、传输与处理工作全部内置到芯片上，通过内部处理后可以直接连入以太网或广域网，完成网络实时远程监控，是目前的研究热点之一。
在国内外研究中，嵌入式机器视觉系统实现方式主要有三种：
（1）基于标准总线，采用dsp作为运算和控制处理器的系统。dsp芯片虽然能够处理大量信息和高速运行，但其i/o接口单一，不易扩展，控制能力较弱，尚存在一定局限性。
（2）基于dsp+fpga的机器视觉系统。fpga与dsp的结合，可实现宽带信号处理，大大提高信号处理速度，但fpga使用的是硬件描述语言，其算法开发具有很大的难度，功能实现由硬件控制，系统受环境影响较大。
（3）采用arm微处理器或采用arm+dsp构建方式的机器视觉系统，这种构建方式人机交互功能强大，集成度高、实时性好、支持多任务，但该系统中arm与dsp的数据交换方法仍采用外部电路连接，增加了系统的不稳定性。
综合上述技术方案的优点和缺点，本文提出了一种新型机器视觉系统，实现图像信息的高速采集与存储。
其核心芯片选取ti公司最新生产的先进的双核嵌入式芯片，将arm处理器和dsp处理器集成在一个芯片中，通过软件编程即完成arm与dsp的协调工作。由该芯片构建开发的机器视觉处理系统，凭借植入linux系统的arm处理器的优异的控制性能，配合dsp的强大运算处理能力将保证系统拥有良好的实时性和稳定性，可以为机器视觉的研究和应用提供很好的视频采集与处理硬件平台。
1、系统功能
本系统为一高速图像数据采集存储系统，通过软硬件设计能够实现：两路分辨率640×480，帧频60 f/s，12 b/pixel；一路分辨率1 024×1 024，帧频60 f/s，12 b/pixel三路输入信号实时采集。实时无压缩存储。
如图1所示，系统通过串口控制图像传感器，使三路图像数据信号、时钟以及各种同步信号按要求输入，系统依次进行图像信号的采集、数据处理、存储。系统利用自带的接口可实现显示、上位机通信、键盘控制等更多的功能，能够实现友好的人机对话。
2、硬件设计
本系统选取ti公司达芬奇系列最新的tms320dm8168芯片。此芯片集成了1 ghz armcortex-a8、1 ghz ti c674x浮点dsp、若干二代可编程高清视频影像协处理器、一个创新型高清视频处理子系统（hdvpss）以及综合编解码器，支持包括高清分辨率的 h.264、mpeg-4以及vc1.并且包含千兆以太网、pci express、sata2、ddr2、ddr3、usb 2.0、mmc/sd、hdmi以及dvi等多种接口，可支持更多功能的扩展和复杂应用。
利用该芯片设计并实现两路或三路不同分辨率的图像信号的采集、处理与显示，硬件原理图如图2所示。实现该系统的开发与设计所涉及的硬件模块有：图像采集接口模块、图像采集模块、图像存储模块、外围接口模块。
2.1图像采集接口模块
作为图像传感器和高速采集系统的连接模块，该模块可对usb接口相机或camera link接口相机进行图像采集与控制。usb接口连接十分方便，由于系统具有usb外围接口，按照usb标准协议连接即可。cameralink接口具有开放式的接口协议，使得不同厂家既能保持产品的差异性，又能互相兼容，因此系统中的图像采集接口模块采用了camera link接口协议。该模块分别使用了ds90cr288a、ds90lv049、ds90lv047完成图像传感器的控制、图像信息的采集及图像传感器与图像采集系统的双向通信。
2.2图像采集模块
tms320dm8168的hdvpss（hd video processingsubsystem）提供了视频输入接口和视频输出接口。视频输入接口提供了外部图像设备（如图像传感器、视频解码器等）的接入。
hdvpss可支持高达3个60 f/s的1080p通道、同时支持16个通道的cif数据流的h.264高画质d1编码与8通道d1解码；支持2个独立的视频捕捉输入端口，每个视频输入端口支持缩放、像素格式转换。两个视频输入捕捉端口均能以1个16 b输入通道（带分离的y和cb/cr输入），或2个时钟独立的8 b输入通道操作（带交织的y/c数据输入）。第一个视频输入端口能以24 b模式操作以支持rgb捕捉。所有采集模式捕捉时钟高达165 mhz，可满足高速率的图像采集。
高清视频处理子系统（hdvpss）有两个独立视频捕捉输入端口vip0与vip1.vip0可配置成24 b、16 b、和两个独立的8 b模式，vip1可配置成16 b、和两个独立的8 b.从捕捉频率和各种配置模式可看出，针对不同的流量，可以有多种实现方法。为了存储设计简单，本方案将vip0配置为24 b进行采集。在此模式下，最高流量为165m×24 8 = 495 mb/s，可以满足流量要求。
从最高捕捉时钟可知，每次采集间隔在1 165m，约为6.1 ns.经计算，也为了设计方便，拟采用三个帧频均为200 f/s的base配置的camera link相机，帧频控制均为外部触发方式，该camera link相机一次输出两个像素，每像素12 b，即2×12 b，刚好可以和vip0的24 b匹配采集。以三路信号分时采集为例，如图3所示，3路信号的采集方法为3个相机轮流采集，即一个循环内每个相机各采一帧，这就需要实现3路分时采集的时序信号。由定时器产生一个1/200 s的脉宽，经延时环节使帧频高电平分时分路送入三个相机；3路采集信号时序关系为一个相机不进行延时，一个相机延时1/200 s，最后一个延时2/200 s。
相机通过ds90lv047a收到指令后，将拍摄到的图像数据分为4路lvds数据信号和1路lvds时钟信号，通过接口连接器mdr26传输到ds90cr288a；ds90cr288a将串行数据转换成28路并行信号和1路随路时钟信号，并传送至tms320dm8168视频捕捉端口vip0进行采集。
2.3图像存储模块
从上述设计方案，系统存储速率约为160 mb/s，数据量较大，可选择大容量、高速的固态硬盘，通过其sata2接口写入。
数据采集结束后，通过配置hdvpss子系统将数据送入vpdma，最后转入ddr内存，当ddr内存的数据量达到设定的数据量时产生中断，中断发生后，根据存放地址启动内存和固态硬盘之间的dma传输，将采集的图像通过sata2接口存储在ssd上，实现数据存储。
然后启动定时器产生下一个帧频脉冲，开始下一周期的数据采集。
外部扩展存储器选取系统支持的ddr3（1 600）存储器。按照系统存储控制器位宽32 b来算，内存速率可达32/8×1 600m=6.4 gb/s.在该模式下，采集和存储可并行处理。缓存所采集的数据移动到ddr3内存，其速率远高于端口采集的每秒数据量。因为该方案的采集方式是每帧轮流采集，并且帧内数据已按顺序紧凑排列，可大幅减少数据的重排工作，仅需去除一些辅助数据。采集系统将其余相关信号全部置成一帧一行的形式，让相机的时钟信号与系统采集端口的时钟信号通信，图像信号前有少量的辅助数据，设置dma起始地址时直接跳过辅助数据。所以在本系统几乎不运行程序的情况下，固态硬盘可以最少有80%的时间占据dma控制权进行内存图像数据的存储。按所选取的硬盘的持续写入速率250 mb/s来算，250×0.8=200 mb/s大于160 mb/s，所以1 s采集的数据可以进行实时存储。数据上传后，可以选择清除原有数据，释放硬盘空间。
2.4外围接口模块
基于tms320dm8168芯片丰富的外设接口，本系统能够灵活的进行外部接口设计来控制外围设备，并实现与外部处理器的通信功能。根据需求可供选取的接口有：2个具有gmii和mdio接口的千兆位以太网mac（10 mb/s，100 mb/s，1 000 mb/s）；2个具有集成2.0 phy的usb端口；双ddr2/3 sdram接口等，可参考图2。
tms320dm8168的两个usb口可满足将采集的图像数据上传给上位机时连接键盘鼠标，lcd、vga接口可用来直接显示图像。串口亦可用来同上位机进行通信，且可用来控制本设计方案用到的camera link相机。千兆网接口以其超高的速率可满足图像数据的高速传输。
上述技术的实现主要通过软件编程驱动外设接口来实现，具体方案见软件设计。
3、软件设计
本系统采用linux操作系统，带有友好的界面，使操作更加灵活自如，能运行多任务。可以通过界面进行相机控制、图像的采集、停止、显示、图像上传等。这部分的开发可由两部分组成，移植和自主开发。软件设计如图4所示。
3.1移植的程序
移植的程序包括linux内核、网卡驱动、usb 2.0驱动、lcd驱动、串口驱动、vga驱动、sata2驱动。在这个方面，ti公司提供了很好的支持，有专门针对dm8168的linux操作系统，版本为linux 2.6.37，可以通过ti公司提供的linux ez软件开发套件（ez sdk）进行开发。
3.2自主开发的程序
3.2.1驱动程序
为了规范地在linux操作系统下操作，图像采集的电路部分需要图像采集应用程序相关的驱动程序进行支持。采集电路可分为多个功能模块分别进行驱动程序的编写，其中包括相机采集驱动（相应于vip0进入数据后的操作）；控制驱动（相应于对timer进行控制）；如果要根据外界环境改变相机工作状态，还需该部分驱动支持。采集驱动实现open，close方法。控制部分实现open，close，ioctl方法。自适应速率调整要实现open、 close、ioctl、read方法。在/dev目录下分别建立设备节点，然后应用程序通过对设备节点进行操作。
3.2.2应用程序
应用程序的开发拟采用qt开发工具。应用程序拟设计成一个多线程程序，一个主线程，一个自适应调节参数线程，应用程序主要实现采集程序，停止，显示，配置，上传程序，分别对应于相应按钮。
采集按钮相应程序调用设备节点的open方法，open方法中对相应硬件进行配置，注册中断程序，启动timer开始采集。流程如图5所示。
因为系统已经带有串口驱动，配置程序可以直接对串口编程。自适应环境速率调整程序由主界面程序开启一个新线程，该线程通过相应设备节点读取数据，判断是否调整，如需调整，通过上面所述串口设备节点或者控制设备节点进行重设。
4、结语
本文所构建的机器视觉系统是一个具有操作系统的独立、可控制的小型多功能系统，通过硬件设计和软件设计两部分实现，其功能模块包括视频图像采集与处理、视频图像存储、视频图像通信和视频图像显示等模块。采用先进的双内核嵌入式处理器，将多路图像传感器获取的视频图像信号高速并行采集，并根据需要进行图像无损压缩和图像融合，数据可大容量实时存储，并通过多种接口与上位机通信，具有友好的人机交互界面，可驱动多种显示屏幕完成高清显示和信息回放等功能。
由于该平台具有linux操作系统，无需上位机即可完成系统参数设置、功能选择等操作。该系统可为机载、弹载、车载光电系统完成高速扫描、快速探测、主动识别、精确跟踪任务提供所需要的高清目标信息，并有望在平安城市、安防行业、工业控制、医疗教育、物流管理、电网运行、智能家居、智能汽车、食品安全等多领域得到应用。
基于PIC单片机花样彩灯控制器程序设计
在各地陆续发文力推新能源汽车的政策下，能带动充电桩市场快速向前吗
dfrobot空气质量监测仪 简介
哈曼发布便携式人工智能音响 为智能家居生活开启崭新模式
Novell进军智能型工作负载管理市场
新型嵌入式机器视觉系统的设计研究
三星最新的旗舰芯片平台Exynos 9820正式亮相
如何通过程序集进行相控阵雷达建模仿真
微软、联想等巨头们争相布局的工业元宇宙究竟是什么，为何它值得被追捧？
警惕！美军正在花大力推动人工智能研发
基2与基4时分FFT算法浅析及其比较
变频器专用陶瓷贴片电容替代铝电解电容专用
OPPO Find X5 Pro天玑版：OPPO旗舰的抗鼎之作
ST推出开箱即用的射频性能出色的首款STM32无线微控制器模块
我国三家电信企业截至10月底移动电话用户总数已达到15.99亿户同比增长2.9%
XTR110扩大驱动电流电路
人工智能技术给企业带来新机遇！
怎么构成FBAR呢？FBAR构成的滤波器是什么样的呢？
美国步步紧逼 中国半导体业崛起难在哪里？
松下ALPHA阿尔法洗衣机 让精致外观与精致生活更近一步
在国内外研究中，嵌入式机器视觉系统实现方式主要有三种：
（1）基于标准总线，采用dsp作为运算和控制处理器的系统。dsp芯片虽然能够处理大量信息和高速运行，但其i/o接口单一，不易扩展，控制能力较弱，尚存在一定局限性。
（2）基于dsp+fpga的机器视觉系统。fpga与dsp的结合，可实现宽带信号处理，大大提高信号处理速度，但fpga使用的是硬件描述语言，其算法开发具有很大的难度，功能实现由硬件控制，系统受环境影响较大。
（3）采用arm微处理器或采用arm+dsp构建方式的机器视觉系统，这种构建方式人机交互功能强大，集成度高、实时性好、支持多任务，但该系统中arm与dsp的数据交换方法仍采用外部电路连接，增加了系统的不稳定性。
综合上述技术方案的优点和缺点，本文提出了一种新型机器视觉系统，实现图像信息的高速采集与存储。
其核心芯片选取ti公司最新生产的先进的双核嵌入式芯片，将arm处理器和dsp处理器集成在一个芯片中，通过软件编程即完成arm与dsp的协调工作。由该芯片构建开发的机器视觉处理系统，凭借植入linux系统的arm处理器的优异的控制性能，配合dsp的强大运算处理能力将保证系统拥有良好的实时性和稳定性，可以为机器视觉的研究和应用提供很好的视频采集与处理硬件平台。
1、系统功能
本系统为一高速图像数据采集存储系统，通过软硬件设计能够实现：两路分辨率640×480，帧频60 f/s，12 b/pixel；一路分辨率1 024×1 024，帧频60 f/s，12 b/pixel三路输入信号实时采集。实时无压缩存储。
如图1所示，系统通过串口控制图像传感器，使三路图像数据信号、时钟以及各种同步信号按要求输入，系统依次进行图像信号的采集、数据处理、存储。系统利用自带的接口可实现显示、上位机通信、键盘控制等更多的功能，能够实现友好的人机对话。
2、硬件设计
本系统选取ti公司达芬奇系列最新的tms320dm8168芯片。此芯片集成了1 ghz armcortex-a8、1 ghz ti c674x浮点dsp、若干二代可编程高清视频影像协处理器、一个创新型高清视频处理子系统（hdvpss）以及综合编解码器，支持包括高清分辨率的 h.264、mpeg-4以及vc1.并且包含千兆以太网、pci express、sata2、ddr2、ddr3、usb 2.0、mmc/sd、hdmi以及dvi等多种接口，可支持更多功能的扩展和复杂应用。
利用该芯片设计并实现两路或三路不同分辨率的图像信号的采集、处理与显示，硬件原理图如图2所示。实现该系统的开发与设计所涉及的硬件模块有：图像采集接口模块、图像采集模块、图像存储模块、外围接口模块。
2.1图像采集接口模块
作为图像传感器和高速采集系统的连接模块，该模块可对usb接口相机或camera link接口相机进行图像采集与控制。usb接口连接十分方便，由于系统具有usb外围接口，按照usb标准协议连接即可。cameralink接口具有开放式的接口协议，使得不同厂家既能保持产品的差异性，又能互相兼容，因此系统中的图像采集接口模块采用了camera link接口协议。该模块分别使用了ds90cr288a、ds90lv049、ds90lv047完成图像传感器的控制、图像信息的采集及图像传感器与图像采集系统的双向通信。
2.2图像采集模块
tms320dm8168的hdvpss（hd video processingsubsystem）提供了视频输入接口和视频输出接口。视频输入接口提供了外部图像设备（如图像传感器、视频解码器等）的接入。
hdvpss可支持高达3个60 f/s的1080p通道、同时支持16个通道的cif数据流的h.264高画质d1编码与8通道d1解码；支持2个独立的视频捕捉输入端口，每个视频输入端口支持缩放、像素格式转换。两个视频输入捕捉端口均能以1个16 b输入通道（带分离的y和cb/cr输入），或2个时钟独立的8 b输入通道操作（带交织的y/c数据输入）。第一个视频输入端口能以24 b模式操作以支持rgb捕捉。所有采集模式捕捉时钟高达165 mhz，可满足高速率的图像采集。
高清视频处理子系统（hdvpss）有两个独立视频捕捉输入端口vip0与vip1.vip0可配置成24 b、16 b、和两个独立的8 b模式，vip1可配置成16 b、和两个独立的8 b.从捕捉频率和各种配置模式可看出，针对不同的流量，可以有多种实现方法。为了存储设计简单，本方案将vip0配置为24 b进行采集。在此模式下，最高流量为165m×24 8 = 495 mb/s，可以满足流量要求。
从最高捕捉时钟可知，每次采集间隔在1 165m，约为6.1 ns.经计算，也为了设计方便，拟采用三个帧频均为200 f/s的base配置的camera link相机，帧频控制均为外部触发方式，该camera link相机一次输出两个像素，每像素12 b，即2×12 b，刚好可以和vip0的24 b匹配采集。以三路信号分时采集为例，如图3所示，3路信号的采集方法为3个相机轮流采集，即一个循环内每个相机各采一帧，这就需要实现3路分时采集的时序信号。由定时器产生一个1/200 s的脉宽，经延时环节使帧频高电平分时分路送入三个相机；3路采集信号时序关系为一个相机不进行延时，一个相机延时1/200 s，最后一个延时2/200 s。
相机通过ds90lv047a收到指令后，将拍摄到的图像数据分为4路lvds数据信号和1路lvds时钟信号，通过接口连接器mdr26传输到ds90cr288a；ds90cr288a将串行数据转换成28路并行信号和1路随路时钟信号，并传送至tms320dm8168视频捕捉端口vip0进行采集。
2.3图像存储模块
从上述设计方案，系统存储速率约为160 mb/s，数据量较大，可选择大容量、高速的固态硬盘，通过其sata2接口写入。
数据采集结束后，通过配置hdvpss子系统将数据送入vpdma，最后转入ddr内存，当ddr内存的数据量达到设定的数据量时产生中断，中断发生后，根据存放地址启动内存和固态硬盘之间的dma传输，将采集的图像通过sata2接口存储在ssd上，实现数据存储。
然后启动定时器产生下一个帧频脉冲，开始下一周期的数据采集。
外部扩展存储器选取系统支持的ddr3（1 600）存储器。按照系统存储控制器位宽32 b来算，内存速率可达32/8×1 600m=6.4 gb/s.在该模式下，采集和存储可并行处理。缓存所采集的数据移动到ddr3内存，其速率远高于端口采集的每秒数据量。因为该方案的采集方式是每帧轮流采集，并且帧内数据已按顺序紧凑排列，可大幅减少数据的重排工作，仅需去除一些辅助数据。采集系统将其余相关信号全部置成一帧一行的形式，让相机的时钟信号与系统采集端口的时钟信号通信，图像信号前有少量的辅助数据，设置dma起始地址时直接跳过辅助数据。所以在本系统几乎不运行程序的情况下，固态硬盘可以最少有80%的时间占据dma控制权进行内存图像数据的存储。按所选取的硬盘的持续写入速率250 mb/s来算，250×0.8=200 mb/s大于160 mb/s，所以1 s采集的数据可以进行实时存储。数据上传后，可以选择清除原有数据，释放硬盘空间。
2.4外围接口模块
基于tms320dm8168芯片丰富的外设接口，本系统能够灵活的进行外部接口设计来控制外围设备，并实现与外部处理器的通信功能。根据需求可供选取的接口有：2个具有gmii和mdio接口的千兆位以太网mac（10 mb/s，100 mb/s，1 000 mb/s）；2个具有集成2.0 phy的usb端口；双ddr2/3 sdram接口等，可参考图2。
tms320dm8168的两个usb口可满足将采集的图像数据上传给上位机时连接键盘鼠标，lcd、vga接口可用来直接显示图像。串口亦可用来同上位机进行通信，且可用来控制本设计方案用到的camera link相机。千兆网接口以其超高的速率可满足图像数据的高速传输。
上述技术的实现主要通过软件编程驱动外设接口来实现，具体方案见软件设计。
3、软件设计
本系统采用linux操作系统，带有友好的界面，使操作更加灵活自如，能运行多任务。可以通过界面进行相机控制、图像的采集、停止、显示、图像上传等。这部分的开发可由两部分组成，移植和自主开发。软件设计如图4所示。
3.1移植的程序
移植的程序包括linux内核、网卡驱动、usb 2.0驱动、lcd驱动、串口驱动、vga驱动、sata2驱动。在这个方面，ti公司提供了很好的支持，有专门针对dm8168的linux操作系统，版本为linux 2.6.37，可以通过ti公司提供的linux ez软件开发套件（ez sdk）进行开发。
3.2自主开发的程序
3.2.1驱动程序
为了规范地在linux操作系统下操作，图像采集的电路部分需要图像采集应用程序相关的驱动程序进行支持。采集电路可分为多个功能模块分别进行驱动程序的编写，其中包括相机采集驱动（相应于vip0进入数据后的操作）；控制驱动（相应于对timer进行控制）；如果要根据外界环境改变相机工作状态，还需该部分驱动支持。采集驱动实现open，close方法。控制部分实现open，close，ioctl方法。自适应速率调整要实现open、 close、ioctl、read方法。在/dev目录下分别建立设备节点，然后应用程序通过对设备节点进行操作。
3.2.2应用程序
应用程序的开发拟采用qt开发工具。应用程序拟设计成一个多线程程序，一个主线程，一个自适应调节参数线程，应用程序主要实现采集程序，停止，显示，配置，上传程序，分别对应于相应按钮。
采集按钮相应程序调用设备节点的open方法，open方法中对相应硬件进行配置，注册中断程序，启动timer开始采集。流程如图5所示。
因为系统已经带有串口驱动，配置程序可以直接对串口编程。自适应环境速率调整程序由主界面程序开启一个新线程，该线程通过相应设备节点读取数据，判断是否调整，如需调整，通过上面所述串口设备节点或者控制设备节点进行重设。
4、结语
本文所构建的机器视觉系统是一个具有操作系统的独立、可控制的小型多功能系统，通过硬件设计和软件设计两部分实现，其功能模块包括视频图像采集与处理、视频图像存储、视频图像通信和视频图像显示等模块。采用先进的双内核嵌入式处理器，将多路图像传感器获取的视频图像信号高速并行采集，并根据需要进行图像无损压缩和图像融合，数据可大容量实时存储，并通过多种接口与上位机通信，具有友好的人机交互界面，可驱动多种显示屏幕完成高清显示和信息回放等功能。
由于该平台具有linux操作系统，无需上位机即可完成系统参数设置、功能选择等操作。该系统可为机载、弹载、车载光电系统完成高速扫描、快速探测、主动识别、精确跟踪任务提供所需要的高清目标信息，并有望在平安城市、安防行业、工业控制、医疗教育、物流管理、电网运行、智能家居、智能汽车、食品安全等多领域得到应用。
基于PIC单片机花样彩灯控制器程序设计
在各地陆续发文力推新能源汽车的政策下，能带动充电桩市场快速向前吗
dfrobot空气质量监测仪 简介
哈曼发布便携式人工智能音响 为智能家居生活开启崭新模式
Novell进军智能型工作负载管理市场
新型嵌入式机器视觉系统的设计研究
三星最新的旗舰芯片平台Exynos 9820正式亮相
如何通过程序集进行相控阵雷达建模仿真
微软、联想等巨头们争相布局的工业元宇宙究竟是什么，为何它值得被追捧？
警惕！美军正在花大力推动人工智能研发
基2与基4时分FFT算法浅析及其比较
变频器专用陶瓷贴片电容替代铝电解电容专用
OPPO Find X5 Pro天玑版：OPPO旗舰的抗鼎之作
ST推出开箱即用的射频性能出色的首款STM32无线微控制器模块
我国三家电信企业截至10月底移动电话用户总数已达到15.99亿户同比增长2.9%
XTR110扩大驱动电流电路
人工智能技术给企业带来新机遇！
怎么构成FBAR呢？FBAR构成的滤波器是什么样的呢？
美国步步紧逼 中国半导体业崛起难在哪里？
松下ALPHA阿尔法洗衣机 让精致外观与精致生活更近一步