应用开源软件MJPG_Streamer实现数字化的视频监控系统设计
1 引言
近年来，随着计算机技术、光电技术、数字图像处理技术、嵌入式技术和网络通信技术的不断发展，高度集成的数字化、网络化、智能化的数字视频技术已经了取代传统的模拟视频监控技术。目前，世界各国对视频监控的需求与应用不断扩大，推动着全球视频监控市场迅速的发展。根据市场调查公司imsresearch的预测，全球视频监控市场将从2008年的115亿美元增加至2015年的377亿美元，年复合增长率达到20.4%.在这一市场中，监控摄像头、服务器、编码器以及软件是视频监控系统的主角。
本文提出一种基于arm+linux嵌入式平台的的智能视频监控系统，充分利用开源操作系统和开源免费软件mjpg_streamer的特点，实现了在线实时监控。同时提出了一种目标检测算法，该算法在后台运行，实现了智能控制，能够对入侵目标进行语音报警。该监控适合针对一些特定场合的监控。
2 系统硬件平台
视频监控系统以s3c2440处理器为核心，外围器件有flash、sdram、以太网卡dm9000、声卡uda1341以及cmos接口摄像头ov9650,在linux环境下对摄像头采集到的原始图像帧进行处理以及压缩，通过网络协议传输到pc上位机进行显示。系统硬件平台结构如图1所示。
3 构建arm+liunx嵌入式平台
在系统硬件平台上构建嵌入式liunx系统，需要引导程序bootloader和linux源码，本系统需要移植bootloader源码，然后用jtag接口将其烧写到flash中，从flash中启动，引导在pc机上交叉编译后的linux镜像及根文件系统，之后启动linux系统。
3.1 网卡和声卡驱动移植
由于在linux内核中提供了以太网卡dm9000设备驱动功能层主要的数据结构和函数，所以在实际移植网络设备驱动程序时，要完成的工作就是根据实际以太网卡dm9000参数修改相应的内核代码。同样，在linux内核源码中的标准音频编程模型已经包含一套完整的内核驱动程序模块，为各种各样的声卡提供了统一并且简单易用的编程接口，如open（）、read（）、ioctl（（）等函数，所以在声卡uda1341移植过程中对内核源码做简单修改即可。
3.2 语音播放功能的实现
完成了声卡驱动移植后，为了方便对音频文件的播放，停止等操作进行控制，还需要移植专业的高精度解码器madplay.madplay是一个根据mad算法写的mp3播放器，解码效果相当出色，而且支持命令行，特别适合于在嵌入式系统使用。移植过程中分别编译zlib库、libid3tag库和libmad库，最后编译madplay源码并且把编译出来的madplay下载到系统中即可，之后就可以对录制好的音频文件进行播放。
嵌入式平台构建完成后，先后用命令ifcongfig和madplay进行网卡和语音模块测试，从图2可以看出linux系统启动成功，网卡和声卡驱动配置成功了，并且可以使用madplay播放器播放录制的音频文件。
4 mjpg_streamer功能的实现
mjpg_streamer是一款免费的视频流服务器软件，采用的是v4l2视频设备开发框架，它能够将从摄像头采集到的图像以jpeg格式通过tcp/ip网络协议传输到上位机进行显示。
4.1 mjpg_streamer移植
在mjpg_streamer源码目录中，把所有makefile文件的cc=gcc改为cc=arm-linux-gcc,然后进行编译，生成的主要组件及功能如下：
input_uvc.so组件：主要完成了摄像头图像的抓取，同时将原始yuv 格式图像转换和压缩为jpeg格式图像。
input_control.so组件：主要完成对支持调整方向摄像头的转动方向的控制。例如云台控制器，云台控制是为了实现多角度监控的功能。
output_http.so组件：这是一个功能完整的web服务器，它将压缩后的jpeg 图像以http视频数据服务流形式输出。
output_file.so组件：这个组件的功能是将压缩后的jpeg图像存储到特定的文件夹下，用来抓拍和存储网络摄像机监控中的静态图像。
4.2 目标检测算法的研究
基于帧间差分法对光照变化干扰不敏感，提取前景目标容易产生“空洞”的现象，而背景减法对光照变化较敏感的现象，本文提出了一种结合三帧差分算法和背景减法的目标检测算法。经过与目前常用的算法相比，例如混合高斯模型和改进的混合高斯模型，本文的算法不仅降低了运算的复杂度，适合在arm 平台运行，同时又可以达到准确检测的效果。算法实现流程如下：
（1）建立背景模型，提取前景目标先把采集到的彩色图像利用式（1）转为灰度图，取前n帧图像，对每个位置像素的像素值求均值作为背景像素，表示为式（2）。利用当前帧减去背景帧得到包含前景的图像，根据阈值th对图像进行二值化处理得到t（x,y），如式（3）、（4）所示。
式中，th代表阈值，t（x,y）代表二值化后图像。
考虑到摄像头固定，背景像素灰度值变化比较缓慢，而前景目标像素灰度值变化相对较快。为了让背景模型适应光照缓慢的变化，需要对背景模型进行实时更新。其中a为背景更新率，取值范围是（0,1）。
bn+1（x,y）=（1-a）bn（x,y）+apn（x,y） （5）在差分图像s（x,y）中大量存在的是具有较高灰度值的前景像素和具有较低灰度值的背景像素。
所以，提出一种阈值根据当前差分帧s（x,y）自动更新的方法。
求出当前差分帧s（x,y）图像灰度的最大值和最小值，求得二者均值t.利用均值将图像分为目标和背景两部分，利用式（6）求出两部分均值k1和k2,最后由式（7）得到阈值th.
（2）利用三帧差分算法提取目标选取连续三帧图像dk-1（x,y），dk（x,y）和dk+1（x,y），进行两两差分得到d1（x,y）和d2（x,y），二值化处理后，二者进行与运算，提取前景目标。
（3）前景目标融合将背景减法的前景图像t（x,y）和三帧差分算法得到图像d（x,y）进行或运算，该运算利用了背景减法的优点，避免了单独利用三帧差法带来的空洞现象。同时发挥三帧差法对动态背景变化适应性强的特点。
（4）前景目标形态学处理由于融合后的图像q（x,y）中存在着噪声点和一些空洞，有必要对图像进行中值滤波，然后交替的应用开运算和闭运算，起到既去毛刺又填充的双滤波目的。
根据本文的算法，采用静止的摄像头采集视频序列。图3所示为在visual c++2005平台上的仿真结果。根据结果可得，本文算法能完整的提取运动目标，有效的消除空洞，检测结果准确。
（4）前景目标形态学处理由于融合后的图像q（x,y）中存在着噪声点和一些空洞，有必要对图像进行中值滤波，然后交替的应用开运算和闭运算，起到既去毛刺又填充的双滤波目的。
根据本文的算法，采用静止的摄像头采集视频序列。图3所示为在visual c++2005平台上的仿真结果。根据结果可得，本文算法能完整的提取运动目标，有效的消除空洞，检测结果准确。此时系统可以快速的检测到入侵物体，同时用madplay播放录制好的音频文件进行语音报警。智能监控实现流程如图4所示。
4.4 监控平台测试
在linux平台输入以下命令，启动监控系统。在pc上位可以通过mjpg_streamer软件自带的图形界面进行显示，也可以通过网页浏览器进行页面显示。经试验，当有物体进入场景时，能够快速的进行语音报警。当平台测试完毕后，把mjpg_streamer设置为在linux启动后自动运行。见图5.
5 结束语
本文设计的基于软件mjpg_streamer视频监控系统，具有实时性好，远程监控，上位机简易，开发周期短，易于实现的特点。系统实现了语音报警的功能，充分利用了arm 平台的特性，不需要设计额外的语音模块电路。系统的目标检测功能已完成，下一个研究方向是利用软件mjpg_streamer对云台控制的支持，实现模式识别和跟踪算法，使系统的功能更强大，应用范围更广。
阿根廷首都市政照明将全部使用LED节能灯 全年公共照明的用电量将减少50％
iPhone 12或使用Type-C口，苹欲推出GaN充电器？
NAND闪存内部结构解析
arm和单片机的区别
智能驾驶系统传感器布置位置及方式探究
应用开源软件MJPG_Streamer实现数字化的视频监控系统设计
Python 如何对文件系统进行监控提取
华为公布 “数据处理方法、光传输设备及数字处理芯片”专利
采用Python语言在FPGA上实现定点平方根算法的硬件系统协同设计
华为正式公布了2018年年报消费者业务将成为第一大业务
英特尔可能重新夺回半导体芯片制造商第一的桂冠
京东方预计2020四季度Mini LED背光产品量产出货
魅族mx7什么时候上市？魅族mx7最新消息：魅族mx7有消息了，7月上市，高性价比，1999元+超窄边框+超高屏占比
LED产品封装结构技术有哪一些类型
各大制造商开始引进高带宽存储器 它将成为新一代HBM DRAM产品
振弦式表面应变计在岩土工程中应用
电动汽车起火事故频发，暴露出目前行业存在的短板
《我不是潘金莲》居然也玩AR，你发现了吗?
ROG游戏手机2高清图赏
5G To B时代下的交通插上“翅膀”，华为赋能道路基础设施建设
近年来，随着计算机技术、光电技术、数字图像处理技术、嵌入式技术和网络通信技术的不断发展，高度集成的数字化、网络化、智能化的数字视频技术已经了取代传统的模拟视频监控技术。目前，世界各国对视频监控的需求与应用不断扩大，推动着全球视频监控市场迅速的发展。根据市场调查公司imsresearch的预测，全球视频监控市场将从2008年的115亿美元增加至2015年的377亿美元，年复合增长率达到20.4%.在这一市场中，监控摄像头、服务器、编码器以及软件是视频监控系统的主角。
本文提出一种基于arm+linux嵌入式平台的的智能视频监控系统，充分利用开源操作系统和开源免费软件mjpg_streamer的特点，实现了在线实时监控。同时提出了一种目标检测算法，该算法在后台运行，实现了智能控制，能够对入侵目标进行语音报警。该监控适合针对一些特定场合的监控。
2 系统硬件平台
视频监控系统以s3c2440处理器为核心，外围器件有flash、sdram、以太网卡dm9000、声卡uda1341以及cmos接口摄像头ov9650,在linux环境下对摄像头采集到的原始图像帧进行处理以及压缩，通过网络协议传输到pc上位机进行显示。系统硬件平台结构如图1所示。
3 构建arm+liunx嵌入式平台
在系统硬件平台上构建嵌入式liunx系统，需要引导程序bootloader和linux源码，本系统需要移植bootloader源码，然后用jtag接口将其烧写到flash中，从flash中启动，引导在pc机上交叉编译后的linux镜像及根文件系统，之后启动linux系统。
3.1 网卡和声卡驱动移植
由于在linux内核中提供了以太网卡dm9000设备驱动功能层主要的数据结构和函数，所以在实际移植网络设备驱动程序时，要完成的工作就是根据实际以太网卡dm9000参数修改相应的内核代码。同样，在linux内核源码中的标准音频编程模型已经包含一套完整的内核驱动程序模块，为各种各样的声卡提供了统一并且简单易用的编程接口，如open（）、read（）、ioctl（（）等函数，所以在声卡uda1341移植过程中对内核源码做简单修改即可。
3.2 语音播放功能的实现
完成了声卡驱动移植后，为了方便对音频文件的播放，停止等操作进行控制，还需要移植专业的高精度解码器madplay.madplay是一个根据mad算法写的mp3播放器，解码效果相当出色，而且支持命令行，特别适合于在嵌入式系统使用。移植过程中分别编译zlib库、libid3tag库和libmad库，最后编译madplay源码并且把编译出来的madplay下载到系统中即可，之后就可以对录制好的音频文件进行播放。
嵌入式平台构建完成后，先后用命令ifcongfig和madplay进行网卡和语音模块测试，从图2可以看出linux系统启动成功，网卡和声卡驱动配置成功了，并且可以使用madplay播放器播放录制的音频文件。
4 mjpg_streamer功能的实现
mjpg_streamer是一款免费的视频流服务器软件，采用的是v4l2视频设备开发框架，它能够将从摄像头采集到的图像以jpeg格式通过tcp/ip网络协议传输到上位机进行显示。
4.1 mjpg_streamer移植
在mjpg_streamer源码目录中，把所有makefile文件的cc=gcc改为cc=arm-linux-gcc,然后进行编译，生成的主要组件及功能如下：
input_uvc.so组件：主要完成了摄像头图像的抓取，同时将原始yuv 格式图像转换和压缩为jpeg格式图像。
input_control.so组件：主要完成对支持调整方向摄像头的转动方向的控制。例如云台控制器，云台控制是为了实现多角度监控的功能。
output_http.so组件：这是一个功能完整的web服务器，它将压缩后的jpeg 图像以http视频数据服务流形式输出。
output_file.so组件：这个组件的功能是将压缩后的jpeg图像存储到特定的文件夹下，用来抓拍和存储网络摄像机监控中的静态图像。
4.2 目标检测算法的研究
基于帧间差分法对光照变化干扰不敏感，提取前景目标容易产生“空洞”的现象，而背景减法对光照变化较敏感的现象，本文提出了一种结合三帧差分算法和背景减法的目标检测算法。经过与目前常用的算法相比，例如混合高斯模型和改进的混合高斯模型，本文的算法不仅降低了运算的复杂度，适合在arm 平台运行，同时又可以达到准确检测的效果。算法实现流程如下：
（1）建立背景模型，提取前景目标先把采集到的彩色图像利用式（1）转为灰度图，取前n帧图像，对每个位置像素的像素值求均值作为背景像素，表示为式（2）。利用当前帧减去背景帧得到包含前景的图像，根据阈值th对图像进行二值化处理得到t（x,y），如式（3）、（4）所示。
式中，th代表阈值，t（x,y）代表二值化后图像。
考虑到摄像头固定，背景像素灰度值变化比较缓慢，而前景目标像素灰度值变化相对较快。为了让背景模型适应光照缓慢的变化，需要对背景模型进行实时更新。其中a为背景更新率，取值范围是（0,1）。
bn+1（x,y）=（1-a）bn（x,y）+apn（x,y） （5）在差分图像s（x,y）中大量存在的是具有较高灰度值的前景像素和具有较低灰度值的背景像素。
所以，提出一种阈值根据当前差分帧s（x,y）自动更新的方法。
求出当前差分帧s（x,y）图像灰度的最大值和最小值，求得二者均值t.利用均值将图像分为目标和背景两部分，利用式（6）求出两部分均值k1和k2,最后由式（7）得到阈值th.
（2）利用三帧差分算法提取目标选取连续三帧图像dk-1（x,y），dk（x,y）和dk+1（x,y），进行两两差分得到d1（x,y）和d2（x,y），二值化处理后，二者进行与运算，提取前景目标。
（3）前景目标融合将背景减法的前景图像t（x,y）和三帧差分算法得到图像d（x,y）进行或运算，该运算利用了背景减法的优点，避免了单独利用三帧差法带来的空洞现象。同时发挥三帧差法对动态背景变化适应性强的特点。
（4）前景目标形态学处理由于融合后的图像q（x,y）中存在着噪声点和一些空洞，有必要对图像进行中值滤波，然后交替的应用开运算和闭运算，起到既去毛刺又填充的双滤波目的。
根据本文的算法，采用静止的摄像头采集视频序列。图3所示为在visual c++2005平台上的仿真结果。根据结果可得，本文算法能完整的提取运动目标，有效的消除空洞，检测结果准确。
（4）前景目标形态学处理由于融合后的图像q（x,y）中存在着噪声点和一些空洞，有必要对图像进行中值滤波，然后交替的应用开运算和闭运算，起到既去毛刺又填充的双滤波目的。
根据本文的算法，采用静止的摄像头采集视频序列。图3所示为在visual c++2005平台上的仿真结果。根据结果可得，本文算法能完整的提取运动目标，有效的消除空洞，检测结果准确。此时系统可以快速的检测到入侵物体，同时用madplay播放录制好的音频文件进行语音报警。智能监控实现流程如图4所示。
4.4 监控平台测试
在linux平台输入以下命令，启动监控系统。在pc上位可以通过mjpg_streamer软件自带的图形界面进行显示，也可以通过网页浏览器进行页面显示。经试验，当有物体进入场景时，能够快速的进行语音报警。当平台测试完毕后，把mjpg_streamer设置为在linux启动后自动运行。见图5.
5 结束语
本文设计的基于软件mjpg_streamer视频监控系统，具有实时性好，远程监控，上位机简易，开发周期短，易于实现的特点。系统实现了语音报警的功能，充分利用了arm 平台的特性，不需要设计额外的语音模块电路。系统的目标检测功能已完成，下一个研究方向是利用软件mjpg_streamer对云台控制的支持，实现模式识别和跟踪算法，使系统的功能更强大，应用范围更广。
阿根廷首都市政照明将全部使用LED节能灯 全年公共照明的用电量将减少50％
iPhone 12或使用Type-C口，苹欲推出GaN充电器？
NAND闪存内部结构解析
arm和单片机的区别
智能驾驶系统传感器布置位置及方式探究
应用开源软件MJPG_Streamer实现数字化的视频监控系统设计
Python 如何对文件系统进行监控提取
华为公布 “数据处理方法、光传输设备及数字处理芯片”专利
采用Python语言在FPGA上实现定点平方根算法的硬件系统协同设计
华为正式公布了2018年年报消费者业务将成为第一大业务
英特尔可能重新夺回半导体芯片制造商第一的桂冠
京东方预计2020四季度Mini LED背光产品量产出货
魅族mx7什么时候上市？魅族mx7最新消息：魅族mx7有消息了，7月上市，高性价比，1999元+超窄边框+超高屏占比
LED产品封装结构技术有哪一些类型
各大制造商开始引进高带宽存储器 它将成为新一代HBM DRAM产品
振弦式表面应变计在岩土工程中应用
电动汽车起火事故频发，暴露出目前行业存在的短板
《我不是潘金莲》居然也玩AR，你发现了吗?
ROG游戏手机2高清图赏
5G To B时代下的交通插上“翅膀”，华为赋能道路基础设施建设