B/S模式设计的嵌入式视频监控系统技术
b/s模式设计的嵌入式视频监控系统技术
摘 要：以arm9处理器s3c2440为核心芯片搭建硬件平台，采用嵌入式linux操作系统为软件开发平台，设计了一种基于b/s模式的嵌入式视频监控系统的设计方案。通过构建流媒体服务器，完成视频数据的采集、压缩、传输和保存。采用tcp/ip网络协议，移植了web服务器，开发了java applet程序，用户通过浏览器即可对远程视频进行实时监控。系统具有实时性强、体积小、成本低廉、性能稳定、交互性好等特点，具有广泛的应用价值。
关键词：嵌入式；视频采集；视频监控；tcp/ip；b/s
视频监控系统将被监控现场的实时图像和数据等信息准确、清晰、快速地传送到监控中心服务器，监控中心将实时、直接地掌握各个被监控现场的当前情况(包括图像、声音及其他敏感数据)，从而对敏感事件进行快速反应[1]。视频监控正朝着数字化、网络化、集成化的嵌入式视频监控方向蓬勃发展。相比传统的视频采集监控系统，嵌入式视频监控系统具有可靠性高、组网方便、可远程监控等优点，因而更适用于工业控制、银行、政府部门的安防系统中[2]。
本文设计了一种具有用户零维护、价格低廉、性能稳定等特点的嵌入式视频监控系统。该系统以arm处理器s3c2440和嵌入式linux操作系统为核心平台，通过usb摄像头采集视频数据，基于tcp/ip协议进行网络传输，用户通过浏览器即可监控远程视频，视频可以保存，以便回放。
1 视频监控系统方案设计
1.1 监控系统硬件平台设计
监控系统硬件平台是整个监控系统的基础，在系统设计中占有至关重要的地位，硬件选择的成功与否直接决定着系统功能的优劣。本设计中主要硬件有nand flash、嵌入式处理器s3c2440、sdram、网卡、usb接口摄像头等。
视频监控系统的硬件结构方案如图1所示。系统以s3c2440处理器为核心，外扩其他外围设备。s3c2440处理器是samsung公司基于arm公司的arm920t处理器核，它是一款高度集成的芯片，主频为400 mhz，提供了一套较完整的通用外围设备接口，支持性价比非常高的nand flash启动，可支持linux等多种操作系统的移植[3]。
1.2 监控系统软件方案设计
本系统选择linux操作系统作为软件开发平台，编译环境采用交叉编译调试的方式，嵌入式linux的内核选用2.6.13，根文件系统采用yaffs。
一套完整的视频监控系统应该至少包含视频数据的采集、处理、传输、存储与控制等功能，为了很好地实现以上功能，本系统划分为三大功能模块：嵌入式流媒体服务器、嵌入式web服务器和用户视频监控端。嵌入式流媒体服务器模块主要实现视频数据的采集、存储和传输等功能；嵌入式web服务器模块负责处理监控端发来的请求并通过与浏览器的交互为用户提供监控平台；用户视频监控端模块实现对远程视频的实时监控，并且可以控制视频的亮度和对比度等。
2 嵌入式流媒体服务器的实现
流媒体服务器模块的主要功能有视频采集、视频压缩、视频存储和视频传输。本系统采用中星微公司生产的zc0301芯片的usb摄像头，zc0301主要由五大功能模块组成，即系统控制、图像信号处理、次取样和水平扫描模块、jpeg编码器和usb设备控制[4]。采用该芯片的摄像头应用最广泛，方便购买和维护，经过此芯片处理后得到的是jpeg编码的位流，实现了视频的压缩。
2.1 基于video4linux的视频采集
video4linux(简称“v4l”)是linux中关于视频设备的内核驱动，它是针对视频设备的应用程序编程提供的一系统接口函数。视频采集的基本流程如图2所示。利用v4l对usb摄像头的编程需要用到linux下2个系统调用，分别是ioctl()调用和mmap()调用。
在v4l标准中提供了多个数据结构和控制命令, 程序通过调用函数对设备进行控制, 完成视频采集的任务。ioctl()函数中主要的设备控制命令有：
(1)vidiocgcap:获取采集设备基本信息，比如支持最大最小分辨率等；
(2)vidiocspict、vidiocgpict：分别为设置和获取采集图像的各种属性；
(3)vidiocgmbuf：获取缓冲区信息，比如每帧大小、最多支持的帧数等；
(4)vidiocmcapture：捕捉图像，获取图像信息；
(5)vidiocsync：等待采集一帧图像完毕。
应用程序获取摄像头采集的图像数据有两种方法,分别是read()（直接读取的方法）和mmap()（内存映射的方法）。mmap()系统调用使得进程之间通过映射同一个文件而实现内存共享，优点是效率高，因为进程可以直接读写内存，而不需要任何数据的拷贝，加速了i/o访问，本系统就采用此方法。
2.2 基于tcp/ip协议的视频传输
tcp/ip协议指的是internet上使用的两种网络协议，即传输控制协议和网际协议。tcp协议是一个可靠的点到点之间的协议，ip协议是一个传输层的协议。tcp/ip协议族可以将各种操作系统和网络部件连接起来，它提供了一种在各种系统间移动数据的标准方法[5]。
本系统中，首先服务器通过socket函数创建套接字，并使用bind函数将套接字与某端口进行绑定；然后调用listen函数，服务器将处于监听状态，等待用户监控端请求连接指定端口；当接收到用户监控端的连接请求后，服务器调用accept函数来建立与用户监控端间的通信；在成功建立通信后，就可以通过read函数或write函数进行通信。
本系统可以人机交互，用户通过网页可以向视频服务器传递控制信息，比如调节帧速、亮度等。当建立连接后，首先用户监控端发送一个包含控制信息的client_t结构体数据给视频服务器；然后视频服务器根据控制信息采集一帧视频数据，并生成一个包含这一帧视频信息的frame_t结构体数据，把它们发送给用户监控端。这就完成了一次人机交互，这样不断地循环，就实现了数据传输。
3 嵌入式web服务器的实现
3.1 嵌入式web服务器的选择
linux下嵌入式web服务器主要有3个，分别是httpd、thttpd和boa。httpd是最简单的一个web服务器，它的功能最弱，不支持认证，不支持cgi。thttpd和boa都支持认证和cgi等，功能都比较全。本系统采用boa web服务器，它通过建立http请求列表来处理多路http连接请求，节省了系统资源，这对嵌入式系统来说至关重要。同时它还具有自动生成目录、自动解压文件等功能。boa具有很高的http请求处理速度和效率，在嵌入式系统中具有很高的应用价值。
3.2 boa在arm上的移植与配置
(1)移植过程
从http://www.boa.org/下载boa源码，选择boa-0.94.13.tar.gz,输入解压命令“tar xzvf boa-0.94.13.tar.gz”；进入解压生成的源码目录下的src子目录，输入命令“./configure”,生成makefile文件；修改makefile文件，将cc和cpp的值改成交叉编译器安装的路径；输入命令“make”即可交叉编译生成可执行文件boa,通过串口下载到根文件系统下的/ bin下就实现了移植。
(2)配置
在/etc目录下新建一个boa目录，里面存放boa的主要配置文件boa.conf，在boa源码目录下已有一个示例boa.conf，可以在其基础上进行修改；修改group nogroup为group root，修改user nobody为user root，这里的root是开发板存在的组和用户；修改#servername www.your.org.here为servername cs2440；修改documentroot /var/www为documentroot /www,设置html文档的主目录/www，其他采用默认设置即可。此外，还需要将mime.types文件复制到/etc目录下，通常可以从linux主机的/etc目录下直接复制即可。
4 基于b/s模式的用户视频监控端实现
系统采用b/s模式，相比c/s模式，用户不需要做任何维护，这对用户人力、物力、时间、费用的节省是显而易见的，并且可以跨平台操作，真正方便了用户。
系统通过开发java applet应用程序，并嵌入网页中，网页名称设为boa web服务器默认主页名，把它们保存在/www中，用户在浏览器地址栏中输入视频服务器的ip地址，就能在网页里显示摄像头的监控图像。通过java applet与视频服务器进行交互，实现对视频数据的控制、传输和播放。java applet程序中主要功能步骤和主要函数可描述为：
(1)创建套接字、输入流和输出流。
connection=new socket(m_strserver,port)；
in=connection.getinputstream()；
out=connection.getoutputstream()；
ip地址及端口都是由嵌入在html中…部分的参数传入的，并创建此socket对象的输入流和输出流。
(2）分配接收缓冲区：byte[]buffer=new byte[512*1024]；
(3)发送一个用户控制信息。它由用户用鼠标点击图标而生成。当用户点击浏览器中的视频窗口时，在上方会显示亮度等图标，通过点击图标两侧的“+”和“-”而写入控制信息；当点击图标以外的地方，图标就会消失，实现全窗口的视频，便于监控，操作简单。
public void mouse(mouseevent evt) {…}；
out.write(b);//b是包含控制信息的字符数组名
(4)读取一帧图像头信息，确认图像数据的正确性和获取图像数据的大小。
n=in.read(buffer,0,hdrlen)；//hdrlen为图像信息头长度，设置为50 b
对头信息中包含的约定字符进行判断，若正确就可以继续接收图像数据，不正确则返回（3）。
(5)读取图像数据，把头信息后的图像数据写入缓冲区，以供播放显示。
r=in.read(buffer,hdrlen,buffer.length-hdrlen);
(6)实现图像显示。由于缓冲区中包含图像头信息，为单独使用图像数据，需把图像数据拷贝到另一缓冲区buffer2中。
bufferedimage image= imageio.read(new bytearrayinputstream(buffer2))；
imageicon ii=new imageicon(image)；
m_label.seticon(ii)；//显示图像
通过以上（3）到（6）的不断循环运行，用户从监控网页上可以看到连续动态的图像，效果很好，画面流畅，不存在明显的延时，实现了视频监控。
本文提出的这种基于b/s的嵌入式视频监控系统相比传统c/s模式，真正实现了用户零维护，可以跨平台监控，方便用户。采用嵌入式处理器和linux操作系统相结合，很好地体现了本监控系统具有集成化、网络化、功耗低等优点，可广泛扩展应用在工业控制、可视电话、交通管理等诸多领域。
参考文献
[1] 刘富强.数字视频监控系统的开发及应用[m」.北京:机械工业出版社，2003:2-16.
[2] 于明,范书瑞,曾祥烨.arm9 嵌入式系统设计与开发教程[m].北京:电子工业出版社,2006:15-75.
[3] samsung electronics.s3c2440a 32-bit cmos microcontroller user’s manual[s],2004.
[4] vimicro corporation.zc0301 preliminary data sheet[m/cd].2002.
[5] 张曦煌,柴志雷.linux中tcp/ip协议实现及嵌入式应用[m].北京：北京航空航天大学出版社，2008：5-12.
矿区无线监控系统的架构、原理及应用实现
如何正确选择合适的网线
2017跳槽好选择，AR/VR行业人才需求暴涨
现在的自动驾驶技术发展到哪一步了
买了电视怎么装？平板电视壁挂3要素
B/S模式设计的嵌入式视频监控系统技术
John Lord：华为5G禁令涉及仇外心理 不会退出澳洲市场
Microchip宣布推耐辐射SuperFlash®产品系列
一加7评测 3000元档相对全能的选择
基于区块链技术FACTS解决方案
意法半导体汽车级导航及航位推算模块 简化设计，提高性能
智能手机应用处理器市场收入2018年将达300亿美元
EDA厂商备受关注 概伦电子2022年营业收入2.79亿同比增长43.68%
uc3844的工作原理与电路设计
中国移动未来的战略思想和运营思路分析
红外线测温仪如何重置和校准
麻省理工研发的超透镜可以实现鱼眼图像，完全超出了人们的预期
关于机器人的恐怖谷效应
NS-FZ发电机中性点接地电阻柜应该如何接线
疫情下的人工智能到底能给我们带来多大的便利
摘 要：以arm9处理器s3c2440为核心芯片搭建硬件平台，采用嵌入式linux操作系统为软件开发平台，设计了一种基于b/s模式的嵌入式视频监控系统的设计方案。通过构建流媒体服务器，完成视频数据的采集、压缩、传输和保存。采用tcp/ip网络协议，移植了web服务器，开发了java applet程序，用户通过浏览器即可对远程视频进行实时监控。系统具有实时性强、体积小、成本低廉、性能稳定、交互性好等特点，具有广泛的应用价值。
关键词：嵌入式；视频采集；视频监控；tcp/ip；b/s
视频监控系统将被监控现场的实时图像和数据等信息准确、清晰、快速地传送到监控中心服务器，监控中心将实时、直接地掌握各个被监控现场的当前情况(包括图像、声音及其他敏感数据)，从而对敏感事件进行快速反应[1]。视频监控正朝着数字化、网络化、集成化的嵌入式视频监控方向蓬勃发展。相比传统的视频采集监控系统，嵌入式视频监控系统具有可靠性高、组网方便、可远程监控等优点，因而更适用于工业控制、银行、政府部门的安防系统中[2]。
本文设计了一种具有用户零维护、价格低廉、性能稳定等特点的嵌入式视频监控系统。该系统以arm处理器s3c2440和嵌入式linux操作系统为核心平台，通过usb摄像头采集视频数据，基于tcp/ip协议进行网络传输，用户通过浏览器即可监控远程视频，视频可以保存，以便回放。
1 视频监控系统方案设计
1.1 监控系统硬件平台设计
监控系统硬件平台是整个监控系统的基础，在系统设计中占有至关重要的地位，硬件选择的成功与否直接决定着系统功能的优劣。本设计中主要硬件有nand flash、嵌入式处理器s3c2440、sdram、网卡、usb接口摄像头等。
视频监控系统的硬件结构方案如图1所示。系统以s3c2440处理器为核心，外扩其他外围设备。s3c2440处理器是samsung公司基于arm公司的arm920t处理器核，它是一款高度集成的芯片，主频为400 mhz，提供了一套较完整的通用外围设备接口，支持性价比非常高的nand flash启动，可支持linux等多种操作系统的移植[3]。
1.2 监控系统软件方案设计
本系统选择linux操作系统作为软件开发平台，编译环境采用交叉编译调试的方式，嵌入式linux的内核选用2.6.13，根文件系统采用yaffs。
一套完整的视频监控系统应该至少包含视频数据的采集、处理、传输、存储与控制等功能，为了很好地实现以上功能，本系统划分为三大功能模块：嵌入式流媒体服务器、嵌入式web服务器和用户视频监控端。嵌入式流媒体服务器模块主要实现视频数据的采集、存储和传输等功能；嵌入式web服务器模块负责处理监控端发来的请求并通过与浏览器的交互为用户提供监控平台；用户视频监控端模块实现对远程视频的实时监控，并且可以控制视频的亮度和对比度等。
2 嵌入式流媒体服务器的实现
流媒体服务器模块的主要功能有视频采集、视频压缩、视频存储和视频传输。本系统采用中星微公司生产的zc0301芯片的usb摄像头，zc0301主要由五大功能模块组成，即系统控制、图像信号处理、次取样和水平扫描模块、jpeg编码器和usb设备控制[4]。采用该芯片的摄像头应用最广泛，方便购买和维护，经过此芯片处理后得到的是jpeg编码的位流，实现了视频的压缩。
2.1 基于video4linux的视频采集
video4linux(简称“v4l”)是linux中关于视频设备的内核驱动，它是针对视频设备的应用程序编程提供的一系统接口函数。视频采集的基本流程如图2所示。利用v4l对usb摄像头的编程需要用到linux下2个系统调用，分别是ioctl()调用和mmap()调用。
在v4l标准中提供了多个数据结构和控制命令, 程序通过调用函数对设备进行控制, 完成视频采集的任务。ioctl()函数中主要的设备控制命令有：
(1)vidiocgcap:获取采集设备基本信息，比如支持最大最小分辨率等；
(2)vidiocspict、vidiocgpict：分别为设置和获取采集图像的各种属性；
(3)vidiocgmbuf：获取缓冲区信息，比如每帧大小、最多支持的帧数等；
(4)vidiocmcapture：捕捉图像，获取图像信息；
(5)vidiocsync：等待采集一帧图像完毕。
应用程序获取摄像头采集的图像数据有两种方法,分别是read()（直接读取的方法）和mmap()（内存映射的方法）。mmap()系统调用使得进程之间通过映射同一个文件而实现内存共享，优点是效率高，因为进程可以直接读写内存，而不需要任何数据的拷贝，加速了i/o访问，本系统就采用此方法。
2.2 基于tcp/ip协议的视频传输
tcp/ip协议指的是internet上使用的两种网络协议，即传输控制协议和网际协议。tcp协议是一个可靠的点到点之间的协议，ip协议是一个传输层的协议。tcp/ip协议族可以将各种操作系统和网络部件连接起来，它提供了一种在各种系统间移动数据的标准方法[5]。
本系统中，首先服务器通过socket函数创建套接字，并使用bind函数将套接字与某端口进行绑定；然后调用listen函数，服务器将处于监听状态，等待用户监控端请求连接指定端口；当接收到用户监控端的连接请求后，服务器调用accept函数来建立与用户监控端间的通信；在成功建立通信后，就可以通过read函数或write函数进行通信。
本系统可以人机交互，用户通过网页可以向视频服务器传递控制信息，比如调节帧速、亮度等。当建立连接后，首先用户监控端发送一个包含控制信息的client_t结构体数据给视频服务器；然后视频服务器根据控制信息采集一帧视频数据，并生成一个包含这一帧视频信息的frame_t结构体数据，把它们发送给用户监控端。这就完成了一次人机交互，这样不断地循环，就实现了数据传输。
3 嵌入式web服务器的实现
3.1 嵌入式web服务器的选择
linux下嵌入式web服务器主要有3个，分别是httpd、thttpd和boa。httpd是最简单的一个web服务器，它的功能最弱，不支持认证，不支持cgi。thttpd和boa都支持认证和cgi等，功能都比较全。本系统采用boa web服务器，它通过建立http请求列表来处理多路http连接请求，节省了系统资源，这对嵌入式系统来说至关重要。同时它还具有自动生成目录、自动解压文件等功能。boa具有很高的http请求处理速度和效率，在嵌入式系统中具有很高的应用价值。
3.2 boa在arm上的移植与配置
(1)移植过程
从http://www.boa.org/下载boa源码，选择boa-0.94.13.tar.gz,输入解压命令“tar xzvf boa-0.94.13.tar.gz”；进入解压生成的源码目录下的src子目录，输入命令“./configure”,生成makefile文件；修改makefile文件，将cc和cpp的值改成交叉编译器安装的路径；输入命令“make”即可交叉编译生成可执行文件boa,通过串口下载到根文件系统下的/ bin下就实现了移植。
(2)配置
在/etc目录下新建一个boa目录，里面存放boa的主要配置文件boa.conf，在boa源码目录下已有一个示例boa.conf，可以在其基础上进行修改；修改group nogroup为group root，修改user nobody为user root，这里的root是开发板存在的组和用户；修改#servername www.your.org.here为servername cs2440；修改documentroot /var/www为documentroot /www,设置html文档的主目录/www，其他采用默认设置即可。此外，还需要将mime.types文件复制到/etc目录下，通常可以从linux主机的/etc目录下直接复制即可。
4 基于b/s模式的用户视频监控端实现
系统采用b/s模式，相比c/s模式，用户不需要做任何维护，这对用户人力、物力、时间、费用的节省是显而易见的，并且可以跨平台操作，真正方便了用户。
系统通过开发java applet应用程序，并嵌入网页中，网页名称设为boa web服务器默认主页名，把它们保存在/www中，用户在浏览器地址栏中输入视频服务器的ip地址，就能在网页里显示摄像头的监控图像。通过java applet与视频服务器进行交互，实现对视频数据的控制、传输和播放。java applet程序中主要功能步骤和主要函数可描述为：
(1)创建套接字、输入流和输出流。
connection=new socket(m_strserver,port)；
in=connection.getinputstream()；
out=connection.getoutputstream()；
ip地址及端口都是由嵌入在html中…部分的参数传入的，并创建此socket对象的输入流和输出流。
(2）分配接收缓冲区：byte[]buffer=new byte[512*1024]；
(3)发送一个用户控制信息。它由用户用鼠标点击图标而生成。当用户点击浏览器中的视频窗口时，在上方会显示亮度等图标，通过点击图标两侧的“+”和“-”而写入控制信息；当点击图标以外的地方，图标就会消失，实现全窗口的视频，便于监控，操作简单。
public void mouse(mouseevent evt) {…}；
out.write(b);//b是包含控制信息的字符数组名
(4)读取一帧图像头信息，确认图像数据的正确性和获取图像数据的大小。
n=in.read(buffer,0,hdrlen)；//hdrlen为图像信息头长度，设置为50 b
对头信息中包含的约定字符进行判断，若正确就可以继续接收图像数据，不正确则返回（3）。
(5)读取图像数据，把头信息后的图像数据写入缓冲区，以供播放显示。
r=in.read(buffer,hdrlen,buffer.length-hdrlen);
(6)实现图像显示。由于缓冲区中包含图像头信息，为单独使用图像数据，需把图像数据拷贝到另一缓冲区buffer2中。
bufferedimage image= imageio.read(new bytearrayinputstream(buffer2))；
imageicon ii=new imageicon(image)；
m_label.seticon(ii)；//显示图像
通过以上（3）到（6）的不断循环运行，用户从监控网页上可以看到连续动态的图像，效果很好，画面流畅，不存在明显的延时，实现了视频监控。
本文提出的这种基于b/s的嵌入式视频监控系统相比传统c/s模式，真正实现了用户零维护，可以跨平台监控，方便用户。采用嵌入式处理器和linux操作系统相结合，很好地体现了本监控系统具有集成化、网络化、功耗低等优点，可广泛扩展应用在工业控制、可视电话、交通管理等诸多领域。
参考文献
[1] 刘富强.数字视频监控系统的开发及应用[m」.北京:机械工业出版社，2003:2-16.
[2] 于明,范书瑞,曾祥烨.arm9 嵌入式系统设计与开发教程[m].北京:电子工业出版社,2006:15-75.
[3] samsung electronics.s3c2440a 32-bit cmos microcontroller user’s manual[s],2004.
[4] vimicro corporation.zc0301 preliminary data sheet[m/cd].2002.
[5] 张曦煌,柴志雷.linux中tcp/ip协议实现及嵌入式应用[m].北京：北京航空航天大学出版社，2008：5-12.
矿区无线监控系统的架构、原理及应用实现
如何正确选择合适的网线
2017跳槽好选择，AR/VR行业人才需求暴涨
现在的自动驾驶技术发展到哪一步了
买了电视怎么装？平板电视壁挂3要素
B/S模式设计的嵌入式视频监控系统技术
John Lord：华为5G禁令涉及仇外心理 不会退出澳洲市场
Microchip宣布推耐辐射SuperFlash®产品系列
一加7评测 3000元档相对全能的选择
基于区块链技术FACTS解决方案
意法半导体汽车级导航及航位推算模块 简化设计，提高性能
智能手机应用处理器市场收入2018年将达300亿美元
EDA厂商备受关注 概伦电子2022年营业收入2.79亿同比增长43.68%
uc3844的工作原理与电路设计
中国移动未来的战略思想和运营思路分析
红外线测温仪如何重置和校准
麻省理工研发的超透镜可以实现鱼眼图像，完全超出了人们的预期
关于机器人的恐怖谷效应
NS-FZ发电机中性点接地电阻柜应该如何接线
疫情下的人工智能到底能给我们带来多大的便利