基于3G视频的驾驶员疲劳状态检测方法
疲劳驾驶是司机在驾车过程中介于意识清醒和进人睡眠的一种非正常状态，是导致交通事故的主要原因之一。由于车辆流动性强、任务区域广、安全隐患多、风险责任大，并缺乏科学有效的监管手段，近年来疲劳驾驶所造成的车辆事故时有发生。通过3g视频监控系统对驾驶员面部状态的实时监控，一旦发现驾驶员眼睛疲劳状态立即进行报警，能有效减少驾驶员疲劳所造成的交通事故，解决车辆管理中“看不见、听不着、控不了”的难题。
基于3c视频的疲劳检测主要包括视频流解压抓帧、人脸定位、人眼定位追踪和疲劳判断4个部分。文中提出一种基于肤色检测及灰度信息的疲劳检测算法，能有效用于3g车辆视频监控系统。
1 视频采集及预处理
文中使用车辆内部的3g视频监控装置来进行视频采集，位于驾驶员头顶正面上方，拍摄在驾驶过程中多种光照环境下、不同姿势和精神状态的驾驶员视频。
视频预处理主要采用directshow技术进行视频流解压抓帧。利用directshow的媒体监测器对象（media detector object），将拍摄到的驾驶员视频文件进行视频流解压缩，实时在线地从视频流中提取指定的帧视频图像，并为后续的驾驶员眼睛状态检测提供位图数据。
媒体监测器不仅能获取媒体源文件的格式信息，也可以通过捕获过滤器从一个媒体文件的视频流中捕获一幅位图图像，通常获得的位图是24位rgb格式。通过搜索媒体文件，媒体监测器可以获得这个文件中任意点的图像。应用程序通过调用imediadet接口与media detector进行交互。接口包含了一些方法能够从媒体源文件中提取重要信息，比如媒体类型、帧速率甚至是视频流的单个帧。媒体监测器将过滤器视图封装到对象中，从而使应用程序屏蔽掉与视图相关的一些细节。
在疲劳检测中，用得到的第一幅图像检测人脸和眼睛，如若失败则从下一幅图像检测直至成功，并将得到的眼睛图像作为动态模板对以后的序列进行眼睛追踪，若失败则重新定位人眼。
2 基于肤色检测的人脸定位
肤色是人脸最为显著特征之一，对于彩色图像，肤色是图像中相对集中、稳定区域。肤色信息可将人脸和背景区域分开。研究表明，在除去亮度的色度空间中，不同人脸肤色分布具有聚类性。所以肤色的差异主要取决于色彩信息，而非亮度信息。基于肤色检测方法利用人的肤色中cr和cb的聚类特性，在ycbcr色彩空间中检测图像中是否存在人脸。这种算法检测速度快，并且受人脸旋转或侧转的影响较小。
肤色分割可以采用的色彩空间有很多种。其中ycbcr色彩空间具有与人类视觉感知过程类似的构成机理，能很好地反映肤色分布，并反映出肤色聚类特性。ycbcr模型与rgb模型的变换公式如下
通过对人脸数据库中和人脸视频图像中黄种人人脸肤色点的采样进行分析，可得到实验环境下肤色在ycbcr空间中的聚类，用数学表达式确定肤色范围的方法进行肤色建模。可根据chai采用ycbcr颜色空间的cbcr平面，如果某像素点的颜色落入cr=［133：173］和cb=［77：127］范围内，就认为是属于肤色像素，否则就认为是非肤色像素。确定为肤色区域后，将其认定的肤色区域的r、g、b值均设定为255，在图像中显示为白色；非肤色区域设y=r=g=b=0，即在图像中显示为黑色。随后对得到的图像采用自适应阈值二值化。
式中，g（t）为灰度值为t的像素个数；g为非零像素个数。最后利用投影技术及头部的特点确定人脸上下和左右边界。由于眼部处于人脸上半部分，故只需保留图像的3／5。
3 基于灰度信息的人眼定位
眼睛区域与周围区域相比，具有灰度值较低且灰度变化率较大的特点。因此可基于眼睛图像的灰度信息进行定位。
3．1 眼睛粗略定位
准确定位人脸后，根据面部器官分布，人眼在脸部的上半部，可以很简单的确定一个大概区域。观察人脸图片，发现眼部在水平方向经过皮肤、左眼眼白、左眼瞳孔、左眼眼白、皮肤、右眼眼白、右眼瞳孔、右眼眼白、皮肤、灰度变化较大。在灰度变化突变处进行微分，将产生高值，将其绝对值累加，则灰度变化越大的那一行，累积值越大。计算公式如下
f（x，y）为得到的人脸区域的灰度图像，通过实验发现，在眼睛处导数变化值之和的绝对值最大，通过此方法可粗略判断人眼所在线的位置。
3．2 人眼精确定位
通过观察发现眼睛周围cb值较高，而cr值较低，因此由式（5）计算得到特征图，以突出眼部特征。
其中，eyemap是眼睛特征图，都归一化到［0，255］之间，是由cr求反得到（255，cr）。在得到eyemap图后，设定阀值t，将eyemap小于t的值设为0，这一步可视为一个简单的滤波以去掉非眼部特征的干扰。
得到eyemap滤波图后，结合人眼粗定位结果，从左到右搜索，按比例定义相对于人脸区域一定大小的框，当框进eyemap滤波图值的和最大时，即为人眼。
3．3 眼睛的追踪
对人眼完成定位后，还要利用动态模板匹配的方法跟踪眼睛。设眼睛模板左上角的位置为（x，y），下一帧的搜索范围是原位置上沿上、下、左、右4个方向各扩展10个像素。其公式为
式中，n是模板中像索的个数；m为模板；i为图像中待匹配的部分。
可得所有大于阈值p的最大值所对应的坐标为最匹配的位置。以此得到的眼睛图像作为下一帧图像的模板。在追踪的过程中，若得到的p均小于阈值或两眼的行距过大则重新回到眼睛的检测过程。
4 基于perclos的疲劳识别
文中的疲劳识别基于perclos的p80模型，即将闭合程度大于80％的眼睛状态判断为闭合状态。以初始时刻司机清醒时的上下眼睑最大距离为标准，若以后得到的距离小于此距离的80％则判断为闭合。假设实验视频帧率10 f·s-1分辨率为640×480，时长60s。
则以每6 s视频作为1个检测单元，间隔0．33 s取1帧作眼睛状态检测。统计每个检测单元内18帧图像的状态，得到眼睛闭合帧数closefr ame_num和处理的总帧数sumframe_num，依据式（7）计算相应的perclos值。
如果所得perclos值大于实验确定的阈值20％，则判断此时驾驶员可能已处于疲劳状态，通过报警系统进行警告。
5 结束语
视频监控能对驾驶者进行监督提醒，有效预防疲劳驾驶，减少疲劳驾驶所引起的车辆事故。3g视频监控是车辆监控发展的新趋势。算法在3g监控视频帧的基础上，进行了人脸定位、人眼定位与追踪及疲劳状态判断。实验表明，该算法有较高的鲁棒性及准确性，并能有效应用于实际。
对高压电池管理系统的功能做出说明
从新能源汽车的设计来考虑
ARM-谈近来IC设计发展趋势
使用并行计算加速高性能计算应用程序
怎样制作树莓派Gmail通知灯
基于3G视频的驾驶员疲劳状态检测方法
印度新能源汽车市场引发全球动力电池企业争抢 将为国内更多动力电池企业提供平台
PCB线路上的噪声
销售/回收HP53132A HP 53132A频率计HP53
上海新阳：光刻胶产品处于实验研发和中试开发阶段
佳能EOS M6和A6300对比究竟谁更好
网关和路由器的区别 用网关的wifi好还是路由器的好
区块链和电子商务及加密货币相结合的产物“IOU平台”介绍
有毒气体检测仪的功能显现在哪里？
瑞萨正式宣布将6寸厂关闭出售
安全挂锁的应用十分广泛，市场销售的需求量大
企业能为了数字化转型接受多少风险？
如何用宽带消色差和偏振不敏感的超透镜提高图像质量？
广和通中标中国联通物联网5G数传模组采购项目
苹果iPhone12Pro前置摄像头得分98分，未进前五
基于3c视频的疲劳检测主要包括视频流解压抓帧、人脸定位、人眼定位追踪和疲劳判断4个部分。文中提出一种基于肤色检测及灰度信息的疲劳检测算法，能有效用于3g车辆视频监控系统。
1 视频采集及预处理
文中使用车辆内部的3g视频监控装置来进行视频采集，位于驾驶员头顶正面上方，拍摄在驾驶过程中多种光照环境下、不同姿势和精神状态的驾驶员视频。
视频预处理主要采用directshow技术进行视频流解压抓帧。利用directshow的媒体监测器对象（media detector object），将拍摄到的驾驶员视频文件进行视频流解压缩，实时在线地从视频流中提取指定的帧视频图像，并为后续的驾驶员眼睛状态检测提供位图数据。
媒体监测器不仅能获取媒体源文件的格式信息，也可以通过捕获过滤器从一个媒体文件的视频流中捕获一幅位图图像，通常获得的位图是24位rgb格式。通过搜索媒体文件，媒体监测器可以获得这个文件中任意点的图像。应用程序通过调用imediadet接口与media detector进行交互。接口包含了一些方法能够从媒体源文件中提取重要信息，比如媒体类型、帧速率甚至是视频流的单个帧。媒体监测器将过滤器视图封装到对象中，从而使应用程序屏蔽掉与视图相关的一些细节。
在疲劳检测中，用得到的第一幅图像检测人脸和眼睛，如若失败则从下一幅图像检测直至成功，并将得到的眼睛图像作为动态模板对以后的序列进行眼睛追踪，若失败则重新定位人眼。
2 基于肤色检测的人脸定位
肤色是人脸最为显著特征之一，对于彩色图像，肤色是图像中相对集中、稳定区域。肤色信息可将人脸和背景区域分开。研究表明，在除去亮度的色度空间中，不同人脸肤色分布具有聚类性。所以肤色的差异主要取决于色彩信息，而非亮度信息。基于肤色检测方法利用人的肤色中cr和cb的聚类特性，在ycbcr色彩空间中检测图像中是否存在人脸。这种算法检测速度快，并且受人脸旋转或侧转的影响较小。
肤色分割可以采用的色彩空间有很多种。其中ycbcr色彩空间具有与人类视觉感知过程类似的构成机理，能很好地反映肤色分布，并反映出肤色聚类特性。ycbcr模型与rgb模型的变换公式如下
通过对人脸数据库中和人脸视频图像中黄种人人脸肤色点的采样进行分析，可得到实验环境下肤色在ycbcr空间中的聚类，用数学表达式确定肤色范围的方法进行肤色建模。可根据chai采用ycbcr颜色空间的cbcr平面，如果某像素点的颜色落入cr=［133：173］和cb=［77：127］范围内，就认为是属于肤色像素，否则就认为是非肤色像素。确定为肤色区域后，将其认定的肤色区域的r、g、b值均设定为255，在图像中显示为白色；非肤色区域设y=r=g=b=0，即在图像中显示为黑色。随后对得到的图像采用自适应阈值二值化。
式中，g（t）为灰度值为t的像素个数；g为非零像素个数。最后利用投影技术及头部的特点确定人脸上下和左右边界。由于眼部处于人脸上半部分，故只需保留图像的3／5。
3 基于灰度信息的人眼定位
眼睛区域与周围区域相比，具有灰度值较低且灰度变化率较大的特点。因此可基于眼睛图像的灰度信息进行定位。
3．1 眼睛粗略定位
准确定位人脸后，根据面部器官分布，人眼在脸部的上半部，可以很简单的确定一个大概区域。观察人脸图片，发现眼部在水平方向经过皮肤、左眼眼白、左眼瞳孔、左眼眼白、皮肤、右眼眼白、右眼瞳孔、右眼眼白、皮肤、灰度变化较大。在灰度变化突变处进行微分，将产生高值，将其绝对值累加，则灰度变化越大的那一行，累积值越大。计算公式如下
f（x，y）为得到的人脸区域的灰度图像，通过实验发现，在眼睛处导数变化值之和的绝对值最大，通过此方法可粗略判断人眼所在线的位置。
3．2 人眼精确定位
通过观察发现眼睛周围cb值较高，而cr值较低，因此由式（5）计算得到特征图，以突出眼部特征。
其中，eyemap是眼睛特征图，都归一化到［0，255］之间，是由cr求反得到（255，cr）。在得到eyemap图后，设定阀值t，将eyemap小于t的值设为0，这一步可视为一个简单的滤波以去掉非眼部特征的干扰。
得到eyemap滤波图后，结合人眼粗定位结果，从左到右搜索，按比例定义相对于人脸区域一定大小的框，当框进eyemap滤波图值的和最大时，即为人眼。
3．3 眼睛的追踪
对人眼完成定位后，还要利用动态模板匹配的方法跟踪眼睛。设眼睛模板左上角的位置为（x，y），下一帧的搜索范围是原位置上沿上、下、左、右4个方向各扩展10个像素。其公式为
式中，n是模板中像索的个数；m为模板；i为图像中待匹配的部分。
可得所有大于阈值p的最大值所对应的坐标为最匹配的位置。以此得到的眼睛图像作为下一帧图像的模板。在追踪的过程中，若得到的p均小于阈值或两眼的行距过大则重新回到眼睛的检测过程。
4 基于perclos的疲劳识别
文中的疲劳识别基于perclos的p80模型，即将闭合程度大于80％的眼睛状态判断为闭合状态。以初始时刻司机清醒时的上下眼睑最大距离为标准，若以后得到的距离小于此距离的80％则判断为闭合。假设实验视频帧率10 f·s-1分辨率为640×480，时长60s。
则以每6 s视频作为1个检测单元，间隔0．33 s取1帧作眼睛状态检测。统计每个检测单元内18帧图像的状态，得到眼睛闭合帧数closefr ame_num和处理的总帧数sumframe_num，依据式（7）计算相应的perclos值。
如果所得perclos值大于实验确定的阈值20％，则判断此时驾驶员可能已处于疲劳状态，通过报警系统进行警告。
5 结束语
视频监控能对驾驶者进行监督提醒，有效预防疲劳驾驶，减少疲劳驾驶所引起的车辆事故。3g视频监控是车辆监控发展的新趋势。算法在3g监控视频帧的基础上，进行了人脸定位、人眼定位与追踪及疲劳状态判断。实验表明，该算法有较高的鲁棒性及准确性，并能有效应用于实际。
对高压电池管理系统的功能做出说明
从新能源汽车的设计来考虑
ARM-谈近来IC设计发展趋势
使用并行计算加速高性能计算应用程序
怎样制作树莓派Gmail通知灯
基于3G视频的驾驶员疲劳状态检测方法
印度新能源汽车市场引发全球动力电池企业争抢 将为国内更多动力电池企业提供平台
PCB线路上的噪声
销售/回收HP53132A HP 53132A频率计HP53
上海新阳：光刻胶产品处于实验研发和中试开发阶段
佳能EOS M6和A6300对比究竟谁更好
网关和路由器的区别 用网关的wifi好还是路由器的好
区块链和电子商务及加密货币相结合的产物“IOU平台”介绍
有毒气体检测仪的功能显现在哪里？
瑞萨正式宣布将6寸厂关闭出售
安全挂锁的应用十分广泛，市场销售的需求量大
企业能为了数字化转型接受多少风险？
如何用宽带消色差和偏振不敏感的超透镜提高图像质量？
广和通中标中国联通物联网5G数传模组采购项目
苹果iPhone12Pro前置摄像头得分98分，未进前五