一、roc曲线的含义
roc曲线的英文名称为receiver operating characteristic curve,中文译为受试者工作特征曲线。
roc曲线是基于混淆矩阵发展而来的系统识别的性能度量。如表一所示,在混淆矩阵中,若系统的tp增加,则该系统fp增加,即若开发人员欲使机器学习系统将更多的正样本识别为正样本(tp增加),则该系统一定会将更多的负样本识别为正样本(fp增加)。
预测
实际 正样本 负样本
正样本 true positive(tp) false negative(fn)
负样本 false positive(fp) true negative(tn)
表一,内容来源:中国慕课大学《机器学习概论》
对于支持向量机学习系统,“若系统的tp增加,则该系统fp增加”的结论可基于支持向量机的判别公式理解。
支持向量机的判别公式为: 若∑αiyik(xi,x)+b≥0,则y=+1(判别为正样本); 若∑αiyik(xi,x)+b<0,则y=-1(判别为负样本)。
若将上述支持向量机的判别公式的阈值从“0”更改至“-1”为: 若∑αiyik(xi,x)+b≥-1,则y=+1(判别为正样本); 若∑αiyik(xi,x)+b<-1,则y=-1(判别为负样本)。
则不仅正样本被判别为正样本的数量增加,负样本被判别为正样本的数量也增加,即此机器向量机系统的tp和fp均增加。
因此,虽然支持向量机可通过改变判别式阈值增加tp,但此种方法也将导致fp增加,即简单改变判别式阈值不能有效提高系统的性能。可有效提高系统性能的方式是设计更优的算法。
基于此,人们可通过系统tp与fp之间的关系,即绘制tp与fp曲线(roc曲线)判别系统性性能的优劣。
二、roc曲线的绘制
图一中的四条曲线均为roc曲线,roc曲线的横坐标为fp,纵坐标为tp。
roc曲线的绘制步骤如下:
(1)将每个测试样本的值带入至∑αiyik(xi,x)+b中计算;
(2)将第(1)步所计算出的值从小到大排序;
(3)将第(2)步完成排序的值作为判别式的阈值,并计算每个阈值下的tp和fp的值;
(4)将同一阈值下tp和fp的值作为一个点的纵坐标和横坐标,将所有点绘制于坐标系中,所有点连接绘制的曲线即为roc曲线。
图一,图片来源:中国慕课大学《机器学习概论》
三、通过roc曲线判别系统性能的方式
如图一所示,坐标系中包含四种算法的roc曲线。根据图一roc曲线,此四种算法中,蓝色roc曲线所对应的算法最优,紫色roc曲线所对应的算法最差,即越贴近左上角的roc曲线性能越好。
该结论可通过以下方式理解:对于相同的fp,roc曲线越贴近左上角,所对应的算法的tp越大,即算法性能越好。
根据roc曲线可衍生出系统识别的性能度量包括:auc(area under curve)和eer(equal error rate)
(1)auc auc是指roc曲线下方的面积,该指标越大,系统性能越好。
图片来源:中国慕课大学《机器学习概论》
(2)eer
eer的中文翻译为等错误率,等错误率为坐标系中点(0,1)和点(1,0)的连线与roc曲线交点的横坐标,eer越小,系统性能越好。
图片来源:中国慕课大学《机器学习概论》
利用Simulink Design Optimization估计直流电机参数
MXB7846数据转换器的工作原理及应用分析
云计算技术发展的六大趋势
BOE(京东方)牵头制定国内首个HUD行业标准 引领智能座舱全新范式
AI技术的快速发展让电话机器人应运而生
支持向量机(系统识别的性能度量之ROC曲线)
集成光子制备工艺的研究
汽车电子不同制动器的结构和作用
加速电容作用?电路工作原理分析
三星Tab S7系列平板渲染图在网上曝光 还有新功能加入
物联网是安防行业的下一个风口
富士康子公司正设法提高MicroLED的产能 欲成为苹果MicroLED供应商
一文解析服务机器人行业发展现状及发展趋势
AMD入主Intel CPU,携手共同发展
码头视频监控系统设计
MICLEDI:计划在300mm晶圆上展示RGB Micro LED显示器
过氧化氢在SC1清洁中的应用
基于STM32单片机的多肉系统设计
怎样使用毛刺滤波器来滤除毛刺和反弹?
苹果宣布对Harlem Capital进行1000万美元投资