如何判断机器学习系统性能
本文主要来源于中国慕课大学《机器学习概论》学习笔记
图一新闻中的面部识别系统的识别率（准确率）达到99.8%，人们大概率对该识别率的直观感觉是较高的。但若在实际生活中，信息不匹配情况的概率为1%，则将所有情况识别为匹配，识别率可达99%；若信息不匹配情况的概率为0.1%，则识别率可达99.9%。因此，在未知样本先验分布的情况下，仅根据识别率判断机器学习系统性能是没有意义的。
图一，图片来源：根据中国慕课大学《机器学习概论》资料制作 因此，判断机器学习系统性能需要更复杂的指标，例如：混淆矩阵（confusion matrix）、roc曲线等。
一、混淆矩阵的形式
混淆矩阵如表一所示，混淆矩阵中包含两种识别正确的情况和两种识别错误的情况。 （1）两种识别正确的情况为： 1）true positive（tp），即正样本被识别为正样本的数量（或概率） 2）true negative（tn），即负样本被识别为负样本的数量（或概率） （2）两种识别错误的情况为： 1）false negative（fn），即正样本被识别为负样本的数量（或概率） 2）false positive（fp），即负样本被识别为正样本的数量（或概率）
预测
实际 正样本 负样本
正样本 true positive（tp） false negative（fn）
负样本 false positive（fp） true negative（tn）
表一，内容来源：中国慕课大学《机器学习概论》 二、兵（车）王问题混淆矩阵的数量形式 兵（车）王问题在23086个测试样本中的混淆矩阵如表二所示：
预测
实际 正样本 负样本
正样本 tp（2249） fn（39）
负样本 fp（51） tn（20717）
表二，内容来源：中国慕课大学《机器学习概论》 根据兵（车）王问题的混淆矩阵：兵（车）王问题将2249个正样本识别为正样本，将20717个负样本识别为负样本；将39个正样本识别为负样本，将51个负样本识别为正样本。 根据兵（车）王问题的混淆矩阵：兵（车）王问题共包含2288个正样本（通过tp+fn得出）和20768个负样本（通过fp+tn得出），该兵（车）王问题的机器学习系统识别率为99.61%（通过(tp+tn)/(tp+tn+fp+fn)得出），若将所有测试样本猜测为负样本，则猜测正确的概率为89.96%（通过(fp+tn)/(tp+tn+fp+fn)）。 通过混淆矩阵可以得出：在一个依靠猜测可使识别率达至89.96%的问题中，上述机器学习系统的识别率可达99.61%，即上述机器学习系统的性能较好，但其性能应低于通常人们所认知的识别率为99.61%的系统的性能。
三、兵（车）王问题混淆矩阵的概率形式
因为兵（车）王问题兵（车）王问题共包含2288个正样本和20768个负样本，且正样本数量和负样本数量是不变的，所以兵（车）王问题混淆矩阵的概率形式可通过下述方式计算： （1）tp=2249/2288=98.295% （2）fn=39/2288=1.705% （3）fp=51/20768=0.246% （4）tn=20717/20768=99.754%
转化得出（该过程可被称为“以行做归一化”）。兵（车）王问题混淆矩阵的概率形式如表三所示：
预测
实际 正样本 负样本
正样本 tp（98.295%） fn（1.705%）
负样本 fp（0.246%） tn（99.754%）
表三，内容来源：中国慕课大学《机器学习概论》 根据表三可得出： （1）tp+fn=1 （2）fp+tn=1
电子设备USB Type C连接器接口防水密封胶环氧填充胶水应用
如何将FT205超声波风传感器集成到固定翼无人机中去
星源材质的“锂离子电池隔膜应用与开发进展”的主题演讲
大数据下 分析云存储是否能应对挑战
热电偶信号放大电路
如何判断机器学习系统性能
取长补短 电动汽车未来前景广阔
向文杰：弥补技能鸿沟，超级工人引领智能化革命
绝缘测试仪怎么测绝缘电阻
如何表达晶体取向？介绍一下晶体取向的图形表示法
汽车什么传感器容易坏_汽车传感器为什么会坏_汽车传感器坏了严重吗
RS485/232控制系统中的IBF68：检测开关量信号或控制设备运行
印刷电子制造中的厚膜光刻技术
油烟在线检测解决方案
车辆网络安全的挑战
相异步电动机常见故障原因及解决方法
基于NCPl200的12V/1A开关电源电路
荣耀9什么时候上市？荣耀9的发布还能挽回华为P10的尴尬局面吗？
华为mate10什么时候上市？华为mate10、魅族mx7最新消息：亮剑时刻！华为mate10携手三款顶配旗舰即将来袭
JBLC230TWS真无线耳机评测 完全不输千元级别耳机的音质
图一新闻中的面部识别系统的识别率（准确率）达到99.8%，人们大概率对该识别率的直观感觉是较高的。但若在实际生活中，信息不匹配情况的概率为1%，则将所有情况识别为匹配，识别率可达99%；若信息不匹配情况的概率为0.1%，则识别率可达99.9%。因此，在未知样本先验分布的情况下，仅根据识别率判断机器学习系统性能是没有意义的。
图一，图片来源：根据中国慕课大学《机器学习概论》资料制作 因此，判断机器学习系统性能需要更复杂的指标，例如：混淆矩阵（confusion matrix）、roc曲线等。
一、混淆矩阵的形式
混淆矩阵如表一所示，混淆矩阵中包含两种识别正确的情况和两种识别错误的情况。 （1）两种识别正确的情况为： 1）true positive（tp），即正样本被识别为正样本的数量（或概率） 2）true negative（tn），即负样本被识别为负样本的数量（或概率） （2）两种识别错误的情况为： 1）false negative（fn），即正样本被识别为负样本的数量（或概率） 2）false positive（fp），即负样本被识别为正样本的数量（或概率）
预测
实际 正样本 负样本
正样本 true positive（tp） false negative（fn）
负样本 false positive（fp） true negative（tn）
表一，内容来源：中国慕课大学《机器学习概论》 二、兵（车）王问题混淆矩阵的数量形式 兵（车）王问题在23086个测试样本中的混淆矩阵如表二所示：
预测
实际 正样本 负样本
正样本 tp（2249） fn（39）
负样本 fp（51） tn（20717）
表二，内容来源：中国慕课大学《机器学习概论》 根据兵（车）王问题的混淆矩阵：兵（车）王问题将2249个正样本识别为正样本，将20717个负样本识别为负样本；将39个正样本识别为负样本，将51个负样本识别为正样本。 根据兵（车）王问题的混淆矩阵：兵（车）王问题共包含2288个正样本（通过tp+fn得出）和20768个负样本（通过fp+tn得出），该兵（车）王问题的机器学习系统识别率为99.61%（通过(tp+tn)/(tp+tn+fp+fn)得出），若将所有测试样本猜测为负样本，则猜测正确的概率为89.96%（通过(fp+tn)/(tp+tn+fp+fn)）。 通过混淆矩阵可以得出：在一个依靠猜测可使识别率达至89.96%的问题中，上述机器学习系统的识别率可达99.61%，即上述机器学习系统的性能较好，但其性能应低于通常人们所认知的识别率为99.61%的系统的性能。
三、兵（车）王问题混淆矩阵的概率形式
因为兵（车）王问题兵（车）王问题共包含2288个正样本和20768个负样本，且正样本数量和负样本数量是不变的，所以兵（车）王问题混淆矩阵的概率形式可通过下述方式计算： （1）tp=2249/2288=98.295% （2）fn=39/2288=1.705% （3）fp=51/20768=0.246% （4）tn=20717/20768=99.754%
转化得出（该过程可被称为“以行做归一化”）。兵（车）王问题混淆矩阵的概率形式如表三所示：
预测
实际 正样本 负样本
正样本 tp（98.295%） fn（1.705%）
负样本 fp（0.246%） tn（99.754%）
表三，内容来源：中国慕课大学《机器学习概论》 根据表三可得出： （1）tp+fn=1 （2）fp+tn=1
电子设备USB Type C连接器接口防水密封胶环氧填充胶水应用
如何将FT205超声波风传感器集成到固定翼无人机中去
星源材质的“锂离子电池隔膜应用与开发进展”的主题演讲
大数据下 分析云存储是否能应对挑战
热电偶信号放大电路
如何判断机器学习系统性能
取长补短 电动汽车未来前景广阔
向文杰：弥补技能鸿沟，超级工人引领智能化革命
绝缘测试仪怎么测绝缘电阻
如何表达晶体取向？介绍一下晶体取向的图形表示法
汽车什么传感器容易坏_汽车传感器为什么会坏_汽车传感器坏了严重吗
RS485/232控制系统中的IBF68：检测开关量信号或控制设备运行
印刷电子制造中的厚膜光刻技术
油烟在线检测解决方案
车辆网络安全的挑战
相异步电动机常见故障原因及解决方法
基于NCPl200的12V/1A开关电源电路
荣耀9什么时候上市？荣耀9的发布还能挽回华为P10的尴尬局面吗？
华为mate10什么时候上市？华为mate10、魅族mx7最新消息：亮剑时刻！华为mate10携手三款顶配旗舰即将来袭
JBLC230TWS真无线耳机评测 完全不输千元级别耳机的音质