问题描述:
![](https://img.haomeiwen.com/i1328200/4ef898d7e817add1.png)
什么是异常?
取决于你提供什么样的训练资料
![](https://img.haomeiwen.com/i1328200/092495101448ef2d.png)
异常检测的应用:
![](https://img.haomeiwen.com/i1328200/4a2928d8f7f05d69.png)
异常检测思路一——二分类思路?
难点:不平衡的数据集,异常难以定义(异常的种类很多,不能单独归为一类),异常的资料难以收集
异常检测的分类
有标签:可以将没有标签的那一类归为“unknown”,这类问题也叫open-set recognition
无标签:1)所有的数据都是正常数据 2)只有小部分数据为异常数据
![](https://img.haomeiwen.com/i1328200/14b278c61b74104e.png)
Case1——有标签的异常检测
输入x,通过分类器,不仅输出标签,而且输出信心分数(表示对这个类别的信心为多少),通过信心分数与阈值的比较来决定是否为异常。
![](https://img.haomeiwen.com/i1328200/4f2b97584b255224.png)
可以在训练神经网络时,直接输出信心分数。
![](https://img.haomeiwen.com/i1328200/153bf7049f6291d3.png)
异常检测的衡量指标:
取决于解决什么问题,误判的代价大,还是漏判的代价大。
![](https://img.haomeiwen.com/i1328200/f03f25dd2cb41676.png)
Case2——无标签的异常检测
找到一个P(x),利用概率模型来进行异常检测
找到使得,产生如下概率分布的可能最大的参数
![](https://img.haomeiwen.com/i1328200/b21b48caa6f1d9e9.png)
例如高斯分布:
![](https://img.haomeiwen.com/i1328200/448fe8e55a2193fe.png)
![](https://img.haomeiwen.com/i1328200/ddb4647f363c0717.png)
其他方法:
![](https://img.haomeiwen.com/i1328200/9fc2322806fe3010.png)
如果无法通过编码解码得到原图,则为异常
![](https://img.haomeiwen.com/i1328200/140df0863cd96104.png)
![](https://img.haomeiwen.com/i1328200/d562576e3a1e43be.png)
基于PCA的方法:
![](https://img.haomeiwen.com/i1328200/f14d07dba25af0e2.png)
![](https://img.haomeiwen.com/i1328200/797b635859c230e0.png)
![](https://img.haomeiwen.com/i1328200/1d48da855cf2baa4.png)
网友评论