美文网首页
异常检测基本概念

异常检测基本概念

作者: 58506fd3fbed | 来源:发表于2021-01-10 23:00 被阅读0次

异常检测(又称outlier detection、anomaly detection,离群值检测)是一种重要的数据挖掘方法可以找到与“主要数据分布”不同的异常值(deviant from the general data distribution),比如从信用卡交易中找出诈骗案例,从正常的网络数据流中找出入侵,有非常广泛的商业应用价值。同时它可以被用于机器学习任务中的预处理(preprocessing),防止因为少量异常点存在而导致的训练或预测失败

异常检测算法基本都是无监督学习,所以只需要X(输入数据),而不需要y(标签)。PyOD的使用方法和Sklearn中聚类分析很像,它的检测器(detector)均有统一的API。

fit(X): 用数据X来“训练/拟合”检测器clf。即在初始化检测器clf后,用X来“训练”它。

fit_predict_score(X, y): 用数据X来训练检测器clf,并预测X的预测值,并在真实标签y上进行评估。此处的y只是用于评估,而非训练

decision_function(X): 在检测器clf被fit后,可以通过该函数来预测未知数据的异常程度,返回值为原始分数,并非0和1。返回分数越高,则该数据点的异常程度越高

predict(X): 在检测器clf被fit后,可以通过该函数来预测未知数据的异常标签,返回值为二分类标签(0为正常点,1为异常点)

predict_proba(X): 在检测器clf被fit后,预测未知数据的异常概率,返回该点是异常点概率

当检测器clf被初始化且fit(X)函数被执行后,clf就会生成两个重要的属性:

decision_scores: 数据X上的异常打分,分数越高,则该数据点的异常程度越高

labels_: 数据X上的异常标签,返回值为二分类标签(0为正常点,1为异常点)

不难看出,当我们初始化一个检测器clf后,可以直接用数据X来“训练”clf,之后我们便可以得到X的异常分值(clf.decision_scores)以及异常标签(clf.labels_)。当clf被训练后(当fit函数被执行后),我们可以使用decision_function()和predict()函数来对未知数据进行训练

相关文章

  • 5月组队学习01:异常检测介绍

    Task01 异常检测介绍(2天) ● 了解异常检测基本概念 ● 了解异常检测基本方法 1. 定义: 异常检测是识...

  • 异常点检测方法

    一、基本概念 异常对象被称作离群点。异常检测也称偏差检测和例外挖掘。 常见的异常成因:数据来源于不同的类(异常对象...

  • 网络入侵的检测和预防

    标签: 异常检测, 入侵检测,入侵防御,IDS,IPS 异常检测 (Anomaly detection) 异常检测...

  • 【算法】异常检测

    异常检测 异常检测(Anomaly Detection):异常检测就是从数据集中检测出异常样本,是一种无监督学习。...

  • 异常以及else with语句笔记

    #异常 #检测异常 try: ...#检测范围 except OSError as reason: #出现异常后的...

  • 关于异常

    异常包括检测异常和非检测异常,开发人员在使用的时候通常使用非检测异常,认为检测异常没有什么用,实际上这种思想是错误...

  • 编程作业(八)

    异常检测与推荐系统 异常检测 在本节练习中,你将实现一个异常检测算法用于检测服务器上的异常行为。特征变量为每台服务...

  • 异常检测

    异常检测 说说我认为的异常 身处在每天调用量很大的业务系统的团队中,开发同学常常要关注于系统是否正常。说的简单点,...

  • 异常检测

    异常检测,英文成为abnormal detection 。这类问题包括银行欺诈,结构缺陷,医疗问题,文本错误等问题...

  • 异常检测

    1 PCA 标准化-协方差矩阵-特征值/特征向量-选择特征向量 计算投影值,投影值越大,越异常 2 DBSACN ...

网友评论

      本文标题:异常检测基本概念

      本文链接:https://www.haomeiwen.com/subject/mvyjaktx.html