https://zhuanlan.zhihu.com/p/37753692
在这个文章里面有个关于LOF算法比较具体的实现步骤
在sklearn包里面有LOF的库，可以直接调用。
核心代码：
clf=LocalOutlierFactor(n_neighbors=20,algorithm='auto',contamination=0.1,n_jobs=-1,p=2)
●n_neighbors=20:即LOF算法中的k的值，检测的邻域点个数超过样本数则使用所有的样本进行检测
●algorithm = 'auto'：使用的求解算法，使用默认值即可
●contamination = 0.1：范围为 (0, 0.5)，表示样本中的异常点比例，默认为 0.1
● n_jobs = -1：并行任务数，设置为-1表示使用所有CPU进行工作
● p = 2：距离度量函数，默认使用欧式距离。（其他距离模型使用较少，这里不作介绍。具体参考官方文档）
clf.fit(data)
无监督学习，只需要传入训练数据data，就可以训练出LOF算法模型，不过输入数据的维度至少是二维
clf.kneighbors(data)
●获取到k距离邻居内的每个点到中心点的距离，并从小到大排列
●返回2nk数组，包含[距离，样本检索]
clf.decision_function(data)
●获取每个样本点的LOF值，不过输出结果是LOF值的相反数，需要取反
●这个函数是在clf.predict(data)的基础上进行改进的，会有更多的功能。
●clf.predict(data)会给出异常点的判断，异常值返回-1，正常值返回1；
实战实例
1、LOF算法部分
def localoutlierfactor(data, predict, k):
from sklearn.neighbors import LocalOutlierFactor
clf = LocalOutlierFactor(n_neighbors=k + 1, algorithm='auto', contamination=0.1, n_jobs=-1)
clf.fit(data)
# 记录 k 邻域距离
predict['k distances'] = clf.kneighbors(predict)[0].max(axis=1)
# 记录 LOF 离群因子，做相反数处理
predict['local outlier factor'] = -clf._decision_function(predict.iloc[:, :-1])
return predict
def plot_lof(result, method):
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号
plt.figure(figsize=(8, 4)).add_subplot(111)
plt.scatter(result[result['local outlier factor'] > method].index,
result[result['local outlier factor'] > method]['local outlier factor'], c='red', s=50,
marker='.', alpha=None,
label='离群点')
plt.scatter(result[result['local outlier factor'] <= method].index,
result[result['local outlier factor'] <= method]['local outlier factor'], c='black', s=50,
marker='.', alpha=None, label='正常点')
plt.hlines(method, -2, 2 + max(result.index), linestyles='--')
plt.xlim(-2, 2 + max(result.index))
plt.title('LOF局部离群点检测', fontsize=13)
plt.ylabel('局部离群因子', fontsize=15)
plt.legend()
plt.show()
def lof(data, predict=None, k=5, method=1, plot=True):
import pandas as pd
# 判断是否传入测试数据，若没有传入则测试数据赋值为训练数据
try:
if predict == None:
predict = data.copy()
except Exception:
pass
predict = pd.DataFrame(predict)
# 计算 LOF 离群因子
predict = localoutlierfactor(data, predict, k)
if plot == True:
plot_lof(predict, method)
# 根据阈值划分离群点与正常点
outliers = predict[predict['local outlier factor'] > method].sort_values(by='local outlier factor')
inliers = predict[predict['local outlier factor'] <= method].sort_values(by='local outlier factor')
return outliers, inliers
详细的代码见上，可以发现，其实这三个函数就是在LOF库的基础上进行了判断和丰富。
2、导入数据进行判断
import numpy as np
import pandas as pd
# 根据文件位置自行修改
posi = pd.read_excel(r'E:\\CNOOC_drilling\\11month\\离群点异常点\\已结束项目任务数据.xls')
lon = np.array(posi["任务gps经度"][:]) # 经度
lat = np.array(posi["任务gps 纬度"][:]) # 纬度
A = list(zip(lat, lon)) # 按照纬度-经度匹配
# 获取任务密度，取第5邻域，阈值为2（LOF大于2认为是离群值）
outliers1, inliers1 = lof(A, k=5, method = 2)
zip函数代表的是将两个对象中对应的元素进行打包，打包成元组，在菜鸟教程里面有详细解释：
a = [1,2,3]
b = [4,5,6]
c = [4,5,6,7,8]
zipped = zip(a,b) # 打包为元组的列表
输出：[(1, 4), (2, 5), (3, 6)]
zip(a,c) # 元素个数与最短的列表一致
输出：[(1, 4), (2, 5), (3, 6)]
zip(zipped) # 与 zip 相反，zipped 可理解为解压，返回二维矩阵式
输出：[(1, 2, 3), (4, 5, 6)]
结果：
从图片可以看出根据设定的k值的不同，离群点会根据下方的虚线进行不同的设定，纵坐标代表的就是LOF的值，也就是说method大于2会被认为是离群点。
这个图更加的直观，横纵坐标分别表示数据中的经、纬度，对于不同的离群点数据，偏离程度越大，其周围的红色的圈越大，也就是表示在很大的区域内都没有邻近点。
网友评论