美文网首页
异常检测:MS-LSTM阅读笔记

异常检测:MS-LSTM阅读笔记

作者: 飙6风 | 来源:发表于2020-04-21 21:04 被阅读0次

一、文章简介

名称:《MS-LSTM: a Multi-Scale LSTM Model for BGP Anomaly Detection

时间:2016年

期刊:2016 IEEE 24thInternational Conference on Network Protocols (ICNP)

二、论文总结

2.1 论文目的

    使用LSTM对BGP流量进行异常检测。

2.2 写作动机    

    前人采用签名、统计、机器学习等方法进行BGP流量异常检测有很多不足:(1)所有方法通常都会选择当前的流量特征来做出决定,而与流量数据的时间序列无关,因为时间序列分析会带来额外的影响;(2)基于统计的技术假设数据集遵循一定的分布,并且需要领域知识,例如阈值参数。但是,规则流量是随机的,因此很难确定流量模型的固定参数。因此,基于统计的技术在实际使用中并不实用。

    建议采用长期短期记忆(LSTM)模型进行BGP异常检测。我们发现BGP流量的时间序列在不同的时间尺度上表现出不同的不同模式。选择适当的时标可以帮助分类模型更好地执行。基于此观察,我们将时标属性整合到LSTM模型中(本文中称为MS-LSTM模型),并验证其在多个时标中的性能。

2.3 实现思路


    输入:前N个流量x_{t_{1}} , x_{t_{2}} , ...., x_{t_{n}}

    输出:第x_{t_{n+1}}个流量状态(是否异常)。


(1)数据预处理

    假设窗口长度为e,状态x_{t_{n}}与子序列S_{n}=(x_{t_{n-e+1}},x_{t_{n-e+2}},…,x_{t_{n}})相关联;每个子序列S_{n}被时间尺度p压缩,S_{n}=(d_{1},d_{2},…,d_{e/p})

    dS_{n}p个样本的平均值,d_{1}=1/p(x_{t_{n-e+1}}+x_{t_{n-e+2}}+…+x_{t_{n-e+p}})

这样就得到n-e+1个训练数据集S,每个数据集标签与最后一个向量的状态相同,L(S_{n})=L(X_{t_{n}})

(2)构建MS-LSTM分类模型

LSTM memory cell结构

    让S作为memory cell的输入,C_{t^, }表示cell状态,h_{t^,}表示时间为t^,时输出门的值,W_{f} , W_{c}, W_{o}, U_{i}, U_{f} , U_{c}, U_{o}, V_{o}代表权重矩阵,b_{i},b_{f},b_{o}是偏差向量。

LSTM分类图

     LSTM网络的关键是能够向单元状态添加或删除信息,该功能由称为门的结构来控制。 门就像过滤器一样,使可选信息通过。它们由S型神经层组成,其输出在0到1之间。上图,我们可以看到一个LSTM cell有三个这样的门来控制信息。 通过LSTM,信息被传输,过滤,合并,最后将整体消息输出到下一个存储单元。

    步骤如下:

- 丢弃多余的旧信息:

公式1

- 存储有用的新信息:

公式2

- 更新单元状态:

公式3

- 下一个存储单元的输出:

公式4

文章使用的LSTM模型由一个LSTM层,一个平均轮询层和一个Logistic回归层组成。 在平均池化层中对输出门值h_{1}h_{2},...,h_{t}^, 进行平均,并得出新的h
。 Logistic回归层是一个二进制分类层,它训练hlabel的损失函数。

相关文章

  • 异常检测:MS-LSTM阅读笔记

    一、文章简介 名称:《MS-LSTM: a Multi-Scale LSTM Model for BGP Anom...

  • 网络入侵的检测和预防

    标签: 异常检测, 入侵检测,入侵防御,IDS,IPS 异常检测 (Anomaly detection) 异常检测...

  • 【算法】异常检测

    异常检测 异常检测(Anomaly Detection):异常检测就是从数据集中检测出异常样本,是一种无监督学习。...

  • 5月组队学习01:异常检测介绍

    Task01 异常检测介绍(2天) ● 了解异常检测基本概念 ● 了解异常检测基本方法 1. 定义: 异常检测是识...

  • 论文阅读_异常检测综述

    英文题目:Anomaly Detection : A Survey中文题目:异常检测综述论文地址:https://...

  • 机器学习笔记036 | 异常检测的注意点

    1 异常检测和监督算法的区别 在上一篇笔记中,我们在说明异常检测的时候提到,训练集全部都是正常的样本,而验证集和测...

  • 异常以及else with语句笔记

    #异常 #检测异常 try: ...#检测范围 except OSError as reason: #出现异常后的...

  • 关于异常

    异常包括检测异常和非检测异常,开发人员在使用的时候通常使用非检测异常,认为检测异常没有什么用,实际上这种思想是错误...

  • 编程作业(八)

    异常检测与推荐系统 异常检测 在本节练习中,你将实现一个异常检测算法用于检测服务器上的异常行为。特征变量为每台服务...

  • 异常检测

    异常检测 说说我认为的异常 身处在每天调用量很大的业务系统的团队中,开发同学常常要关注于系统是否正常。说的简单点,...

网友评论

      本文标题:异常检测:MS-LSTM阅读笔记

      本文链接:https://www.haomeiwen.com/subject/eaxjihtx.html