循环神经网络在测试用例生成方向的研究

作者: 烨枫_邱 | 来源:发表于2019-04-30 17:47 被阅读0次

类比之前提到的BP算法,CNN(卷积神经网络)我们会发现, 他们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数字等单个物体的识别具有较好的效果. 但是, 对于一些与时间先后有关的, 比如视频的下一时刻的预测,文档前后文内容的预测等, 这些算法的表现就不尽如人意了.因此, RNN就应运而生了.

RNN具体是什么？

RNN是一种特殊的神经网络结构, 它是根据"人的认知是基于过往的经验和记忆"这一观点提出的. 它与CNN不同的是: 它不仅考虑前一时刻的输入,而且赋予了网络对前面的内容的一种'记忆'功能.

RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

RNN的主要投放应用领域有哪些

RNN的应用领域有很多, 可以说只要考虑时间先后顺序的问题都可以使用RNN来解决.这里主要说一下几个常见的应用领域:

① 自然语言处理(NLP): 主要有视频处理, 文本生成, 语言模型, 图像处理

② 机器翻译, 机器写小说

③ 语音识别

④ 图像描述生成

⑤ 文本相似度计算

⑥ 音乐推荐、网易考拉商品推荐、Youtube视频推荐等新的应用领域.

RNN(循环神经网络)的网络结构模型

首先来看一般的神经网络：

普通神经网络

CNN：

CNN神经网络

RNN神经网络：

其中每个圆圈可以看作是一个单元，而且每个单元做的事情也是一样的，因此可以折叠呈左半图的样子。用一句话解释RNN，就是一个单元结构重复使用。

在RNN中，有三个门：输入、忘记和输出门。这些门决定是否让新的输入(输入门)，删除信息，因为它不重要(忘记门)或让它在当前时间步(输出门)影响输出：

RNN是一个序列到序列的模型，神经网络最擅长做的就是通过一系列参数把很多内容整合到一起，然后学习这个参数，因此就定义了RNN的基础：

RNN公式

RNN参数意义

神经网络中的激活函数

RNN套用一个激活函数，来做一个非线性映射，来过滤信息(将重要的信息进行记录，将不重要得到信息进行过滤)。

继续看RNN时间线展开图， t-1, t, t+1表示时间序列. X表示输入的样本. St表示样本在时间t处的的记忆,St = f(W*St-1 +U*Xt). W表示输入的权重, U表示此刻输入的样本的权重, V表示输出的样本权重。

在t =1时刻, 一般初始化输入S0=0, 随机初始化W,U,V, 进行下面的公式计算:

其中,f和g均为激活函数. 其中f可以是tanh,relu,sigmoid等激活函数，g通常是softmax也可以是其他。时间向前推进，此时的状态s1作为时刻1的记忆状态将参与下一个时刻的预测活动，也就是:

最后给出RNN的总括图：

总括图

多层RNN结构图：

多层RNN结构图

注意:

1. 这里的W,U,V在每个时刻都是相等的(权重共享).

2. 隐藏状态可以理解为: S=f(现有的输入+过去记忆总结)

LSTM算法(Long Short Term Memory, 长短期记忆网络 )

前面我们介绍了RNN的算法, 它处理时间序列的问题的效果很好, 但是仍然存在着一些问题, 其中较为严重的是容易出现梯度消失或者梯度爆炸的问题(BP算法和长时间依赖造成的). 注意: 这里的梯度消失和BP的不一样,这里主要指由于时间过长而造成记忆值较小的现象。改进方式之一即：LSTM 算法

之前介绍到RNN的模型结构：

如果略去每层都有的o(t),L(t),y(t)o(t),L(t),y(t)，则RNN的模型可以简化成如下图的形式：

图中可以很清晰看出在隐藏状态h(t)由x(t)和h(t−1)得到。得到h(t)后一方面用于当前层的模型损失计算，另一方面用于计算下一层的h(t+1)。

　　由于RNN梯度消失的问题，大牛们对于序列索引位置t的隐藏结构做了改进，可以说通过一些技巧让隐藏结构复杂了起来，来避免梯度消失的问题，这样的特殊RNN就是我们的LSTM。LSTM的常见结构如下图：

LTSM架构图

结合RNN在测试用例自动生成方面的研究

基本方法原理是结合深度学习的优势构建特征提取算法和模型，让机器对有效的文本型数据进行学习训练，自动调整优化网络参数形成合适较优的处理模型参数，从而实现自动生成符合数据结构规约的新数据；最后加入聚类和决策树组合形成测试用例集合。

为此针对字符文本型数据构建基于循环神经网络的生成模型，实现学习、训练和预测生成新数据，最终结合策略组合产生新的测试用例。

*****架构图暂不开放*****

输入处理层：

该层将训练数据进行数据清理、转换等预处理后转换形成适合网络模型处理要求的数据类型和结构，创建RNNs 输入空间，为训练提供数据输入源。其主要完成如下步骤：

a)生成映射向量表。为了把字符型的数据集合转码为适合于神经网络计算的向量数据，首先遍历训练数据集中的字符并生成唯一字符集，再选用合适的算法把字符集中的每个字符一对一的映射到数据向量，生成字符和数字向量相互转换映射表（即字符映射向量表和向量映射字符表），从而能够让字符和向量相互转换。常见的生成方法有one-hot 编码、排序生成等。借鉴Word2Vec 的原理，对复杂的数据集合需建模增加向量映射方法来进行关联计算，实现非字符型或字符组合型数据的映射处理，适应更多种类的训练数据。

b)训练数据集向量化。完成映射向量表产生后对输入的训练数据集进行向量化映射转换，把字符型集合编码转换为数字向量型集合，是对训练数据的向量化过程。

c)小批次(mini-batch)分割处理。因训练的数据集规模和计算处理能力差距，不能采用采用全数据集(full batch learning)的形式训练。考虑计算资源和神经网络构造参数选择合适的batch-size 和squence_length 对数据集合进行分批次训练。定义一个batch 中的序列个数为N(即batch_size)，定义单个序列长度为M(即为squence_length)，每个batch 就是N×M 的数组。

d)创建数据输入空间。按mini-batch 分割后每个batch 的大小，建立Shape=N×M 的input 张量和targets 张量，定义keep_prob 空间用于控制dropout 的保留节点数。

循环神经网络层：

LSTM（long short-term memory）是一种特殊的RNNs，1997 年 Hochreiter 和 Schmidhuber 最早提出，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM 能够在更长的序列中有更好的表现。如图下图所示，