之前看了一个用rnn作诗、写文章比较典型的例子：https://github.com/hzy46/Char-RNN-TensorFlow
其训练过程：
假设batchsize=2，序列长度为5，原文章：12345642985718041937...
输入x:[[1 2 3 4 5],[6 4 2 9 8]]，尺寸2x5
输出y:[[2 3 4 5 1],[4 2 9 8 6]]，尺寸2x5， 后一个字是前一个字的输出，最后一个字的输出用第一个字替换（也可以用结束符）分别one-hot表示：
x:[[0100000000, 00100..., 00010..., 000010...., 000001....],[..., ..., ..., ..., ...]] ,尺寸2 x 5 x n_class
y:[[00100...., 00010..., 000010...., 000001....,0100000000],[..., ..., ..., ..., ...]],尺寸2 x 5 x n_class输入x到RNN:
x_out, x_state = RNN(x),
x_out：(分别对应序列中每个字符的输出)，尺寸:2 x 5 x h_size
x_state：（序列最后状态向量），尺寸：2 x h_size增加输出层:
logits = tf.matmul(x_out, w) + b
尺寸w:(h_size x n_class), b:(n_class)
logits: 2 x 5 x n_class训练损失最小:
loss = tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y) # y尺寸=logits尺寸测试阶段：
给定一个初始字符，产生logits,经过softmax得到n_class个概率，输出概率最大的对应的字符,将该字符又作为输入产生第二个logits得到下一个字符，持续下去，将得到类似于训练样本的文章。
注意: 上面方法只能用 x_out信息与y一一对应来训练，而不是用x_state；而在机器翻译encode-decode模型时用x_state来产生序列，这是一个不同点。
再举一个匹配模型的例子：相似问题对训练。
训练过程:
假设batchsize=2，序列长度最大为5，样例：q1:12345 q2: 64298 y:1； q1:57180 q2:41937 y:0 ; ...
输入q1:[[1 2 3 4 5],[5 7 1 8 0]]，尺寸2x5
输入q2:[[6 4 2 9 8],[4 1 9 3 7]]，尺寸2x5
输出y:[1,0]分别embedding表示：
q1:[[[0.5 0.2 0.6...], [0.1 2.1...], [0.6...], [-1.2....], [2.0....]],[[...], [...], [...], [...], [...]]] ,尺寸2 x 5 x embedsize
q2:[[[0.2 0.1 0.6...], [1.1 2.2...], [0.7...], [-0.2....], [3.0....]],[[...], [...], [...], [...], [...]]],尺寸2 x 5 x embedsize输入q1,q2到RNN:
q1_out, q1_state = RNN(q1),
q2_out, q2_state = RNN(q2),
out：(分别对应序列中每个字符的输出)，尺寸:2 x 5 x h_size
state：（序列最后状态向量），尺寸：2 x h_size特征选择:
可以是state，也可以是out，可以是pooling(out)
还可以是tf.matmul(out, w) + b
最后得到feature1,feature2
两个向量的关系logits = f(feature1,feature2),尺寸batchsizex 1训练损失最小:
loss = tf.nn.sigmoid_cross_entropy_with_logits(labels=y, logits=logits )测试阶段：
给定q1,q2，产生logits,经过sigmoid得到相似度，来判断是否是0或1。
网友评论