【lhy人类自然语言处理】 23 Non-Autoregress

23 Non-Autoregressive Sequence Genera

image.png image.png

同一个input，输出不同的

00：10：

总结

image.png

GAN用在text上还没很好应用，应为 text是discriminate的

00：14：25

解决方案：

image.png image.png image.png image.png image.png

要做Levenshtein时候要用到expert

image.png image.png image.png image.png

学习完这一节视频后，感觉还是不知所以然。

查blog学习吧：

总结如下：

1.Auto-regressive(AR，自回归模型) 时间序列模型

数学表达式

image.png

可以看出，t时刻的度量值都是依赖前面t-1个时刻的线性组合

NLP中RNNs和Transformer都是AR模型

Non-autoregresseive (非自回归模型)

机器翻译中使用NAT打破原来生成时的串行顺序

缓解原来独立性过强的问题，引入隐变量z,得到：

image.png

隐变量需要保存关于目标序列的全部信息，才能解码整个目标序列。因此，隐变量的概率分布必须有足够的复杂度