23 Non-Autoregressive Sequence Genera
image.png
image.png
同一个input，输出不同的
00：10：
总结
image.png
GAN用在text上还没很好应用，应为 text是discriminate的
00：14：25
解决方案：
image.png
image.png
image.png
image.png
image.png
要做Levenshtein时候要用到expert
image.png
image.png
image.png
image.png
学习完这一节视频后，感觉还是不知所以然。
查blog学习吧：
总结如下：
1.Auto-regressive(AR，自回归模型) 时间序列模型
数学表达式
image.png
可以看出，t时刻的度量值都是依赖前面t-1个时刻的线性组合
NLP中RNNs和Transformer都是AR模型
Non-autoregresseive (非自回归模型)
机器翻译中使用NAT打破原来生成时的串行顺序
缓解原来独立性过强的问题，引入隐变量z,得到：
image.png
隐变量需要保存关于目标序列的全部信息，才能解码整个目标序列。因此，隐变量的概率分布必须有足够的复杂度
网友评论