image
1. ELMo的目标函数就是语言模型
2. ELMO是结合上下文的
image
1. LSTM输出的事每个单词的概率分布，GroundTruth是one-hot编码。概率分布和one-hot之间可以计算出交叉熵，我们将交叉熵当做目标函数来对待。
交叉熵可以看这里：为什么交叉熵（cross-entropy）可以用于计算代价？ – 微调的回答 – 知乎 https://www.zhihu.com/question/65288314/answer/244557337
image
虽然图中的LSTM是双向的，但它不是真正的双向LSTM，只是两个独立的反方向的LSTM拼接在了一起。双向LSTM应该在单个LSTM结构里是双向的。
完整意义上的双向LSTM可以参照XLNET
提问：既然不是真正的双向模型，为什么还有BI-LSTM的存在？
答：在机器学习里面没有一个完美的模型，任何一个模型都有自己的价值。不代表所有场景里面单向模型都比双向模型差。
本章在目录中的位置
image
<figcaption style="box-sizing: inherit; display: block; margin-top: 0.5em; margin-bottom: 1.5em; color: rgb(85, 93, 102); text-align: left; font-size: 13px; letter-spacing: 0px !important; font-style: italic;">答案是A</figcaption>
image
利用深度学习中的层级表示，设计一个深度双向LSTM模型 ，这个模型就是ELMo模型
左边是训练，右面是使用
image
计算loss：
image
</article>
网友评论