MASK单词与原本的数据one-hot编码进行cross-entropy的loss计算
【cls】开始
【sep】中间
预测上下句的话，要使用上面两个符号
使用[cls]作为输出判断两个句子yes or true
防止因为使用某位置的self-attention输出导致与某个单词相关度过大
具体原因，图中分类为可以为情感分析，训练其中的线性分类器
bert的多任务，mask+预测的loss全加和，反向传播
bert加入三个embedding
多一个segment embedding就是多了一个句子分类（第一个句子，第二个句子）
position embedding不是正弦or余弦函数，而是可以训练的参数
bert任务3 自然语言推理NLI前提，后面是否正确
Q&A
[cls]question[segment]document
slot插槽填充
Embedding可以通过freeze=True冻死，防止反向传播时改变参数
可以使用nn.ModuleList保住多个模型，单单是一种数据结构
MASK单词与原本的数据one-hot编码进行cross-entropy的loss计算【cls】开始【sep】中间...
第三天了，连续三天，早上睁眼开始，看视频，做课件，连续作业，直到晚上十二点才睡觉。吃饭不规律，想起来就吃，感觉不饿...
23岁的我，才真正明白，什么是学习，什么是努力，努力和不努力真的不同，就好比同样是一篇稿子，我用一周背下来，有的人...
妈妈总是让我学习，我只能用装当办法。 方法一: 方法二: 方法三: 方法四: ...
001.今天看财富自由之路看了第二遍，而且看了一半，算是完成任务很开心。中间有想放弃的念头，坚持看完。眼睛痛，一直...
马自达为什么坚持高压缩比自吸
学习的痛苦是暂时的 没有学到的痛苦是永恒的 因为学习而特别充实的一天 很踏实 ～～～～ 2015.11.28.阴天...
无数次想要去逃离，可这封闭的世界根本出不去。你没有什么可以抛弃、只能咬着牙带着面具微笑的活下去。 没有那个人、他也...
昨天和今天两个上午，都在学习新媒体运营，学习的过程中心里只有一个想法：这也太套路，太功利了吧。可真应了那句话...
近期学习重点有两个方面，一方面是把上一个阶段定下任务的几本书读完，并在读的过程中有输出和转化，让阅读和学习真正能有...
本文标题：2021-05-16bert学习
本文链接：https://www.haomeiwen.com/subject/uwwljltx.html
网友评论