美文网首页
[PyTorch]中的随机mask以及根据句子的长度进行mask

[PyTorch]中的随机mask以及根据句子的长度进行mask

作者: VanJordan | 来源:发表于2019-06-10 14:07 被阅读0次
  • new_empty是获取一个同样device和同样dtypetensorbernoulli_(p)是根据概率p产生0,1序列(p是0)expand_as扩展到同一维度。
def drop_tokens(embeddings, word_dropout):
    batch, length, size = embeddings.size()
    mask = embeddings.new_empty(batch, length)
    mask = mask.bernoulli_(1 - word_dropout)
    embeddings = embeddings * mask.unsqueeze(-1).expand_as(embeddings).float()
    return embeddings, mask
  • sequence_masktensor.lt letter than所有小于的是true

相关文章

网友评论

      本文标题:[PyTorch]中的随机mask以及根据句子的长度进行mask

      本文链接:https://www.haomeiwen.com/subject/xulzxctx.html