美文网首页
N Gram个人理解(根据pytorch官方代码)

N Gram个人理解(根据pytorch官方代码)

作者: ClarenceHoo | 来源:发表于2019-06-12 15:07 被阅读0次

WORD EMBEDDINGS: ENCODING LEXICAL SEMANTICS
参考官方代码 N gram的操作过程如下:
1、给定数据集合如
sentence = """Whatever is worth doing is worth doing well.""".split()
2、提取所有三元组
"""Whatever is worth"""等
3、提取所有sentence出现的不同词汇set(sentence)
4、按数字将不同词转换为标量1~n
5、用torch.nn.Embedding初始化每个词的初始向量
官方文档对这个函数的解释如下:
A simple lookup table that stores embeddings of a fixed dictionary and size.

This module is often used to store word embeddings and retrieve them using indices. The input to the module is a list of indices, and the output is the corresponding word embeddings.
根据实际操作,猜测应该是随机初始化一个向量,不过函数提供了可以初始化pretrained weight的结构
6、输入是头两个词embedding的向量,输出则是第三个词的one-hot表示形式。
也就是一个预测编码的形式

相关文章

  • N Gram个人理解(根据pytorch官方代码)

    WORD EMBEDDINGS: ENCODING LEXICAL SEMANTICS参考官方代码 N gram的...

  • Fasttext 模型

    主要步骤 创建 n-gram 字典集合 根据字典集合,将语料转换为数字序列 构建模型 模型训练 参考代码 参考链接...

  • 简单理解 n-gram

    N-Gram(有时也称为N元模型)是自然语言处理中一个非常重要的概念,通常在NLP中,人们基于一定的语料库,可以利...

  • Text Analysis

    NPL Natural Text Processing 基本上就是个词没什么意思 N-gram 所谓N-gram就...

  • pytorch学习笔记1

    最近由于工作原因需要学习pytorch,我将pytorch入门代码看了一遍,记录下来代码解释,帮助我更好的理解代码...

  • BLEU算法

    原理根据N-gram,n<=4 问题 1.the等词过多匹配问题。解决方案:利用计算参考译文和机器翻译译文之间计数...

  • 快速记单词,漫画记单词、单词速记162

    gram n.克 例句:The cook needs a gram of vinegar. 厨师需要一克醋。 gr...

  • video caption评价标准简介

    1.BLEU 1.1 N-gram precision 观察如下示例:candidate1的1-gram pr...

  • N-gram

    N-gram模型是一种语言模型(Language Model,LM),语言模型是一个基于概率的判别模型,它的输入是...

  • n-gram

    n-gram的数据平滑方法 拉普拉斯平滑:缺点都在分子上加一,而大部分n-gram都是没有出现过的,这样就会给他们...

网友评论

      本文标题:N Gram个人理解(根据pytorch官方代码)

      本文链接:https://www.haomeiwen.com/subject/aqrlfctx.html