美文网首页
翻译模型简述

翻译模型简述

作者: 路过的飞碟 | 来源:发表于2020-11-30 15:15 被阅读0次

翻译模型:
处理:知识表示与推理
将实体向量表示(Embedding)在低维稠密向量空间中,然后进行计算和推理。

TransE: 多元关系数据嵌入
通过将实体与关系嵌入到同一低维向量空间

建立简单且易拓展的模型把知识库中的实体和关系映射到低维向量空间中,从而计算出隐含的关系

TransH: 将知识嵌入到超平面
将实体和关系嵌入到同一的向量空间,但实体在不同关系中有不同的表示。

对知识库中的实体关系建模,特别是一对多,多对一,多对多的关系,设计更好的建立负类的办法用于训练。

TransR: 实体和关系分开嵌入
将实体和关系嵌入到不同的空间中,在对应的关系空间中实现翻译。

一个实体是多种属性的综合体,不同关系关注实体的不同属性。
直觉上一些相似的实体在实体空间中应该彼此靠近,但是同样地,在一些特定的不同的方面在对应的关系空间中应该彼此远离。

TransD: 通过动态映射矩阵嵌入
实体和关系映射到不同的空间中,用两个向量表示实体或关系,一个(h,r,t)表征实体或关系,另一个(hp,rp,tp)用来构造动态映射矩阵。

在TransR的基础上减少参数

TransA: 自适应的度量函数
更换度量函数,区别对待向量表示中的各个维度,增加模型表示能力。

解决了translation-based 知识表示方法存在的过于简化损失度量,没有足够能力去度量/表示知识库中实体/关系的多样性和复杂性的问题。

TranSpare: 自适应稀疏转换矩阵
针对不同难度的实体间关系,使用不同稀疏程度的矩阵(不同数量的参数)来进行表征,从而防止对复杂关系欠拟合或者对简单关系过拟合

对头尾两种实体采用不同的投影矩阵,解决头尾实体数目不对等的问题。

解决问题:
1.异质性:有的实体关系十分复杂,连接许多不同的实体,而有些关系又非常简单
2.不均衡性:很多关系连接的head和tail数目很不对等。

TransG: 高斯混合模型
利用贝叶斯非参数高斯混合模型对一个关系生成多个翻译部分,根据三元组的特定语义得到当中的最佳部分。

解决多关系语义的问题,同一种关系在语义上是不同的

KG2E: 高斯分步表示实体和关系
使用Gaussian Distribution 来表示实体和关系
提出用Gaussian Distribution的协方差来表示实体和关系的不确定度,提升了已有模型在link prediction和triplet classification问题上的准确率

参考:https://blog.csdn.net/wp_csdn/article/details/79607727

相关文章

  • 翻译模型简述

    翻译模型:处理:知识表示与推理将实体向量表示(Embedding)在低维稠密向量空间中,然后进行计算和推理。 Tr...

  • Chapter 6——Linux网络基础

    一、简述osi七层模型和TCP/IP五层模型 OSI七层模型: (图摘自华为官网HCNA教材) 简述:(从下往上)...

  • 系统分析与设计 Lesson 2 作业

    1.简单题 1.1 简述瀑布模型、增量模型、螺旋模型(含原型方法)的优缺点 1.2 简述UP的三大特点,其中哪些内...

  • linux网络和进程管理简述

    OSI七层模型和TCP/IP模型简述 OSI模型 OSI模型,即开放式通信系统互联参考模型(Open ...

  • Transformer 模型总结

    1、Transformer 模型的结构图 2、Transformer 模型简述 Transformer 是由多个 ...

  • 无监督机器翻译《An Effective Approach to

    传统的翻译模型需要大量的平行语料,近来一个神经网络翻译模型NMT+统计翻译模型SMT的翻译系统只用一种语料就能进行...

  • fm模型简述

    1、fm模型的优点 (1)在特征极其稀疏的情况下也能进行参数预估 (2)时间复杂度低,在线性时间复杂度下即可完成模...

  • 简述盒模型

    简述:CSS 盒模型有两种,一种是 content-box 一种是 border-box。content-box ...

  • Egg 框架简述 (三):持久层方案

    Egg 框架模型简述 (三) 简述简单层级关系路由(Router)内置对象配置(Config)中间件(Middle...

  • Egg 框架简述 (一):简单的骨架认知

    Egg 框架模型简述 (一) 简述简单层级关系路由(Router)内置对象配置(Config)中间件(Middle...

网友评论

      本文标题:翻译模型简述

      本文链接:https://www.haomeiwen.com/subject/abyrwktx.html