How to model relationship betwee

大概有两种方法：

1. distance-based model：offset vector、translation based model

2. bilinear model

3. Faruqui M, Dodge J, Jauhar S K, et al. Retrofitting word vectors to semantic lexicons[J]. arXiv preprint arXiv:1411.4166, 2014.
   w2v算法仅仅利用了p(w,c)的共现信息，许多外部语义资源没有得到有效利用。因此作者调整现有的词向量，将其同时靠近原来w2v训练出来的词向量，又靠近wordnet中的上下位词。

4. Fu R, Guo J, Qin B, et al. Learning semantic hierarchies via word embeddings[C]//Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2014: 1199-1209.
   计算一个线性变化构造映射，使每个词可以投射到自己的上位词。对于overlap的问题，即一个词有多个上位词的问题，对y-x进行聚类，训练不同的投射函数。

5. Socher R, Chen D, Manning C D, et al. Reasoning with neural tensor networks for knowledge base completion[C]//Advances in neural information processing systems. 2013: 926-934.
   任务：输入（dog，animal），推测关系isA
   使用了一个张量网络，使得e1和e2充分interaction（？其实并没有完全理解）
   感觉就是用了一个bilinear model使得e1，r，e2充分复杂的运算，来计算e1和e2的关系

6. Bordes A, Usunier N, Garcia-Duran A, et al. Translating embeddings for modeling multi-relational data[C]//Advances in neural information processing systems. 2013: 2787-2795.
   TransE，使用向量加法学习word之间的relation，头向量加关系向量 == 尾向量

7. TransG : A Generative Model for Knowledge Graph Embedding
   对TransE学出来的关系向量进行聚类，发现关系向量表达了隐含的语义。比如hasPart其实就有抽象意义上的hasPart和具体意义上的hasPart
   再比如profession可以学出来特定的职业